Fırat Üniversitesi Öğrenci Bilgi Sisteminin Kullanılabilirliği: Nitel Analiz Arş. Gör. Habibe Kazez Lisans Öğrencileri: Merve Koparır, Songül Çimendağ,

... konulu sunumlar: "Fırat Üniversitesi Öğrenci Bilgi Sisteminin Kullanılabilirliği: Nitel Analiz Arş. Gör. Habibe Kazez Lisans Öğrencileri: Merve Koparır, Songül Çimendağ,"— Sunum transkripti:

1 Fırat Üniversitesi Öğrenci Bilgi Sisteminin Kullanılabilirliği: Nitel Analiz
Arş. Gör. Habibe Kazez Lisans Öğrencileri: Merve Koparır, Songül Çimendağ, Fatma Kucak Dr. Zülfü GENÇ Fırat Üniversitesi, Bilgisayar ve Öğretim Teknolojileri Eğitimi Bölümü Elazığ, Türkiye

2 Çalışmanın Özeti Bu çalışmada, Fırat Üniversitesi Öğrenci Bilgi Sisteminin kullanılabilirlik analizi yapılmıştır. Araştırmada 10 kullanıcı ile gerçek testler yapılarak nitel gözlemler, 406 kullanıcı ile tarama yöntemi kullanılarak nicel gözlemler yapılmıştır.

3 Kuramsal Çerçeve Kullanılabilirlik İnsan Bilgisayar Etkileşimi alanının en önemli ana konularından biridir. Yeni aldığınız akıllı telefonun nasıl çalıştığını anlamak, İnternet bankacılığı aracılığı ile hesap işlemlerinizin nasıl yapılacağını keşfetmek, Sağlık çalışanlarının hastane bilgi sistemini kullanarak hasta kayıtlarını düzenlemesi, Bir ordu personelinin karmaşık bir silah sistemini kullanması Evinizdeki yeni bulaşık makinenizin nasıl çalıştığını anlamak için çabalamak kullanılabilirlik kavramı ile doğrudan alakalıdır. Kullanılabilirlik her ne kadar İnsan Bilgisayar Etkileşimi alanının en önemli ana konularından biri olmasına rağmen aslında günlük hayatımızın içerisinde yer alan bir kavramdır.

4 Kullanılabirlik ISO 9241 Bölüm 11 sayılı dökümanda kullanılabilirlik tanımı şu şekilde belirtilmiştir “Kullanılabilirlik, belirli bir kullanıcı grubunun, belirli görevleri, belirli bir bağlamda etkili, verimli ve memnuniyet ile yerine getirmeleridir” Kullanılabilirlik her ne kadar İnsan Bilgisayar Etkileşimi alanının en önemli ana konularından biri olmasına rağmen aslında günlük hayatımızın içerisinde yer alan bir kavramdır. Yeni aldığınız akıllı telefonun nasıl çalıştığını anlamak, internet bankacılığı aracılığı ile hesap işlemlerinizin nasıl yapılacağını keşfetmek, sağlık çalışanlarının hastane bilgi sistemini kullanarak hasta kayıtlarını düzenlemesi, bir ordu personelinin karmaşık bir silah sistemini kullanması ya da evinizdeki yeni bulaşık makinenizin nasıl çalıştığını anlamak için çabalamak kullanılabilirlik kavramı ile doğrudan alakalıdır.

5 Kullanılabilirlik Mühendisliği
Bir ürünün kullanılabilirliğini değerlendirebilmek için hangi kriterler kullanılacak? sorusuna cevap arar. Verimlilik: Yapacağın işlemi boşa çaba sarf etmeden yapabildin mi? Amaçların gerçekleşme yüzdesi, Kullanılan etkili özelliklerin sayısı, Öğrenilen işlevlerin yüzdesi Etkinlik: Yapmak istediğini başarabildin mi? Görevi zamanında tamamlama, Hataları düzeltmek için gerekli zaman Memnuniyet: Sürecin hoşnutluk düzeyi ne?

6 Norman’ın Körfez Yaklaşımı
Nasıl bir körfezin bir ucundan diğer ucuna geçmek, körfezin iki ucu arasındaki mesafe arttıkça zorlaşıyorsa, insan bilgisayar etkileşiminde de aynı durum söz konusudur. Yani fiziksel sistem ya da ürün ile kullanıcı amaçları arasındaki mesafe ne kadar az ise sistem o derecede kullanılabilir demektir.

7 Nielsen’in 5 Kullanılabilirlik Kriteri
Kullanılabilirlik konusunda dünya gurusu olan Jacob Nielsen Öğrenilebilirlik, Verimlilik, Hatırlanabilirlik, Hatalar ve Memnuniyet

8 Yöntem Bu çalışma bir grup katılımcının bir yazılım üzerinde belli bir kullanım süreci sonundaki görüşlerini toplamayı hedeflemektedir. Bu çalışma kullanılabilirlik problemlerini tespit etme yöntemlerinden biri olan kullanıcı testi kullanılarak gerçekleştirilmiştir. Kullanıcı testi gerçek kullanıcılar ile gerçekleştirilen deneysel bir yöntemdir [3]. Çalışmada kullanıcı testinin yanında deneysel yöntemin sonuçlarını desteklemek için deneysel olmayan tarama (survey) yöntemi de kullanılmıştır.

9 Katılımcılar 5 kullanıcı ile %75 oranında başarı [Nielsen]
Bu çalışmada 10 (E=5, K=5) kullanıcı Deneysel olmayan tarama yönteminde 406 kullanıcı (E=%49, K=%51)

10 Veri Toplama Araçları-1
Kullanıcı Testi: 10 adet görev Görüşmeler ses kaydıyla alınmıştır Kullanıcıların görevleri tamamlama süreleri not edilmiştir Görevler Açıklamalar Görev 1 Öğrenci bilgi sistemine giriş yapınız. Görev 2 Devamsızlık durumunuzu kontrol ediniz. Görev 3 Özlük bilgilerinizi değiştiriniz. Görev 4 Ders kaydınızın onaylanıp onaylanmadığını kontrol ediniz. Görev 5 Şifrenizi değiştiriniz. Görev 6 güz dönemi alınan derslerin listesini görüntüleyiniz. Görev 7 Ders programının hangi sınıfta saat kaçta olduğunu görüntüleyiniz. Görev 8 Öğrenci bilgi sisteminden vize sınav tarihine bakınız. Görev 9 Danışman bilgilerini görüntüleyiniz. Görev 10 Gireceğiniz sınavların listesini görüntüleyiniz.

11 Veri Toplama Araçları-2
Çalışma kapsamında kullanıcı testindeki görevlerin tamamlanmasının ardından kullanıcılara Fırat Üniversitesi Öğrenci Bilgi Sistemi Kullanışlılık Anketi (40 Madde) uygulanmıştır. 1-5 arası (kesinlikle katılmıyorum-katılmıyorum, karasızım, katılıyorum ve kesinlikle katılıyorum)

12 Bulgular Görüşme sonuçlarına göre; genel olarak kullanıcılar sistemin ara yüzünden memnun olmadıklarını belirtmişlerdir (N=8). Kullanıcı 10 ‘Tasarım kötü ve karmaşık’ olduğunu ifade etmiştir. Kullanıcılar genellikle ders kaydını yapmak, notlarına bakmak, devam durumunu kontrol etmek için ÖBS kullanmışlardır. Hiçbir kullanıcının kullanım kılavuzunu okumadığı görülmüştür. Kullanıcılardan 4’ü kullanma kılavuzunu hiç görmediklerini, diğer kullanıcılar ise kullanma kılavuzunu gereksiz buldukları için okumadıklarını ifade etmişlerdir. Bununla beraber sistemin çok yavaş çalıştığını ifade eden kullanıcı sayısı 6’dır.

13 Bulgular-Görev Süreleri
Görev 1 Görev 2 Görev 3 Görev 4 Görev 5 Görev 6 Görev 7 Görev 8 Görev 9 Görev 10 Toplam Kullanıcı 1 29 21 48 9 12 17 6 39 20 210 Kullanıcı 2 19 7 4 10 3 23 11 5 101 Kullanıcı 3 18 13 26 47 33 167 Kullanıcı 4 30 25 8 22 27 152 Kullanıcı 5 16 43 32 45 24 265 Kullanıcı 6 50 240 Kullanıcı 7 35 133 Kullanıcı 8 15 37 180 Kullanıcı 9 63 38 215 Kullanıcı 10 60 - 113 316 Minimum Maksimum Ortalama 27,6 21,6 21,3 17,6 19,9 22,6 13,6 16,6 31,7 10,6 Kullanıcılar arasında görev tamamlama süreleri arasında farklar vardır ve deneyimli kullanıcıların deneyimsizlere oranla görevleri daha kısa sürede gerçekleştirdiği gözlemlenmiştir.

14 Bulgular-Görev Başarı Yüzdesi
Görevler Sonuçlar Başarılı Başarısız Kısmen Başarılı Başarı Yüzdesi G1 (giriş) 5 - %50 G2 (devam) 4 1 G3 (özlük) 6 G4 (ders kaydı) G5 (şifre) 7 3 %70 G6 (ders listesi) 8 2 %80 G7 (dersin saati yeri) %60 G8 (vize tarihi) G9 (danışman bilgileri) %40 G10 (sınav listesi) Deneyimli kullanıcılar tüm görevleri gerçekleştirirken deneyimsiz kullanıcıların bazı görevlerde fazla zaman harcadığı yada görevi gerçekleştiremediği gözlemlenmiştir.

15 Kullanıcı Testi Sonuçları
Görevlerin %90’nın başarılı (veya kısmen başarılı) olduğundan sistemin kullanılabilir olduğu sonucuna varılmıştır. Kadın kullanıcıların ÖBS kullanırken Erkeklere göre daha kaygılı oldukları bu yüzden de görevleri daha uzun sürede tamamladıkları gözlemlenmiştir. Deneyimli kullanıcıların deneyimsiz kullanıcılara göre daha başarılı oldukları görülmüş, 1.sınıfdaki kullanıcıların sistemde zorlandıkları sistem kullanım süresi arttıkça sistemi daha kolay kullandıkları görülmüştür. Sonuç olarak, sistemin çeşitli tasarım sorunları olmasına karşın kullanılabilir olduğu ifade edilebilir.

16 Bulgular-Nicel N=406 kullanıcının (Kadın %51,92, Erkek 48,18) %40,38’inin haftada en az bir kez ve %38,46’sının 20’den fazla ÖBS kullandıkları tespit edilmiştir.

17 Görev-Kullanım Sıklığı
Hiç En az bir kere Birden fazla Çok sayıda 1. Öğrenci internet modülü kullanım kılavuzunu okumak 55,71% 31,43% 10,24% 2,62% 2. Özlük bilgilerimi güncellemek 32,86% 41,43% 20,24% 5,48% 3. Akademik takvime göz atmak 27,86% 40,00% 21,90% 4. Danışman bilgilerini kontrol etmek 22,14% 39,29% 29,29% 9,29% 5. Alınan dersleri kontrol etmek 5,00% 25,00% 37,86% 32,14% 6. Sınav takvimine bakmak 5,95% 18,81% 38,81% 36,43% 7. Ders programını kontrol etmek 11,90% 26,43% 36,67% 8. Derslere ait devamsızlık durumuna bakmak 10,00% 19,76% 31,67% 38,57% 9. Dönem ortalamalarını kontrol etmek 10,48% 24,29% 33,10% 10. Transkript işlemleri yapmak 27,62% 33,33% 23,81% 15,24% 11. Ders kaydı yapmak 7,16% 37,47% 31,03% 24,34% 12. Öğretim elemanı duyurularını okumak 34,05% 19,29% 14,52% 13. Genel duyuruları okumak 18,85% 30,55% 19,57%

18 Bulgular-Nicel Katılımcılar Kullanışlılık anket sorularına 1 (kesinlikle katılmıyorum) – 5 (kesinlikle katı-lıyorum) aralığında puan vermişlerdir.

19 Kullanışlılık Testi Sonuçları
Sorular Ort. SS 38. ÖBS’ni kullanırken zorluklar yaşadım. 3,00 1,24 30. Ders kayıt işlemleri sırasında sorun yaşamadım. 3,02 1,44 1. Genel işlemler bölümündeki öğrenci internet modülü kullanım kılavuzu bilgilendirici ve faydalı idi. 3,03 1,07 36. ÖBS’deki sayfalar yeterince hızlı açılmaktaydı. 3,12 1,21 31. ÖBS menülerini yeterli buldum. 3,20 24. Diğer işlemler bölümündeki şifre değiştir seçeneğinin bulunması faydalı idi. 3,96 1,09 19. Ders ve dönem işlemleri bölümündeki not listelerini görmek faydalı idi. 3,99 1,08 6. Genel işlemler bölümündeki aldığım dersleri görmek faydalı idi. 4,01 0,97 18. Ders ve dönem işlemleri bölümündeki devamsızlık durumumu görmek faydalı idi. 4,02 1,11 20. Ders ve dönem işlemleri bölümündeki not listelerini görmek faydalı idi. 4,08 0,99 Faktör analizi gerçekleştirildikten sonra elde edilen 40 anket maddesinin ortalaması aralığında olduğu; Öğrencilerin çoğu sistemi kullanışlılığı yüksek bir yazılım olarak tanımlamaktadır.

20 Sonuç ve Öneriler Elde edilen Nitel gözlemler sistemin kullanılabilirliğinin iyi olduğunu göstermektedir. Bu durum nicel sonuçlarla desteklenmiştir. Öğrencilerin çoğu sistemi kullanılabilirliği iyi bir yazılım olarak tanımlamaktadır. Sonuçlara göre, ÖBS memnuniyet ve verimlilik açısından iyi olduğu etkililik açısından ise orta derecede iyi olduğu ortaya çıkmıştır. Ayrıca ÖBS’nin kolay öğrenilebilir bir sistem olduğu, kullanım süresi arttıkça işlevlerin hatırlanabilirlik düzeyinin de arttığı görülmüştür. Yukarıda sıralanan sonuçlara göre ÖBS Nielsen’in 5 kullanılabilirlik kriterlerine uyduğu söylenebilir. Üniversitelerin birçoğu yazılım satın alınken kullanıcı gereksinimlerini dikkate almamaktadır. Ürün satın alma sürecinde yazılımın kullanıcı testi gerçek kullanıcılarla yapılmalıdır. Ürün şartnameleri hazırlanırken, yayınlanmış Kullanışlılık Rehberlerinden yararlanılmalıdır.