Chapter 9 Değerlendirme Teknikleri. Değerlendirme Daha önceki bölümlerde etkileşimli sistemlerin tasarım sürecini konuştuk. Bu süreç yararlı olsa da,

... konulu sunumlar: "Chapter 9 Değerlendirme Teknikleri. Değerlendirme Daha önceki bölümlerde etkileşimli sistemlerin tasarım sürecini konuştuk. Bu süreç yararlı olsa da,"— Sunum transkripti:

1 chapter 9 Değerlendirme Teknikleri

2 Değerlendirme Daha önceki bölümlerde etkileşimli sistemlerin tasarım sürecini konuştuk. Bu süreç yararlı olsa da, tasarımın beklediğimiz gibi çalışıp çalışmadığını, kullanıcıların beklentilerini karşılayıp karşılamadığını anlayabilmek için değerlendirme yapmalıyız.

3 Değerlendirme Değerlendirme tasarımın yaşam döngüsü boyunca vardır. Değerlendirme sonuçları, tasarımımızı düzeltmemiz için bize geri dönütler sağlar. Değerlendirme tekniklerini 2 ana başlıkta inceleyeceğiz: 1) Uzman Analizi 2) Kullanıcı Katılımı

4 Değerlendirmenin Amaçları 3 ana amacı vardır: 1)Sistemin işlevselliğinin değerlendirilmesi. 2)Ara yüzün kullanıcılar üzerindeki etkisinin değerlendirilmesi. 3)Sistemdeki spesifik problemlerin tanımlanması.

5 Sistemin İşlevselliği Sistemin kullanışlılığı, kullanıcı gereksinimleri ile uyumlu olmalıdır. Sistemin tasarımı, kullanıcıların görevlerini kolaylaştırmalıdır. Sistemin kullanıcıları ile işin kullanıcılardan beklentileri eşleştirmelidir.

6 Ara yüzün Kullanıcılar Üzerindeki Etkisi Sistemi öğrenmek ne kadar kolay? Sistemin kullanışlılığı nasıl? Kullanıcıların memnuniyet durumu nasıl? Bu sorular, kullanıcıların zevklerini ve duygusal tepkilerini içerir.

7 Sistemdeki spesifik problemler Sistem kullanıldığında, beklenmeyen sonuçlara ve kullanıcıda şaşkınlığa neden oluyor mu? Bu tasarımın işlevselliği ve kullanışlılığı ile ilişkilidir.

8 Uzman Analizi ile Değerlendirme

9 Sistem önceden değerlendirilirse, sonradan ortaya çıkacak pahalı hataların önüne geçilmiş olur. Bu yöntemde uzman tasarımı alır ve tipik bir kullanıcı üzerinde etkisine bakar. Temel Amaç: Zorluklara neden olan bölümleri belirlemektir.

10 Uzman Analizi ile Değerlendirme Bu yöntem geliştirme sürecinin herhangi bir aşamasında kullanılabilir. Bu oldukça ucuzdur. Sistemin gerçek kullanımı değerlendirilmez. Sadece sistemin kabul edilebilir kullanışlılık prensiplerini destekleyip desteklemediğine bakılır.

11 Uzman Analizi ile Değerlendirme Bu değerlendirmede 4 yaklaşımı göz önünde bulunduracağız: 1.Bilişsel gözden geçirme (Cognitive Walkthrough) 2.Heuristic Değerlendirme (buluşsal-ölçüt) 3.Model kullanımı 4.Önceki çalışmaların kullanımı

12 Bilişsel Gözden Geçirme Palson tarafından önerilmiştir. Tasarımın, öğrenme görevlerinde kullanıcıları ne kadar iyi destekleyebildiğinin değerlendirilmesidir. Uzmanlar, ‘walks though’ ile psikolojik ilkeler kullanarak, potansiyel problemleri belirlerler. Analiz için değerlendirme formları kullanılır. Gözden geçirmenin asıl amacı, sistemin öğrenilmesinin ne kadar kolay olduğunu belirlemektir.Tasarımda neyin iyi olduğunun ve ne gibi düzeltmelere ihtiyaç olduğunun belirlenmesidir.

13 Bilişsel Gözden Geçirme Gözden geçirme için 4 şeye ihtiyaç var: 1.Sistemin tanıtımı ve prototipi 2.Sistem üzerinde kullanıcıların gerçekleştirdiği görevin bir tanımı. (birçok kullanıcının yapmak isteyebileceği temsili bir görev olmalı) 3.Yazılmış eylemler listesi. 4.Değerlendiricilerin kullanıcıların kimler ve ne tür deneyimleri ve bilgileri olduğu hakkında üstleneceği anlatımlar.  Değerlendiriciler sistemi kritik etmek ve kullanışlılığını belirlemek amacıyla bu sırayı takip etmeliler.

14 Bilişsel Gözden Geçirme Bu sırayı takip ederken, her basamakta şu soruları cevaplamalılar: 1.Kullanıcıların bu noktadaki amacıyla eylemin etkisi aynı mıdır? (dosya kaydetme eylemi, kullanıcıların yapmak istedikleri “saving a document” ile aynı mı? 2.Eylem sırasında, kullanıcıların ihtiyaç duyduğu zamanda butonlar ve menü içerikleri görünür olacak mı? 3.Kullanıcı doğru eylemi bulduğunda, bunun onların ihtiyaç duyduğu şey olduğunu bilecekler mi?( eylemin anlamı ve etkiliğinin açık olması) 4.Eylem olduktan sonra, kullanıcılar kendilerine verilen geri dönütü anlayabilecekler mi?

15 Heuristic(Ölçüt) Değerlendirme Nielsen and Molich tarafından önerildi. Kullanışlılık ölçütleri (heuristics) belirleniyor. Tasarım uzmanlar tarafından bu ölçütlerin bozulup bozulmadığının görülmesi amacıyla değerlendiriliyor.Bu problemleri değerlendirirken şu soruları göz önünde bulunduruyorlar: 1) Bu problem ne kadar yaygın? 2) Bunlar kullanıcıların üstesinden gelebilecekleri kadar basit mi? 3) Bu devamlı mı, yoksa 1 kez olan bir problem mi?

16 Heuristic Değerlendirme Nielsen tarafından belirlenen 10 ölçüt 1)Sistem durumunun görünümü: Kullanıcılara ne olduğu hakkında bilgi verilmeli.(Bir işlem zaman alacaksa, ne kadar süreceği ile ilgili bilgi verilmeli) 2)Sistem ile gerçek dünyayı eşleştirme: Sistem kullanıcıların kullandıkları klişe ifadeler ve benzer kavramlarla konuşmalı. 3)Kullanıcı kontrolü ve özgürlüğü: Kullanıcılar hata yaptığında “geri al” ve “bir daha yap” imkanı verilmeli. 4)Tutarlılık ve standartlar: Platform kuralları ve kabul edilen standartlar takip edilmeli. 5)Hata engelleme: Hata yapmayı zorlaştırma.İyi hata mesajları vermek yerine, tasarım çok dikkatli yapılmalıdır.

17 Heuristic Değerlendirme 6)Hatırlama yerine tanıma:Sistemin kullanım yönergeleri görülebilir ve kolayca geri alınabilir olmalıdır. 7) Kullanımın esneklik ve verimliliği: Kullanıcılara sık kullanılan eylemleri uyarlamalarına izin ver. Uzman olan ve olmayan kullanıcıları dikkate al. 8) Estetik ve küçük tasarım: (uygun görünürlük) 9) Hataları görmede, tanılamada ve üstesinden gelmesinde kullanıcılara yardım: Hata mesajları sade bir dille, amaca uygun olmalı.Tam olarak problemi içermeli ve bir çözüm önermelidir. 10) Yardım ve belgeleme: Bu bilgiler, kullanıcıların görevlerine yoğunlaşmalı, araştırması kolay olmalı, çok uzun olmamalı, somut adımları listelemeli.

18 Model_Tabanlı Değerlendirme GOMS(goals, operators, methods, selection) modeli, özel bir ara yüzde kullanıcı başarısını tahmin eder. Low_lever modelleme, low_level fiziksel görevleri gerçekleştirmek için kullanıcıların harcadıkları zamanı tahmin eder

19 Önceki Çalışmaların Kullanımı Kanıtlarla desteklenen önceki çalışmaların sonuçlarını kullanır. Araştırmayı tekrarlamak pahalıdır. Kanıtlar uzmanlar tarafından dikkatli bir şekilde seçilerek kullanılmalıdır. Çünkü bir araştırma, acemi kullanıcıların kullanabileceği bir yardım sisteminin kullanılabilirliğini test ediyorsa bu araştırmanın sonuçları, uzman kullanıcıların kullanacağı sisteme uymayacağı için kullanılmaz.

20 Kullanıcı Katılımı ile Değerlendirme Daha önceki değerlendirme tiplerin yararları olsa da, kullanıcı değerlendirmesinin yerini alamaz. 2 değerlendirme yöntemi inceleyeceğiz: Laboratuar koşullarında Çalışan çevrede “in the field”

21 Laboratuar Çalışmaları Avantajları: İşitsel/görsel kayıt ve analiz olanakları (oymalı cam, bilgisayar vb…) ile iyi düzenlenmiş kullanışlı bir ortam sunar. Aksaklık olmayan bir ortamda çalışma yapılır. Dezavantajları: Doğal olmayan ortamların gerçek yaşamdan uzaklığı.

22 Alan Çalışmaları Avantajı: Kullanıcıyı doğal çevresinde görmek. Dezavantajı: Çevredeki gürültü Hareket fazlalığı Kesilmelerin olması (telefon çalması gibi)

23 Deneysel Çalışmalar Güçlü değerlendirme yöntemlerinden biridir. İddia veya hipotezi destekleyen kanıtlar sunar. Değerlendiriciler hipotezi seçer, katılımcıları belirler, değişkenler test edilir ve manipule edilir ve hipotez test edilir.

24 Katılımcılar Katılımcıları seçerken onların yaş grubu, meslek, cinsiyet, önceki bilgisayar deneyimleri, eğitim düzeyleri gibi özellikleri dikkate alınmalıdır. Katılımcıların büyüklüğü, populasyonu temsil edecek kadar olmalıdır. Katılımcı büyüklüğü istatistiksel olarak anlamlı olmalıdır.

25 Değişkenler Hipotezlerin test edilmesi için araştırmacılar, kontrol edilmiş şartlar altında değişkenleri ölçer ve manipüle eder. Bağımlı(ölçülen), bağımsız (manipüle edilen) olmak üzere 2 tür değişken vardır.

26 Hipotezler Hipotezler bir araştırmanın sonuçlarını öngörür. (Neyi görmek istiyorsun?) Araştırmacının amacı öngörünün doğru olup olmadığını test etmektir.

27 Deneysel Tasarım İlk olarak hipotez belirlenir. Değişkenler belirlenir. (bu değişkenlerle hipotez belirlenmezse tekrar düşün) Katılımcılar belirlenir.(kullanıcı grubunu temsil ediyor mu) Deneysel yönteme karar verilir.Deneysel yöntemin belirlenmesi kaynaklara erişime bağlıdır.

28 İstatistiksel Ölçümler Veriler normal dağılıyorsa parametrik testler, normal dağılmıyorsa non_parametric testler kullanılır.

29 Bir örnek: İkon tasarımını değerlendirme Hipotezler: H 0 :İkonların hatırlanmasında fark yoktur. H 1 :Kullanıcılar doğal ikonları, soyut ikonlara göre daha kolay hatırlar. Değişkenler: Bağımsız değişkenler: Doğal(naturel), soyut(abstract) ikonlar. Bağımlı değişkenler: seçimdeki hata sayıları, ikonu seçmek için harcanan zaman. 2 tane arayüz hazırlandı.Kullanıcılar 2 gruba bölündü. Kullanıcılara dokümanı silme görevi verildi. İkonların yerlerini ezberleme durumunu ortadan kaldırmak için her seferde ikonların yerleri random olarak değiştirildi.

30 Bir örnek: İkon tasarımını değerlendirme İlk gruba soyut ikonlar, ikinci guruba doğal ikonlar gösterildi. Her grup için görevi tamamlama zamanını ve hata miktarlarını ölçtük. Normal dağılım olduğunu farz ettik ve t_testi, varyans analizi,ortalamalar ve standart sapmalar hesaplandı. Sonuç:H 0 red ediliyor. Doğal ikonlar soyut olanlara göre daha kolay hatırlanır.

31 Katılımcı grupla Çalışma Tek kullanıcılı deneylere göre daha zordur. Grup üyelerini seçmek, grubun doğasına uygun görevler seçmek zordur.(işbirliğini özendirmeli,yaratıcı olmalı), Veri toplamak ve analiz etmek zordur.

32 Gözlemsel Teknikler Think Aloud (Sesli düşünme) Cooperative evaluation(İşbirlikli Değerlendirme) Protocol analysis (Protokol Analizi) Automated analysis(otomatik analiz) Post-task walkthroughs(görev sonrası gözden geçirme)

33 Gözlemsel Teknikler Değerlendiriciler kullanıcıları izler. Kullanıcı eylemlerini kaydeder. Bu gözlemler, sistemin kullanıcı isteklerinin ne kadarını karşılayabildiğinin ölçülmesinde yeterlidir. Değişik teknikler kullanılır.

34 Think Aloud (Düşündüğünü Söyleme) Kullanıcının o anda ne yaptığını, ne gözlediğini anlatmasını içeren bir gözlem biçimidir.(Ne yaptığını, neden yaptığını, ne düşündüğünü söyle!) Avantajları: Daha az uzmanlık gerektirir. Ara yüzle ilgili problemler hakkında yararlı görüşler üretilebilir. Sistemin gerçekte nasıl kullanıldığını gözleme şansı verir. Dezavantajları: Bilgiler özneldir. Bilgiler seçici olabilir. Gözlem süreci, insanların görevi yapma yollarına göre değişebilir, bu yüzden yanlı bir bakış açısı üretebilir.

35 Cooperative Evaluation Düşündüklerini söylemedeki değişim işbirlikçi değerlendirme olarak bilinir. Oturumun başlangıcında değerlendiriciler, kullanıcılardan düşündüklerini söylemeleri ister veya onlara sorular sorar. (ne, neden gibi) Avantajları: Süreç daha az kısıtlanır. Kullanıcı sistemi kritize etmek için teşvik edilir. Değerlendiriciler, bozulmanın noktalarını aydınlatabilir, böylece problem alanını belirlemek için yaklaşımın etkiliği maksimize edilir.

36 Protokol Analizi Kullanıcı eylemlerinin kaydedilme yöntemidir. Paper and Pencil:Ucuzdur. Analistler yorumlar ve ilgisiz şeyleri not ederler.Analistin yazma hızı ile sınırlıdır.Notebook ların kullanılması da klavye kullanma hızı ile sınırlıdır. Ses kaydı: Sesli düşünme sırasında yararlıdır. Video kaydı: Katılımcıların yaptıklarını gösterdiğinden avantajlıdır.Özel ekipmana ihtiyaç duyulur.Uygun kamera açısını belirleme, katılımcıyı görüntü içine yerleştirme, detayları alma zor olabilir.

37 Protokol Analizi Bilgisayar kaydı:Sistemde kullanıcıların ne yaptığı otomatik olarak kaydedilir. Lowest_level eylemler hakkında bilgi verir, onların neden ve nasıl yapıldığı ile ilgili bilgi vermez. Kullanıcı notları: Boylamsal çalışmalarda yararlıdır.

38 Otomatik Protokol Analiz Araçları Video, ses ve sistem kayıtları zaman tüketicidir ve elle yapılması sıkıcıdır. Kayıtların tutulması ve verilerin senkronize edilmesi için EVA (experimental Video Annotator) kullanılıyor. EVA, video kaydedicisine bağlı bir multimedya iş istasyonunda çalışır. Değerlendiriciler, video kaydı yaparken notlar alabiliyor, sistem kayıtlarını tutabiliyor. Bu sistemler, verilerin toplanıp analiz edilmesini kolaylaştırdı.

39 Post_Task Walkthroughts (Gecikmiş Gözden Geçirme) Gözden geçirme, olaydan sonra katılımcıların eylemlerini yansıtır. Katılımcı, beklendiği gibi gerçek gözlem sırasında konuşmayabilir.(kritik bir görevde veya görevin zor olduğu durumda). Gecikmiş gözden geçirme, kullanıcı davranışı üzerinde öznel bir bakış açısı kazandırmanın tek yoludur. Avantajları: Analistlere, uygun sorular biçimlendirmelerinde, özel durumlara yoğunlaşmalarında zaman tanıyor.

40 Query Techniqes (Sorgu Teknikleri) Röportajlar Anketler

41 Röportajlar Kullanıcının deneyimleri hakkındaki röportajlar bilginin toplanmasında direk ve yapılandırılmış bir yol sunar. Avantajlar: İçeriğe uygun olarak, sorular çeşitlenebilir. Değerlendirici kullanıcıların ilgisini çeken noktalarda detaya inebilir. Top_down yaklaşım.(Bir görev hakkındaki genel sorulardan başlar, detaya iner.) Dolaysızdır,ucuzdur, özneldir. Dezavantajları: Çok özneldir. Zaman alıcıdır.

42 Anketler Sorular önceden hazırlandığı için, röportaj tekniğine göre daha az esnektir. Geniş bir gruba uygulanabilir. Daha az zaman alır, daha ayrıntılı analiz edilebilir. Soru tipleri Genel sorular: Kullanıcıların yaş, cinsiyet, meslek, ikametgah, önceki bilgisayar deneyimleri gibi özelliklerinin sorulduğu sorular. Açık_uçlu: Kullanıcılardan kendi fikirlerini üretmeleri beklenir.”Ara yüzle ilgili herhangi bir düzeltme önerebilir misin?” Scalar: Katılma derecelerine göre oluşturulur.(1…5) Çoktan seçmeli Sıralamalı:

43 Psikolojik Yöntemler Eye Tracking (Göz İzleme) Physiological Measurment (Psikolojik Ölçümler)

44 Göz İzleme Göz hareketleri bilişsel süreçleri yansıtır. Göz hareketleri izlenerek, insanların hangi görevi zor, hangilerini kolay bulduklarını anlayabiliriz. Fixatition: Ekrandaki gösterimin zorluğu hakkında bilgi verir. (zor olana göz uzun süre takılır.) Scan path: İlgiyi, araştırma stratejisini, bilişsel yüklemeyi içerir.Kısa odaklanma ile hedefe doğru hareket. Pahalı bir yöntemdir.Ekipmanları yenidir.Kullanışlılık hakkında iyi fikirler verir.

45 Psikolojik Ölçümler Kullanıcıyı rahatlatan ve strese neden olan faktörleri belirlemek. Kalp aktivitesi:Stres veya öfke durumu. Ter bezleri aktivitesi: Tahrik edici bir durum veya zihinsel bir çaba. Kaslardaki elektrik aktivitesi: Bir göreve ilgiyi yansıtır. Beyindeki elektrik aktivitesi: Dikkat, motivasyon ve karar alma ile ilgilidir.

46 Hangi Değerlendirme Yöntemini Seçmeliyim?

47 Değerlendirme Yöntemini Seçme Her değerlendirme yönteminin güçlü ve zayıf olduğu noktalar vardır. Değerlendirme Tekniklerini Ayırıcı Faktörler: Değerlendirmenin tamamlanacağı döngüdeki basamak Değerlendirme stili Tekniğin nesnellik ve öznellik seviyesi Ölçüm tipleri Bilginin sunumu Tepkinin vasıtasızlığı Belirtilen engel seviyesi(The level of interfrence implied) Gerekli olan kaynaklar

48 Dinlediğiniz için Teşekkürler… Selen ERGÜ