WINTER 01 İNSAN-BİLGİSAYAR ETKİLEŞİMİ Değerlendirme Teknikleri Template HCI Hüsna İrem COŞKUN

02 Bölümün Amacı, Hazırlanan tasarımların, beklentilerimizi ve hedef kitlenin gereksinimlerini karşılayıp karşılamadığını görmemizi sağlamak amacıyla değerlendirme tekniklerine ilişkin süreç hakkında bilgi vermek.

03 Ünite Sonunda Öğreneceklerimiz, 1. Değerlendirme Nedir? 2. Değerlendirmenin Amaçları 3. Uzman Analizi ile Değerlendirme 4. Kullanıcı Katılımı ile Değerlendirme 5. Değerlendirme Yöntemi Seçimi

04 Tasarlanan sistemin kullanılabilirliğini ve işlevselliğini test eder. Uygulama ve tasarım süreçlerinin her ikisini de kapsar. Resim Tasarım sürecinin tüm evreleri göz önünde tutulur. Laboratuvarlarda, çevrede ve kullanıcıların işbirliğinde olur. Tasarımda düzeltmeler yapmak için geribildirim sağlar. 1. Değerlendirme Nedir?

05 1. Değerlendirme Nedir? Değerlendirmenin avantajı, dönütler sağlayarak uygulama üzerinde emek ve kaynaklar harcanmadan önce problemlerin ortadan kaldırılmasını sağlamasıdır. Tasarımın değerlendirmesini yaparak sürecin başında değişiklik yapmak sonraki aşamalarda değişiklik yapmaktan daha kolay ve ucuzdur. 1. Değerlendirme Nedir?

WINTER 06 Template Değerlendirmenin Amaçları nelerdir? Sistemin işlevselliğinin derecesini değerlendirmek Kullanıcıların etkileşimle ilgili deneyimlerini ya da kullanıcı üzerinde ara yüzün etkisini değerlendirmek Sistemdeki spesifik problemleri belirlemektir.

07 Sistemin işlevselliği kullanıcının gereksinimleriyle uyumlu olmalıdır. Sistemin tasarımı kullanıcıların istenilen görevleri kolaylıkla yerine getirmesini sağlamalıdır. Bu aşamadaki değerlendirme sistem ile kullanıcının performansını ölçmeyi ve görevi desteklemede sistemin etkililiğini değerlendirmeyi içeriyor. Sistemin işlevselliğini değerlendirmek

08 2) Arayüzün kullanıcılar üzerindeki etkisini değ. Sistemin kullanım kolaylığı Sistemin kullanışlılığı, Kullanıcının memnuniyeti, Kullanıcının ne kadar hoşlandığına dair verdiği duygusal tepkiler, Bilişsel yükün fazlalığı. 2) Arayüzün kullanıcılar üzerindeki etkisini değ.

09 iii. Sistemdeki spesifik problemleri belirlemek Sistemin beklenmeyen sonuçlara veya kullanıcılarda kafa karışıklığına neden olmasıdır. Bu durum, tasarımın kullanışlılığı ve işlevselliği ile de ilişkilidir. iii. Sistemdeki spesifik problemleri belirlemek

WINTER 11 Template 3. Uzman Analizi İle Değerlendirme Değerlendirme, tasarım süreci boyunca olmalıdır. Sistemin önceden değerlendirilmesi, sonradan ortaya çıkacak pahalı hataların önüne geçmiş olur. Uzman, tasarımı alır ve tipik bir kullanıcı üzerindeki etkisine bakar. Buradaki temel amaç ise zorluklara neden olan bölümleri belirlemektir. Geliştirme sürecinin herhangi bir aşamasında kullanılabilir. Ucuzdur, çünkü kullanıcı katılımını gerektirmez. Sistemin gerçek kullanımı değerlendirilmez. Sadece sistemin kabul edilebilir kullanılabilirlik ilkelerini destekleyip desteklemediğine bakılır. Template 3. Uzman Analizi İle Değerlendirme

12 Uzman analizindeki 4 yaklaşım, Bilişsel gezinti (Cognitive walkthrough) Sezgisel değerlendirme (Heuristic evaluation) Model tabanlı değerlendirme Önceki çalışmaları kullanarak değerlendirme

13 NEDİR? Palson ve arkadaşları tarafından önerilmiş olan bir dizi eylemin ayrıntılı olarak adım adım incelenmesini gerektiren sistemin öğrenilmesinin ne kadar kolay olduğunu belirlemek amacıyla yapılan değerlendirme şeklidir. Odak noktası keşif yoluyla öğrenmedir. Bilişsel gezinti (Cognitive walkthrough)

14 Bilişsel gezinti (Cognitive walkthrough) Analiz için değerlendirme formları kullanılır. (tasarımda ne iyi, neyi geliştirmeye ihtiyaç var). Değerlendirmeyi yapan kişi görevdeki her bir basamakta bu basamağın niçin olduğu ya da kullanıcı için neden iyi olmadığı hakkında bir “hikaye” sağlar. Bilişsel gezinti (Cognitive walkthrough)

14 Bilişsel gezinti için 4 şeye ihtiyaç vardır, Sistemin tanımlaması ve prototipi Sistem üzerinde kullanıcıların gerçekleştirdiği görevin bir tanımı (birçok kullanıcının yapmak isteyebileceği temsili bir görev olmalı) Sistemde bu görevin gerçekleştirilmesi için gerçekleştirilmesi gereken eylemlerin listesi Kullanıcıların kimler oldukları ve ne tür deneyimleri, bilgileri olduğu konusunda değerlendiricilerin bildikleri Bilişsel gezinti (Cognitive walkthrough) Değerlendiriciler sistemi kritik etmek ve kullanışlılığını belirlemek amacıyla bu sırayı takip etmeliler.

WINTER 15 Template Uzmanın cevaplaması gereken sorular, Kullanıcının amacıyla, eylemin etkisi aynı mı? Eylem kullanıcı ihtiyaç duyduğu anda görünür durumda mı? (Ör: eylemi gerçekleştirmek istediğinde kullanıcı menüyü, butonu görebilecek mi? vs.) Kullanıcı doğru eylemi bulduğunda, aradığını bulduğunu hissedecek mi? Kullanıcı eylem gerçekleştiğinde verilen dönütü anlayabilecek mi? Template Bilişsel gezinti (Cognitive walkthrough) Kısaca, tasarımın kullanıcının istenilen hedeflere ulaşmasını sağlayıp sağlamadığına bakılır.

16 NEDİR? ii. Sezgisel değerlendirme (Heuristic) Nielsen and Molich tarafından öne sürülmüş olan Heuristic, bir tasarım kararına rehberlik edecek genel ilke, prensip ya da alınan bir kararı eleştirmek için kullanılan değerlendirme şeklidir. Heurisctic değerlendirme, bir sistem ya da kullanıcı ara yüzünün kullanışlılık açısından sistemli bir şekilde incelenmesidir. ii. Sezgisel değerlendirme (Heuristic) Amaç, sistem ya da ara yüzün, belirlenen kullanışlılık kriterleriyle uyumlu olup olmadığını anlamak, büyük, küçük bütün problemleri tespit etmektir.

17 ii. Sezgisel değerlendirme (Heuristic) Bu değerlendirme yönteminde değerlendiriciler birbirinden bağımsız bir şekilde sistemin olası kullanılabilirlik problemlerini ileri sürerek sistemi eleştirirler. Nielsen’e göre üç ya da beş değerlendirici yeterlidir. Ortalama 5 kişinin yaptığı değerlendirmeyle, kullanışlılıkla ilgili problemlerin %75’i ortaya çıkar. Esnek, nispeten ucuz bir yaklaşımdır. ii. Sezgisel değerlendirme (Heuristic)

18 Değerlendirici her bir kullanılabilirlik sorunun ciddiyetini 4 faktör temelinde değerlendiriyor : Problem ne kadar yaygın? Kullanıcının üstesinden gelmesi için ne kadar basit? Tek seferlik mi yoksa devamlı karşılaşılan bir problem mi? Problem ne kadar ciddiyetle algılanıyor? ii. Sezgisel değerlendirme (Heuristic)

19 Değerlendirme yapılırken Nielsen’in 10 sezgisel bazı ele alınır, 1. Sistem Durumunun Görünürlüğü Sistemin çalışması zaman alacaksa ne kadar sürede tamamlanacağının bir işaretinin verilmesi gerekir. ii. Sezgisel değerlendirme (Heuristic) 2. Sistem ile Gerçek Dünyanın Eşleşmesi Sistemin kullandığı dil kullanıcının diliyle uyumlu olmalıdır.

3. Kullanıcı Kontrolü ve Özgürlüğü 20 WINTER 3. Kullanıcı Kontrolü ve Özgürlüğü Template Sistemde bir hata oluştuğunda kullanıcının çıkışına izin veren fonksiyonların, ileri-geri özelliklerinin olması. ii. Sezgisel değerlendirme (Heuristic)

4. Tutarlılık ve Standartlar 21 4. Tutarlılık ve Standartlar Kullanılan kelimeler, eylemlerin farklı bağlamlarda aynı anlama geliyor olmasıdır. ii. Sezgisel değerlendirme (Heuristic)

22 5. Hata Engelleme ii. Sezgisel değerlendirme (Heuristic) İyi hazırlanacak bir hata mesajı yerine tasarımı daha dikkatli yaparak hataların meydana gelmesini önlemeye çalışmaktır. ii. Sezgisel değerlendirme (Heuristic)

6. Hatırlama Yerine Tanıma 23 6. Hatırlama Yerine Tanıma Nesne, eylem ve seçenekler görünür olmalı, kullanıcının sistemi hatırlamaya çalışması yerine sistemin kullanımı için yönergeler olmalıdır. ii. Sezgisel değerlendirme (Heuristic)

7. Kullanımın Esneklik ve Verimliliği 24 7. Kullanımın Esneklik ve Verimliliği Sistem deneyimli ve deneyimsiz kullanıcılara hitap etmeli. Mesela deneyimli kullanıcılar için etkileşimi hızlandıracak hızlandırıcılar olabilir. ii. Sezgisel değerlendirme (Heuristic)

8. Estetik ve Sade Tasarımlar 25 WINTER 8. Estetik ve Sade Tasarımlar Template Konu dışı ya da nadiren ihtiyaç duyulan bilgiye yer verilmemeli, haricen sunulan her bilgi diğerleriyle uyumlu olmalıdır. ii. Sezgisel değerlendirme (Heuristic)

9. Hatalarını Tanıma, Tanımlama ve Geri Almada Kullanıcıya Yardım 26 9. Hatalarını Tanıma, Tanımlama ve Geri Almada Kullanıcıya Yardım Hatalar açık bir dille ifade edilmeli, problemi işaret etmeli ve bir çözüm önermelidir. ii. Sezgisel değerlendirme (Heuristic)

10. Yardım ve Belgelendirme 27 10. Yardım ve Belgelendirme Ulaşılması kolay, kullanıcıların görevlerine odaklanan, uygulanacak adımları listeleyen ve çok büyük olmayan yönergeler olmalı ii. Sezgisel değerlendirme (Heuristic)

09

29 NEDİR? Modellere uygun olarak yapılan değerlendirmelerdir. Bilişsel ve tasarım modelleri, tasarım özelliği ve değerlendirmeyi aynı çerçevede birleştiren bir yol sağlarlar. GOMS(goals, operators, methods, selection) modeli, özel bir ara yüzde kullanıcı başarısını tahmin eder ve özel tasarım seçeneklerini filtrelemek için kullanılır. Düşük düzey (Lower_level) modelleme, düşük düzey (low_level) fiziksel görevleri gerçekleştirmek için kullanıcıların harcadıkları zamanı tahmin eder. iii. Model tabanlı değerlendirme

WINTER 30 Template iii. Model tabanlı değerlendirme Tasarım yöntemlerinde tasarım mantığı vardır. Tasarım mantığı, değerlendirilecek tasarım seçeneklerine bir yapı sağlar. Tasarımda her bir seçenek bir ölçüte göre değerlendirilir. İletişim modeli ise erişilemeyen durumlar, karmaşıklık gibi problemler için iletişim sıralarını değerlendirmek için kullanılır. iii. Model tabanlı değerlendirme

31 NEDİR? Daha önce yapılmış çalışmaların sonuçlarından faydalanılarak yapılan değerlendirmelerdir. Kanıtlarla desteklenen önceki çalışmaların sonuçlarını kullanır. Yapılan bir araştırmayı tekrarlamak pahalı olduğu için bu yönteme başvurulur. Kanıtlar uzmanlar tarafından dikkatli bir şekilde seçilerek kullanılmalıdır. Ancak her çalışmanın kendi bağlamı içinde geçerli olduğunu unutmadan değerlendirmeye özen göstermek gereklidir. Bunun içinde seçilen deneysel tasarım, örneklem, kullanılan analizler, yapılan varsayımlar dikkatlice gözden geçirilmelidir. İv. Önceki Çalışmaları Kullanarak Değer.

33 Tasarımcı ya da uzman tarafından yapılan değerlendirmelerin hiç biri kullanıcılarla yapılan gerçek bir kullanılabilirlik testinin yerini alamaz. Bu değerlendirme için ön koşul, çalışan bir prototipin olmasıdır. 4. Kullanıcı Katılımı ile Değerlendirme

34 Kullanıcı değerlendirmesinde 2 tip vardır, a. Laboratuvar Çalışmaları b. Alan Çalışmaları 1.Değerlendirme Biçimleri

35 Avantajları: Dezavantajları: a. Laboratuvar Çalışmaları İşitsel/görsel kayıt, analiz olanakları (oymalı cam, bilgisayar vb…), iki yönlü ayna ile iyi düzenlenmiş kullanışlı bir ortam sunar. Aksaklık olmayan bir ortamda çalışma yapılır. Belirli ara yüz özelliklerini değerlendirmek için yapılan kontrollü deneylerde kullanılabilirler. Dezavantajları: Doğal olmayan ortamların gerçek yaşamdan uzaklığı. Bir görev üzerinde işbirlikli olarak çalışan birkaç kişiyi gözlemlemenin zorluğu a. Laboratuvar Çalışmaları Tehlikeli ya da uzak yerlere yerleştirilen bir sistemle çalışırken, tek kullanıcılı görevleri ayrıntılı olarak incelerken, problemleri ortaya çıkarırken, az kullanılan yöntemleri gözlemlerken, kontrollü bağlamda alternatif tasarımları karşılaştırmak istediğimizde laboratuvar çalışmaları kullanılabilir.

WINTER 36 Template Avantajları: Kullanıcıyı doğal ortamında görmek, Sistemler ve bireyler arasındaki etkileşimi açık bir şekilde görecek olmak, Günler, aylar alacak bir çalışmada laboratuvar ortamında çalışmanın güçlüğü. Dezavantajları: Çevredeki gürültü Hareket fazlalığı Kesilmelerin olması (telefon çalması gibi) Alan gözlemlerinde katılımcıların kayıt cihazları ya da araştırmacının varlığından rahatsız olmaları Template b. Alan Çalışmaları

37 Deneysel çalışmalar, kontrollü deneylerle yapılan güçlü değerlendirmelerdir. Bir hipotez kurulur, Bağımlı bağımsız değişkenler belirlenir, Yöntem seçilir, Uygun özelliklere sahip ve popülasyonu temsil edecek sayıda katılımcılar belirlenir, Grupla ya da bireysel olarak çalışılabilir, Hipotez test edilir, Gerekli istatistiksel çalışmalar yapılır. 2. Deneysel Yöntemler

38 2. Deneysel Yöntemler / Katılımcılar Herhangi bir deneyin başarısı için katılımcıların seçimi çok önemlidir. Deneyde mümkün olduğunca gerçek katılımcılar ya da istenen özellikleri temsil eden katılımcılar seçilmelidir. Katılımcıları seçerken onların yaş grubu, mesleği, cinsiyeti, önceki bilgisayar deneyimleri, eğitim düzeyleri gibi önemli olacak özellikleri dikkate alınmalıdır. Katılımcıların büyüklüğü, popülasyonu temsil edecek kadar olmalıdır. Katılımcı büyüklüğü istatistiksel olarak anlamlı olmalıdır. Kullanılabilirlik problemlerini belirlemek için küçük katılımcı sayısı yeterli olmayacaktır. 2. Deneysel Yöntemler / Katılımcılar

39 2. Deneysel Yöntemler / Değişkenler Hipotezlerin test edilmesi için araştırmacılar, kontrol edilmiş şartlar altında değişkenleri ölçer ve gerekli değişiklikleri yapar. Bağımsız değişkenler, karşılaştırma yapmak için farklı şartlar oluşturmak adına manipüle edilen değişkenlerdir. Örn; ikon tasarımı, menü başlıklarının sayısı,yardım düzeyi, ara yüz biçimi… Bağımlı değişken, değeri bağımlı değişkene bağlı olarak değişen başka etmenlerden etkilenmeyen değişkenlerdir. Örn; bir görevi tamamlamak için gereken zaman, yapılan hataların sayısı, kullanıcı performansının niteliği, kullanıcı tercihi…. 2. Deneysel Yöntemler / Değişkenler

40 2. Deneysel Yöntemler / Hipotezler Hipotezler, bir deneyin çıktısının tahminidir. Bir araştırmanın sonuçlarını öngörür. (Neyi görmek istiyorsun?) Araştırmacının amacı öngörünün doğru olup olmadığını test etmektir. Bağımsız değişkenin düzeyleri arasında bağımlı değişkende herhangi bir farklılık oluşmuyorsa null hipotezi çürütme yoluna gidilir. 2. Deneysel Yöntemler / Hipotezler

WINTER 41 Template 2. Deneysel Yöntemler / İstatiksel Ölçümler Herhangi bir istatistiksel işlem yapmaya başlamadan önce veriye bakılmalı ve orijinal veri kaydedilmelidir. Template Bir katılımcı deneyin gerçekleştiği anda hasta olabilir ve elde edilen veri yanılma sağlayabilir. Bu nedenle elde edilen veriye bakılmalıdır. Farklı bir analiz yöntemini denemek istediğimizde de veriyi kaydetmek önem taşımaktadır. 2. Deneysel Yöntemler / İstatiksel Ölçümler İstatistiksel analizin seçimi verinin türüne ve bizim cevaplamak istediğimiz sorulara bağlıdır. Veriler normal dağılıyorsa parametrik testler, normal dağılmıyorsa non_parametric testler kullanılır.

42 ÖRNEK İkon Tasarımı Değerlendirme Hipotezler: H0:İkonların hatırlanmasında fark yoktur. H1:Kullanıcılar doğal ikonları, soyut ikonlara göre daha kolay hatırlar. Değişkenler: Bağımsız değişkenler: İkon stili [doğal(natural), soyut(abstract) ikonlar] Bağımlı değişkenler: seçimdeki hata sayıları, ikonu seçmek için harcanan zaman ÖRNEK

43 2 tane arayüz hazırlandı. Bu arayüzler birbirinin aynısıydı. Sadece ikon stilleri farklıydı. Grup içi deneysel tasarım tercih edildi. Kullanıcılara dokümanı silme görevi ve uygun ikonu seçme fırsatı verildi. İkonların yerlerini ezberleme durumunu ortadan kaldırmak için her seferde ikonların yerleri random olarak değiştirildi. Öğrenmenin etkisini ortadan kaldırmak için kullanıcılar 2 gruba bölündü ve her bir grup farklı bir başlangıç koşuluyla karşılaştılar. İlk gruba soyut ikonlar, ikinci guruba doğal ikonlar gösterildi. Katılımcılar deneye katılmadan önce ikonların anlamlarını da öğrendiler. Sonuç olarak bu görevleri gerçekleştiren katılımcıların yaptıkları hata sayıları ve görevi tamamlamak için kullandıkları zaman ölçülmeye çalışıldı. Normal dağılım olduğunu farz edildi ve t_testi, varyans analizi,ortalamalar ve standart sapmalar hesaplandı.

44 Sonuç H0 red edildi. Doğal ikonlar soyut olanlara göre daha kolay hatırlanır sonucuna ulaşıldı. Ancak hızlı hatırlandığı içinde daha çok hata yapma oranıyla karşılaşıldı.

45 Sistemin gerçek kullanımı hakkında bilgi toplamanın en iyi yolu kullanıcı sistemle etkileşim kurarken onu gözlemlemekle gerçekleşir. Değerlendirici, kullanıcıların eylemlerini izler ve kayıt altına alır. Basit bir gözlem sistemin kullanıcıların gereksinimlerini karşılayıp karşılamadığını belirleme noktasında nadiren yeterlidir. Bu bölüm, kullanıcı davranışlarını gözlemleyerek sistemleri değerlendirmek için kullanılan tekniklerden bazılarını gözden geçirmeyi amaçlamaktadır. 3.Gözlemsel Teknikler

WINTER 46 Template Gözlemsel Teknik Çeşitleri: Think Aloud (Sesli düşünme) Cooperative evaluation(İşbirlikli Değerlendirme) Protocol analysis (Protokol Analizi) Automated analysis(otomatik analiz) Post-task walkthroughs(görev sonrası gözden geçirme)

47 Daha az uzmanlık gerektirir. Think Aloud (Sesli düşünme) Kullanıcının ne yaptığının gözlenmesinin yanı sıra, kullanıcının yaptıklarını sesli olarak aktarması söz konusudur. Kullanıcının o anda ne yaptığını, ne yapmayı denediğini, niçin yaptığını, ne gözlediğini anlatmasını içeren bir gözlem biçimidir. Avantajları: Daha az uzmanlık gerektirir. Ara yüzle ilgili problemler hakkında yararlı görüşler üretilebilir. Sistemin gerçekte nasıl kullanıldığını gözleme şansı verir. Dezavantajları: Bilgiler özneldir. Bilgiler seçici olabilir. Gözlem süreci, insanların görevi yapma yollarına göre değişebilir, bu yüzden yanlı bir bakış açısı üretebilir. Think Aloud (Sesli düşünme)

48 Cooperative evaluation(İşbirlikli Değ) Sesli düşünmenin bir çeşididir. Kullanıcılara denek değil, işbirlikçi oldukları hissettirilir. Oturumun başlangıcında değerlendiriciler, kullanıcılardan düşündüklerini söylemeleri ister veya ne, neden gibi onlara sorular sorar. Avantajları: Süreç daha az kısıtlanır. Kullanıcı sistemi eleştirmek için teşvik edilir. Değerlendiriciler, karışıklığın meydana geldiği noktaları zamanında açıklayabilir, böylece problem alanlarını belirleyerek yaklaşımın etkililiğini artırabilirler. Cooperative evaluation(İşbirlikli Değ)

49 Protocol analysis (Protokol Analizi) Kullanıcı eylemlerinin kaydedilme yöntemidir. Sözel verilere dayanan değerlendirme oturumlarının kayıtlarına protokol denir. Kayıt için kağıt-kalem, ses kaydı, video kaydı, log kayıtları, kullanıcı notları gibi farklı yöntemler tercih edilebilir. Protokol analizi de bu şekildeki nitel verilere dayalı bir tip araştırma yöntemidir. Paper and Pencil: İlkel bir yöntemdir ancak ucuzdur. Analistler konuyla ilgisiz meydana gelen olayları ve yorumları not ederler. Analistin yazma hızı ile sınırlıdır.Notebook ların kullanılması da klavye kullanma hızı ile sınırlıdır. Not alan kişinin değerlendirmeyi yapan kişiden ayrı olması tavsiye edilir. Ses kaydı: Sesli düşünme sırasında yararlıdır. Tam olarak bir eylemi tanımak için yeterli bilgiyi kaydetmek zor olabilir. Protocol analysis (Protokol Analizi)

50 Automated analysis(otomatik analiz) Video, ses ve sistem kayıtları gibi analiz protokolleri zaman tüketicidir ve elle yapılması sıkıcıdır. Birden fazla veri kaynağını senkronize etmekte zordur. Kayıtların tutulması ve verilerin senkronize edilmesi için EVA (experimental Video Annotator) kullanılıyor. EVA, video kaydedicisine bağlı bir multimedya iş istasyonunda çalışır. Değerlendiriciler, video kaydı yaparken notlar alabiliyor, açıklama ve etiketlemeler yapabiliyor, sistem kayıtlarını tutabiliyorlar. Bu sistemler, verilerin toplanıp analiz edilmesini kolaylaştırmaktadır. EVA gibi PARC, DRUM, Noldus gibi protokol analizi araçları mevcuttur. Automated analysis(otomatik analiz)

51 WINTER Kişiler bir eylemi gerçekleştirdiğinde niçin bu eylemi yaptığı konusunda yeterli bilgiye sahip olmayabilir. Görev sonrası gözden geçirmede bir görev gerçekleştirildikten sonra katılımcıların gerçekleştirdikleri eylemi yansıtarak bu gibi problemleri azaltmayı hedefler. Verilerin üzerinden geçilmesi ve bunları kullanıcıya yansıtıp, ardından sorular sorarak detaylandırılmasıdır. Katılımcı, beklendiği gibi gerçek gözlem sırasında kritik bir görevde veya görevin zor olduğu durumlarda konuşmayabilir. Görev sonrası gözden geçirme, kullanıcı davranışı üzerinde öznel bir bakış açısı kazandırmanın tek yoludur. Avantajları: Analistlere, uygun sorular biçimlendirmelerinde, özel durumlara yoğunlaşmalarında zaman tanıyor. Dezavantajları: Aradan zaman geçince olayın tazeliğini kaybetmesidir. Template Post-task walkthroughs(görev sonrası gözden geçirme)

52 Bir sistemdeki kullanıcı gereksinimleri ve görevleri hakkında ayrıntılı bilgi toplamanın en iyi yolu kullanıcıya sormaktır. Bir sistem hakkında kullanıcı görüşünü/bakış açısını doğrudan ortaya çıkarmak için yararlıdır. İki tane sorgu tekniği vardır. Bunlar; Görüşme Anketler 4. Sorgu Teknikleri

53 Kullanıcının etkileşimli bir sistemle deneyimleri hakkındaki görüşmeler bilginin toplanmasında doğrudan ve yapılandırılmış bir yol sunar. İlgilenilen konu üzerine daha fazla soru sorarak detaylandırmak mümkündür. Avantajlar: İçeriğe uygun olarak, sorular çeşitlenebilir. Değerlendirici kullanıcıların ilgisini çeken noktalarda detaya inebilir. Bir görev hakkındaki genel sorulardan başlayarak detaya inen Top_down yaklaşım kullanılır. Dolaysızdır,ucuzdur, özneldir. Dezavantajları: Çok özneldir. Zaman alıcıdır. Görüşme

54 Sorular önceden hazırlandığı için, görüşme tekniğine göre daha az esnektir. Geniş bir gruba uygulanabilir. Daha az zaman alır, daha ayrıntılı ve kolay analiz edilebilir. Tasarım sürecinin gereksinimleri yakalamak, görev analizi ve değerlendirme gibi çeşitli aşamalarında uygulanabilir. Kullanıcılar rastgele bir şekilde seçilebilir. Anketler internet aracılığıyla e-mail ya da web sitesi üzerinden gönderilebilir. Anket

55 Soru tipleri Genel sorular: Kullanıcıların yaş, cinsiyet, meslek, ikametgah, önceki bilgisayar deneyimleri gibi özelliklerinin sorulduğu sorular. Açık uçlu: Kullanıcılardan kendi fikirlerini üretmeleri beklenir. “Ara yüzle ilgili herhangi bir düzeltme önerebilir misin?” gibi. Öznel bilgi toplanır ancak analiz etmek güçtür. Scalar: Katılma derecelerine göre oluşturulur.(1…5; disagree, neutral, agree;1-10) Çoktan seçmeli: Kullanıcıya açık cevaplar sunulur ve sorulan soruya göre bunlardan bir tanesini seçmesi istenir. Kullanıcının önceki deneyimi hakkında bilgi toplamak için yararlıdır. Sıralamalı: Bir listedeki başlıkları kullanıcının tercihine göre sıralamayı sağlar.

56 WINTER Template Kullanıcılar bilgisayarla etkileşim kurarken ne yaptıklarını görmenin dışında nasıl hissettiklerini de ölçmemizi sağlayan tekniklerdir. Değerlendirmelerde ya kullanıcı gözlemlenir ya da kendine ne yaptığı, ne düşündüğü sorulur. Sonuç olarak verilerimiz değerlendiricinin ya da kullanıcının düşündükleri, dile dökebildikleri ile sınırlıdır. Bu sınırları aşıp, fizyolojik tepkileri takip ederek, veriye direk ulaşabileceğimiz yöntemler mevcuttur. Bu yöntemler; Kullanılabilirliği değerlendirmek için göz izleme Psikolojik ölçümler 5. Fizyolojik Yöntemler

57 Göz İzleme Göz hareketleri bilişsel süreçleri yansıtır. Göz hareketleri izlenerek, insanların hangi görevi zor, hangilerini kolay bulduklarını anlayabiliriz. Fixation: Ekrandaki gösterimin zorluğu hakkında bilgi verir, zor olana göz uzun süre takılır. Gözün ekran üzerindeki belli bir noktaya sabitlenmesini temele alarak ölçümünü gerçekleştirir. Scan path: İlgiyi, araştırma stratejisini, bilişsel yüklemeyi içerir. Kısa odaklanma ile hedefe doğru hareket vardır. Tarama yolları ile sabitlenmeler esas alınarak insanların neye, ne kadar süre ve ne kadar sıklıkla baktıkları belirlenebilir. Pahalı bir yöntemdir. Ekipmanları yenidir. Kullanışlılık hakkında iyi fikirler verir. Göz İzleme

58 Kullanıcı bir arayüzle etkileşim sağlarken onu rahatlatan ve strese neden olan faktörleri, duygusal yanıtları belirlemektir. Kalp hızı, nefes alma ve deri salgıları (skin secretion) gibi. Kalp aktivitesi: Stres veya öfke durumu. Ter bezleri aktivitesi: Tahrik edici bir durum/uyarılma veya zihinsel bir çaba. Kaslardaki elektrik aktivitesi: Bir göreve ilgiyi, katılımı yansıtır. Beyindeki elektrik aktivitesi: Dikkat, motivasyon ve karar alma ile ilgilidir. Psikolojik Ölçümler

59 Değerlendirme Yöntemi Seçme Tasarım sürecinin bütün aşamalarında etkileşimli bir sistemi değerlendirmek için bir dizi teknik vardır. İhtiyacımıza uygun olan yönteme karar vermemiz gerekir. Her değerlendirme yönteminin güçlü ve zayıf olduğu noktalar vardır. Uygun değerlendirme yöntemini seçmek için dikkate alınması gereken bir dizi etmen vardır. Değerlendirme Tekniklerini Ayırıcı Faktörler: Değerlendirme tasarım sürecinin hangi basamağında? Değerlendirme stili (laboratuvar mı alan çalışması mı?) Tekniğin nesnellik ve öznellik seviyesi Ölçüm tipleri (nitel ölçüm mü, nicel ölçüm mü?) Sağlanan bilgi Cevabın çabukluğu Belirtilen engel seviyesi (Yanıtların aciliyetiyle ilgilidir. Anında toplanan verilerde uygulama devam ettiğinde, kullanıcı davranışlarında değişikliğe sebep olabilir.) Gerekli olan kaynaklar(gerekli araçlar, zaman, para, katılımcılar vs.) Değerlendirme Yöntemi Seçme

10

06 WINTER Template

08

07

09 1. Değerlendirme Nedir?

10