DEĞERLENDİRME TEKNİKLERİ BTO611 / HCI / Chapter 9 Evaluation Techniques Selay Arkün

Bu bölüme kadar kullanışlı bir etkileşimli tasarım yapma süreci hakkında konuştuk. Bu bölümde ise yaptığımız tasarımların, öğrenen ihtiyaçlarını karşılayacak şekilde ve beklediğimiz gibi çalışıp çalışmadığını, nasıl değerlendireceğimiz üzerinde duracağız.

İçindekiler: Değerlendirme Değerlendirmenin Amaçları Değerlendirme Teknikleri Uzman Analizi Bilişsel gözden geçirme, Heuristic değerlendirme, Model kullanımı, Önceki çalışmaların kullanımı Değerlendirme Yöntemi Seçimi Kullanıcı Analizi Deneysel çalışmalar Gözlemsel teknikler Sorgu teknikleri Fizyolojik yöntemler

Değerlendirme Değerlendirme tasarımın yaşam döngüsü boyunca, devamlı yer almakta ve tasarımda düzeltme yapmayı sağlayacak dönüt sağlamaktadır. Düzeltme; tasarımın ne kadar erken aşamasında olursa, o kadar kolay ve ucuz olur.

Değerlendirmenin amaçları: Sistemin işlevselliğini değerlendirmek Kullanıcıların etkileşimle ilgili deneyimlerini değerlendirmek Sistemdeki spesifik problemleri belirlemek

Değerlendirmenin amaçları / 1. Sistemin işlevselliğini değerlendirmek Sistemin işlevselliği, kullanıcıların gereksinimleri ile bağdaşmalı, kullanıcıların görevlerini yerine getirmelerini kolaylaştırmalıdır.

Değerlendirmenin amaçları / 2 Değerlendirmenin amaçları / 2. Kullanıcıların etkileşimle ilgili deneyimlerini değerlendirmek Sistemin kullanışlılığı, Sistemi öğrenmenin ne kadar kolay olduğu, Kullanıcının memnuniyeti, Kullanıcının ne kadar hoşlandığı, verdiği duygusal tepkiler ve Bilişsel yükün fazlalığı bu madde altında değerlendirilir.

Değerlendirmenin amaçları / 3 Değerlendirmenin amaçları / 3. Sistemdeki spesifik problemleri belirlemek Sistemde ortaya çıkan beklenmeyen ya da Kullanıcıların aklını karıştıran durumlar.

Değerlendirme teknikleri: Uzman analizi Kullanıcı analizi

Değerlendirme Teknikleri / A) Uzman Analizi Tasarımı bir uzmanın değerlendirmesidir. Bilişsel ilkeler ya da deneysel sonuçlar göz önünde bulundurulmadığı için karşılaşılan zorlukları ortadan kaldırması amaçlanır. Kullanıcı gerektirmediği için ucuzdur. Sürecin herhangi bir aşamasında uygulanabilir.

Değerlendirme Teknikleri / A) Uzman Analizi Uzman analizindeki 4 yaklaşım: Bilişsel gözden geçirme Heuristic değerlendirme Model kullanımı Önceki çalışmaların kullanımı

Değerlendirme Teknikleri / A) Uzman Analizi 1. Bilişsel gözden geçirme Genel olarak amacı, sistemin ne kadar kolay öğrenildiğini değerlendirmektir. Daha özelde ise keşif yoluyla öğrenmeyi inceler. Çünkü öğrenenlerin kılavuzu okumak ya da bir eğitim almaktansa sistemi keşfederek öğrenmeyi tercih ettikleri bilinmektedir.

Değerlendirme Teknikleri / A) Uzman Analizi 1. Bilişsel gözden geçirme Bilişsel gözden geçirme için ihtiyaç duyulanlar: Sistemin tanımlaması / prototipi Kullanıcının yerine getireceği görevin tanımı Sistemde bu görevin gerçekleştirilmesi için gerçekleştirilmesi gereken eylemlerin listesi Kullanıcıların kim oldukları, tecrübeleri ve değerlendirmecilerin onlar hakkında bilecekleri

Değerlendirme Teknikleri / A) Uzman Analizi 1. Bilişsel gözden geçirme Uzmanın cevaplaması gereken sorular: Kullanıcının amacıyla, eyleminki aynı mı? Eylem kullanıcı ihtiyaç duyduğu anda görünür durumda mı? (Ör: menü, buton vs.) Kullanıcı doğru eylemi bulduğunda, aradığını bulduğunu hissedecek mi? Kullanıcı eylem gerçekleştiğinde verilen dönütü anlayabilecek mi?

Değerlendirme Teknikleri / A) Uzman Analizi 2. Heuristic değerlendirme Heuristic; bir tasarım kararı alınırken rehberlik edecek genel prensipler olarak tanımlanabilir. Bu değerlendirmenin temelindeki 4 faktör: Problem ne kadar yaygın? Kullanıcının üstesinden gelmesi için ne kadar basit? Tek seferlik mi yoksa devamlı karşılaşılan bir problem mi? Problem ne kadar ciddiyetle algılanıyor?

Değerlendirme Teknikleri / A) Uzman Analizi 2. Heuristic değerlendirme Ortalama 5 kişinin yaptığı değerlendirmeyle, kullanışlılıkla ilgili problemlerin %75’i ortaya çıkar. Değerlendirme yapılırken 10 heuristic baz alınır: Sistem durumunun görünürlüğü Sistem ile gerçek dünyanın eşleşmesi Kullanıcı kontrolü ve özgürlüğü Tutarlılık ve standartlar

Değerlendirme Teknikleri / A) Uzman Analizi 2. Heuristic değerlendirme Hata engelleme Hatırlama yerine tanıma Kullanımın esneklik ve verimliliği Estetik ve sade tasarımlar Hataları tanıma, tanımlama ve geri almada kullanıcılara yardım Yardım ve belgelendirme

Değerlendirme Teknikleri / A) Uzman Analizi 3. Model kullanımı Modellere uygun olarak yapılan değerlendirmelerdir.

Değerlendirme Teknikleri / A) Uzman Analizi 4 Değerlendirme Teknikleri / A) Uzman Analizi 4. Önceki çalışmaların kullanımı Daha önce yapılmış çalışmaların sonuçlarından faydalanılarak yapılan değerlendirmelerdir. Ancak her çalışmanın kendi bağlamı içinde geçerli olduğunu unutmadan değerlendirmeye özen göstermek gereklidir.

Değerlendirme Teknikleri / B) Kullanıcı Analizi Tasarımcı ya da uzman tarafından yapılan değerlendirmelerin hiç biri kullanıcı analizinin yerini alamaz. Bu değerlendirme için ön koşul, çalışan bir prototipin olmasıdır. Laboratuvarda ve alanda olmak üzere 2 tip kullanıcı değerlendirmesi vardır.

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 1 Değerlendirme Teknikleri / B) Kullanıcı Analizi / 1. Deneysel Çalışmalar Deneysel çalışmalar, kontrollü deneylerle yapılan güçlü değerlendirmelerdir. Bir hipotez kurulur, bağımlı bağımsız değişkenler belirlenir, yöntem seçilir, uygun özelliklere sahip ve populasyonu temsil edecek sayıda katılımcılar belirlenir, grupla ya da bireysel olarak çalışılabilir, hipotez test edilir, gerekli istatistiksel çalışmalar yapılır.

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2 Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2. Gözlemsel Teknikler Gözlemsel teknikler, kullanıcının sistemle etkileşimini gözlemlemek üzerine kuruludur. Değerlendirici kullanıcıları izler ve kayıt altına alır.

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2 Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2. Gözlemsel Teknikler Sesli Düşünme: Kullanıcının ne yaptığının gözlenmesinin yanı sıra, kullanıcının yaptıklarını sesli olarak aktarması söz konusudur. İşbirlikli Değerlendirme: Sesli düşünmenin bir çeşididir, kullanıcılara denek değil, işbirlikçi oldukları hissettirilir, eleştirmeleri konusunda cesaret verilir ve değerlendirmeci kullanıcının sesli düşünmesi esnasında neden, niye gibi sorular sorabilir.

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2 Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2. Gözlemsel Teknikler Protokol Analizi: Sözel verilere dayanan değerlendirme oturumlarının kayıtlarına protokol denir. Kayıt için kağıt-kalem, ses kaydı, video kaydı, log kayıtları, kullanıcı notları gibi farklı yöntemler tercih edilebilir. Protokol analizi de bu şekildeki nitel verilere dayalı bir tip araştırma yöntemidir. EVA, PARC, DRUM gibi işlemleri otomatize edebilecek protokol analizi araçları mevcuttur.

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2 Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2. Gözlemsel Teknikler Sonradan gözden geçirme: Verilerin üzerinden geçilmesi ve bunları kullanıcıya yansıtıp, ardından sorular sorarak detaylandırılmasıdır. Örneğin; sesli düşünme yapan bir kullanıcı, “undo” yapıyorum demiş, ancak nedenini açıklamamış olabilir. Bu durumda sonradan ses kaydını dinlettirip, kendisine niye işlemi geri aldığı sorulup, veri genişletilebilir.

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 3. Sorgu Teknikleri Değerlendirmenin yanı sıra, kullanıcı ihtiyaç ve görevlerini öğrenmek için görüşme veya anket şeklindeki teknikleri kapsar. Görüşmelerde ilgilenilen konu üzerine daha fazla soru sorarak detaylandırmak mümkündür. Ancak fazlaca zaman alır ve oldukça özneldir.

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 3. Sorgu Teknikleri Anketleri ise geniş bir gruba uygulamak daha kolaydır, daha az zaman alır, ancak sorular önceden hazırlandığı için, röportaja göre daha az esnektir. Soru tipleri; genel sorular (yaş, meslek, vs.), açık uçlu sorular, puanlama, çoktan seçmeli, sıralamalı olacak şekilde farklılık gösterir.

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 4 Değerlendirme Teknikleri / B) Kullanıcı Analizi / 4. Fizyolojik Yöntemler Değerlendirmelerde ya kullanıcı gözlemlenir ya da kendine ne yaptığı, ne düşündüğü sorulur. Sonuç olarak verilerimiz değerlendiricinin ya da kullanıcının düşündükleri, dile dökebildikleri ile sınırlıdır. Bu sınırları aşıp, fizyolojik tepkileri takip ederek, veriye direk ulaşabileceğimiz yöntemler mevcuttur.

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 4 Değerlendirme Teknikleri / B) Kullanıcı Analizi / 4. Fizyolojik Yöntemler Kullanışlılık değerlendirmesi için göz takibi Kalp aktivitesi, ter bezleri aktivitesi, kaslardaki elektrik aktivitesi, beyindeki elektrik aktivitesi gibi kullanıcıyı strese sokan ya da rahatlatan faktörlerin tespiti için psikolojik ölçümler

Değerlendirme Yöntemi Seçimi Farklı değerlendirme yöntemlerinin farklı avantaj ve dezavantajları vardır. Yapılması gereken en uygun yönteme karar vermektir. Bunun için göz önüne alınabilinecek çeşitli kriterler vardır.

Değerlendirme yöntemi seçimi için kriterler Değerlendirme tasarım sürecinin hangi basamağında? Laboratuvar mı, alan çalışması mı? Objektif veri mi, subjektif veri mi? Nicel ölçüm mü, nitel mi? Sağlanmasını istediğimiz bilgi seviyesi Yanıtların aciliyeti (Ör: sesli düşünmeden veriyi anında alırsın, sonradan gözden geçirmede daha sonra) Engel seviyesi (Yanıtların aciliyetiyle ilgilidir. Anında toplanan verilerde uygulama devam ettiğinde, kullanıcı davranışlarında değişikliğe sebep olabilir.) Kaynaklar (gerekli araçlar, zaman, para, katılımcılar vs.)