BTÖ-611 İnsan-Bilgisayar Etkileşimi Yrd.Doç.Dr. Hakan TÜZÜN Bölüm 9: Değerlendirme Teknikleri Uğur Özhan

Değerlendirme Daha önceki bölümlerde etkileşimli sistemlerin tasarım sürecini konuştuk. Bu süreç yararlı olsa da , tasarımın beklediğimiz gibi çalışıp çalışmadığını, kullanıcıların beklentilerini karşılayıp karşılamadığını anlayabilmek için değerlendirme yapmalıyız.

İçindekiler: Değerlendirme Değerlendirmenin Amaçları Değerlendirme Teknikleri Uzman Analizi Bilişsel gözden geçirme, Heuristic değerlendirme, Model kullanımı, Önceki çalışmaların kullanımı Değerlendirme Yöntemi Seçimi Kullanıcı Analizi Deneysel çalışmalar Gözlemsel teknikler Sorgu teknikleri Fizyolojik yöntemler

Değerlendirme Sistemin kullanılabilirliği ve işlevselliği test edilir. Laboratuarlarda veya çalışılan çevrede kullanıcıların işbiliği ile olur. Uygulama ve tasarım süreçlerini kapsar. Tasarım sürecinin tüm evrelerinde göz önünde tutulmalıdır.

Değerlendirme Değerlendirme tasarımın yaşam döngüsü boyunca vardır. Değerlendirme sonuçları, tasarımımızı düzeltmemiz için bize geri dönütler sağlar.

Değerlendirmenin Amaçları Sistemin işlevselliğini değerlendirmek Arayüzün kullanıcılar üzerindeki etkisini belirlemek Sistemdeki spesifik problemleri belirlemek

Değerlendirmenin amaçları / 1. Sistemin işlevselliğini değerlendirmek Sistemin kullanışlılığı, kullanıcı gereksinimleri ile uyumlu olmalıdır. Sistemin tasarımı, kullanıcıların görevlerini kolaylaştırmalıdır. Sistemin kullanıcıları ile işin kullanıcılardan beklentileri eşleştirmelidir.

Değerlendirmenin amaçları / 2 Değerlendirmenin amaçları / 2. Arayüzün kullanıcılar üzerindeki etkisini değerlendirmek Sistemin kullanışlılığı, Sistemi öğrenmenin ne kadar kolay olduğu, Kullanıcının memnuniyeti, Kullanıcının ne kadar hoşlandığı, verdiği duygusal tepkiler Bilişsel yükün fazlalığı bu madde altında değerlendirilir.

Değerlendirmenin amaçları / 3 Değerlendirmenin amaçları / 3. Sistemdeki spesifik problemleri belirlemek Sistem kullanıldığında, beklenmeyen sonuçlara ve kullanıcıda şaşkınlığa neden oluyor mu?

Değerlendirme teknikleri: 1- Uzman analizi 2- Kullanıcı analizi

Değerlendirme Teknikleri / A) Uzman Analizi Sistem önceden değerlendirilirse, sonradan ortaya çıkacak pahalı hataların önüne geçilmiş olur. Zorluklara neden olan bölümleri belirlemektir asıl gayedir. Bu yöntemde uzman tasarımı alır ve tipik bir kullanıcı üzerinde etkisine bakar. .

Değerlendirme Teknikleri / A) Uzman Analizi Bu oldukça ucuzdur. Sistemin gerçek kullanımı değerlendirilmez. Sadece sistemin kabul edilebilir kullanışlılık prensiplerini destekleyip desteklemediğine bakılır. Bu yöntem geliştirme sürecinin herhangi bir aşamasında kullanılabilir.

Değerlendirme Teknikleri / A) Uzman Analizi Uzman analizindeki 4 yaklaşım: Bilişsel gözden geçirme Heuristic değerlendirme Model kullanımı Önceki çalışmaların kullanımı

Değerlendirme Teknikleri / A) Uzman Analizi 1. Bilişsel gözden geçirme Palson tarafından önerilmiştir. Tasarımın, öğrenme görevlerinde kullanıcıları ne kadar iyi destekleyebildiğinin değerlendirilmesidir. Keşif yoluyla öğrenmeyi inceler. Uzmanlar, ‘walks though’ ile psikolojik ilkeler kullanarak, potansiyel problemleri belirlerler. Analiz için değerlendirme formları kullanılır. Gözden geçirmenin asıl amacı, sistemin öğrenilmesinin ne kadar kolay olduğunu belirlemektir.Tasarımda neyin iyi olduğunun ve ne gibi düzeltmelere ihtiyaç olduğunun belirlenmesidir.

Değerlendirme Teknikleri / A) Uzman Analizi 1. Bilişsel gözden geçirme Gözden geçirme için 4 şeye ihtiyaç var: Sistemin tanıtımı ve prototipi Sistem üzerinde kullanıcıların gerçekleştirdiği görevin bir tanımı. Yazılmış eylemler listesi. Değerlendiricilerin kullanıcıların kimler ve ne tür deneyimleri ve bilgileri olduğu hakkında üstleneceği anlatımlar.

Değerlendirme Teknikleri / A) Uzman Analizi 1. Bilişsel gözden geçirme Uzmanın cevaplaması gereken sorular: Kullanıcının amacıyla, eyleminki aynı mı? Eylem kullanıcı ihtiyaç duyduğu anda görünür durumda mı? (Ör: menü, buton vs.) Kullanıcı doğru eylemi bulduğunda, aradığını bulduğunu hissedecek mi? Kullanıcı eylem gerçekleştiğinde verilen dönütü anlayabilecek mi? Amaç: Tasarım kullanıcının istenilen hedeflere ulaşmasını sağlıyormu?

Değerlendirme Teknikleri / A) Uzman Analizi 2. Heuristic değerlendirme Heuristic; bir tasarım kararı alınırken rehberlik edecek genel prensipler olarak tanımlanabilir. Bu değerlendirmenin temelindeki 4 faktör: Problem ne kadar yaygın? Kullanıcının üstesinden gelmesi için ne kadar basit? Tek seferlik mi yoksa devamlı karşılaşılan bir problem mi? Problem ne kadar ciddiyetle algılanıyor?

Değerlendirme Teknikleri / A) Uzman Analizi 2. Heuristic değerlendirme Ortalama 5 kişinin yaptığı değerlendirmeyle, kullanışlılıkla ilgili problemlerin %75’i ortaya çıkar. Değerlendirme yapılırken 10 heuristic baz alınır: Sistem durumunun görünürlüğü Sistem ile gerçek dünyanın eşleşmesi Kullanıcı kontrolü ve özgürlüğü Tutarlılık ve standartlar

Değerlendirme Teknikleri / A) Uzman Analizi 2. Heuristic değerlendirme Hata engelleme Hatırlama yerine tanıma Kullanımın esneklik ve verimliliği Estetik ve sade tasarımlar Hataları tanıma, tanımlama ve geri almada kullanıcılara yardım Yardım ve belgelendirme

Değerlendirme Teknikleri / A) Uzman Analizi 3. Model kullanımı GOMS(goals, operators, methods, selection) modeli, özel bir ara yüzde kullanıcı başarısını tahmin eder. Low_lever modelleme, low_level fiziksel görevleri gerçekleştirmek için kullanıcıların harcadıkları zamanı tahmin eder

Değerlendirme Teknikleri / A) Uzman Analizi 4 Değerlendirme Teknikleri / A) Uzman Analizi 4. Önceki çalışmaların kullanımı Daha önce yapılmış çalışmaların sonuçlarından faydalanılarak yapılan değerlendirmelerdir. Fakat her çalışmanın kendi kapsamı içinde geçerli olduğunu bilerek değerlendirmeye itina göstermek gereklidir.

Değerlendirme Teknikleri / B) Kullanıcı Analizi Tasarımcı ya da uzman tarafından yapılan değerlendirmelerin hiç biri kullanıcı analizinin yerini alamaz. Bu değerlendirme için ön koşul, çalışan bir prototipin olmasıdır. Laboratuvarda ve alanda olmak üzere 2 tip kullanıcı değerlendirmesi vardır.

Değerlendirme Teknikleri / B) Kullanıcı Analizi 2 değerlendirme yöntemi inceleyeceğiz: Laboratuar koşullarında Çalışan çevrede “in the field”

Laboratuar Çalışmaları Avantajları: İşitsel/görsel kayıt ve analiz olanakları (oymalı cam, bilgisayar vb…) ile iyi düzenlenmiş kullanışlı bir ortam sunar. Aksaklık olmayan bir ortamda çalışma yapılır. Dezavantajları: Doğal olmayan ortamların gerçek yaşamdan uzaklığı.

Alan Çalışmaları Avantajı: Kullanıcıyı doğal ortamında görmek Dezavantajı: Çevredeki gürültü Hareket fazlalığı Kesilmelerin olması (telefon çalması gibi)

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 1 Değerlendirme Teknikleri / B) Kullanıcı Analizi / 1. Deneysel Çalışmalar Deneysel çalışmalar, kontrollü deneylerle yapılan güçlü değerlendirmelerdir. Bir hipotez kurulur, bağımlı bağımsız değişkenler belirlenir, yöntem seçilir, Uygun özelliklere sahip ve evreni temsil edecek sayıda katılımcılar belirlenir, Grupla ya da bireysel olarak çalışılabilir, Hipotez test edilir, Gerekli istatistiksel çalışmalar yapılır.

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 1 Değerlendirme Teknikleri / B) Kullanıcı Analizi / 1. Deneysel Çalışmalar/Katılımcılar Katılımcıları seçerken onların yaş grubu, meslek, cinsiyet, önceki bilgisayar deneyimleri, eğitim düzeyleri gibi özellikleri dikkate alınmalıdır. Katılımcıların büyüklüğü, populasyonu temsil edecek kadar olmalıdır. Katılımcı büyüklüğü istatistiksel olarak anlamlı olmalıdır.

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 1 Değerlendirme Teknikleri / B) Kullanıcı Analizi / 1. Deneysel Çalışmalar/Değişkenler Hipotezlerin test edilmesi için araştırmacılar, kontrol edilmiş şartlar altında değişkenleri ölçer ve gerekli değişiklikleri yapar. Bağımlı(ölçülen), bağımsız (manipüle edilen) olmak üzere 2 tür değişken vardır.

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 1 Değerlendirme Teknikleri / B) Kullanıcı Analizi / 1. Deneysel Çalışmalar/Hipotezler Hipotezler bir araştırmanın sonuçlarını öngörür. (Neyi görmek istiyorsun?) Araştırmacının amacı öngörünün doğru olup olmadığını test etmektir.

Deneysel Tasarım İlk olarak hipotez belirlenir. Değişkenler belirlenir. (bu değişkenlerle hipotez belirlenmezse tekrar düşün) Katılımcılar belirlenir.(kullanıcı grubunu temsil ediyor mu) Deneysel yönteme karar verilir.Deneysel yöntemin belirlenmesi kaynaklara erişime bağlıdır.

İstatistiksel Ölçümler Veriler normal dağılıyorsa parametrik testler, normal dağılmıyorsa non_parametric testler kullanılır.

Bir örnek: İkon tasarımını değerlendirme Hipotezler: H0:İkonların hatırlanmasında fark yoktur. H1:Kullanıcılar doğal ikonları, soyut ikonlara göre daha kolay hatırlar. Değişkenler: Bağımsız değişkenler: Doğal(naturel), soyut(abstract) ikonlar. Bağımlı değişkenler: seçimdeki hata sayıları, ikonu seçmek için harcanan zaman. 2 tane arayüz hazırlandı.Kullanıcılar 2 gruba bölündü. Kullanıcılara dokümanı silme görevi verildi. İkonların yerlerini ezberleme durumunu ortadan kaldırmak için her seferde ikonların yerleri random olarak değiştirildi.

Bir örnek: İkon tasarımını değerlendirme İlk gruba soyut ikonlar, ikinci guruba doğal ikonlar gösterildi. Her grup için görevi tamamlama zamanını ve hata miktarlarını ölçtük. Normal dağılım olduğunu farz ettik ve t_testi, varyans analizi,ortalamalar ve standart sapmalar hesaplandı. Sonuç:H0 red ediliyor. Doğal ikonlar soyut olanlara göre daha kolay hatırlanır.

Katılımcı grupla Çalışma Tek kullanıcılı deneylere göre daha zordur. Grup üyelerini seçmek, grubun doğasına uygun görevler seçmek zordur.(işbirliğini özendirmeli,yaratıcı olmalı), Veri toplamak ve analiz etmek zordur.

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2 Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2. Gözlemsel Teknikler Think Aloud (Sesli düşünme) Cooperative evaluation(İşbirlikli Değerlendirme) Protocol analysis (Protokol Analizi) Automated analysis(otomatik analiz) Post-task walkthroughs(görev sonrası gözden geçirme)

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2 Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2. Gözlemsel Teknikler/ Sesli düşünme Sesli Düşünme: Kullanıcının ne yaptığının gözlenmesinin yanı sıra, kullanıcının yaptıklarını sesli olarak aktarması söz konusudur. Ne yaptığını, neden yaptığını, ne düşündüğünü söyle!

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2 Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2. Gözlemsel Teknikler/ İşbirlikli Değerlendirme Sesli düşünmenin bir çeşididir, kullanıcılara denek değil, işbirlikçi oldukları hissettirilir. Eleştirmeleri konusunda cesaret verilir ve değerlendirmeci kullanıcının sesli düşünmesi esnasında neden, niye gibi sorular sorabilir.

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2 Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2. Gözlemsel Teknikler/ Protokol Analizi Sözel verilere dayanan değerlendirme oturumlarının kayıtlarına protokol denir “Kullanıcı eylemlerinin kaydedilme yöntemidir. Paper and Pencil:Ucuzdur. Analistler yorumlar ve ilgisiz şeyleri not ederler.Analistin yazma hızı ile sınırlıdır.Notebook ların kullanılması da klavye kullanma hızı ile sınırlıdır. Ses kaydı: Sesli düşünme sırasında yararlıdır. Video kaydı: Katılımcıların yaptıklarını gösterdiğinden avantajlıdır.Özel ekipmana ihtiyaç duyulur.Uygun kamera açısını belirleme, katılımcıyı görüntü içine yerleştirme, detayları alma zor olabilir.

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2 Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2. Gözlemsel Teknikler/ Protokol Analizi Sözel verilere dayanan değerlendirme oturumlarının kayıtlarına protokol denir. Kayıt için kağıt-kalem, ses kaydı, video kaydı, log kayıtları, kullanıcı notları gibi farklı yöntemler tercih edilebilir. Protokol analizi de bu şekildeki nitel verilere dayalı bir tip araştırma yöntemidir. EVA, PARC, DRUM gibi işlemleri otomatikleştirecek protokol analizi araçları mevcuttur.

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2 Değerlendirme Teknikleri / B) Kullanıcı Analizi / 2. Gözlemsel Teknikler/Görev sonrası gözden geçirme Verilerin üzerinden geçilmesi ve bunları kullanıcıya yansıtıp, ardından sorular sorarak detaylandırılmasıdır. Örneğin; sesli düşünme yapan bir kullanıcı, “undo” yapıyorum demiş, ancak nedenini açıklamamış olabilir. Bu durumda sonradan ses kaydını dinlettirip, kendisine niye işlemi geri aldığı sorulup, veri genişletilebilir.

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 3. Sorgu Teknikleri Röportajlar Kullanıcının deneyimleri hakkındaki röportajlar bilginin toplanmasında direk ve yapılandırılmış bir yol sunar. Görüşmelerde ilgilenilen konu üzerine daha fazla soru sorarak detaylandırmak mümkündür. Ancak fazlaca zaman alır ve oldukça özneldir. Anketler Sorular önceden hazırlandığı için, röportaj tekniğine göre daha az esnektir. Geniş bir gruba uygulanabilir. Daha az zaman alır, daha ayrıntılı analiz edilebilir.

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 4 Değerlendirme Teknikleri / B) Kullanıcı Analizi / 4.Fizyolojik yöntemler/Göz izleme Göz hareketleri bilişsel süreçleri yansıtır. Göz hareketleri izlenerek, insanların hangi görevi zor, hangilerini kolay bulduklarını anlayabiliriz. Fixatition: Ekrandaki gösterimin zorluğu hakkında bilgi verir. (zor olana göz uzun süre takılır.) Scan path: İlgiyi, araştırma stratejisini, bilişsel yüklemeyi içerir.Kısa odaklanma ile hedefe doğru hareket. Pahalı bir yöntemdir.Ekipmanları yenidir.Kullanışlılık hakkında iyi fikirler verir.

Değerlendirme Teknikleri / B) Kullanıcı Analizi / 4 Değerlendirme Teknikleri / B) Kullanıcı Analizi / 4.Fizyolojik yöntemler/ Kullanıcıyı rahatlatan ve strese neden olan faktörleri belirlemek. Kalp aktivitesi:Stres veya öfke durumu. Ter bezleri aktivitesi: Tahrik edici bir durum veya zihinsel bir çaba. Kaslardaki elektrik aktivitesi: Bir göreve ilgiyi yansıtır. Beyindeki elektrik aktivitesi: Dikkat, motivasyon ve karar alma ile ilgilidir.

Değerlendirme Yöntemi Seçimi Farklı değerlendirme yöntemlerinin farklı avantaj ve dezavantajları vardır. Yapılması gereken en uygun yönteme karar vermektir. Bunun için göz önüne alınabilinecek çeşitli kriterler vardır.

Değerlendirme Yöntemi Seçimi Değerlendirme tasarım sürecinin hangi basamağında? Laboratuvar mı, alan çalışması mı? Objektif veri mi, subjektif veri mi? Nicel ölçüm mü, nitel mi? Sağlanmasını istediğimiz bilgi seviyesi Yanıtların aciliyeti (Ör: sesli düşünmeden veriyi anında alırsın, sonradan gözden geçirmede daha sonra) Engel seviyesi (Yanıtların aciliyetiyle ilgilidir. Anında toplanan verilerde uygulama devam ettiğinde, kullanıcı davranışlarında değişikliğe sebep olabilir.) Kaynaklar (gerekli araçlar, zaman, para, katılımcılar vs.)

Teşekkürler…