BTO416_İNSAN BİLGİSAYAR ETKİLEŞİMİ DEĞERLENDİRME TEKNİKLERİ DERS SORUMLUSU: Yrd. Doç. Dr. Hakan TÜZÜN HAZIRLAYANLAR: Dilek EROK Şahin CEVENSİN Bengüsu UĞUR Mehmet Emin KAYA Şuayip KILIÇ İnsan Bilgisayar Etkileşimi

ANLATACAĞIMIZ KONU BAŞLIKLARI Değerlendirme Değerlendirmenin Amaçları Değerlendirme Teknikleri Uzman Analizi Bilişsel gözden geçirme, Heuristic değerlendirme, Model kullanımı, Önceki çalışmaların kullanımı Değerlendirme Yöntemi Seçimi Kullanıcı Analizi Deneysel çalışmalar Gözlemsel teknikler Sorgu teknikleri Fizyolojik yöntemler İnsan Bilgisayar Etkileşimi

Değerlendirme Değerlendirme tasarımın yaşam döngüsü boyunca, devamlı yer almakta ve tasarımda düzeltme yapmayı sağlayacak dönüt sağlamaktadır. Düzeltme; tasarımın ne kadar erken aşamasında olursa, o kadar kolay ve ucuz olur. İnsan Bilgisayar Etkileşimi

Değerlendirme Sistemin kullanılabilirliği ve işlevselliği test edilir. Laboratuarlarda veya çalışılan çevrede kullanıcıların işbirliği ile olur. Uygulama ve tasarım süreçlerini kapsar. Tasarım sürecinin tüm evrelerinde göz önünde tutulmalıdır. İnsan Bilgisayar Etkileşimi

Değerlendirmenin Amaçları 3 ana amacı vardır: Sistemin işlevselliğinin değerlendirilmesi. Kullanıcıların etkileşimle ilgili deneyimlerini değerlendirmek. Sistemdeki spesifik problemlerin tanımlanması. İnsan Bilgisayar Etkileşimi

1. Sistemin işlevselliğini değerlendirmek Sistemin kullanışlılığı, kullanıcı gereksinimleri ile uyumlu olmalıdır. Sistemin tasarımı, kullanıcıların görevlerini kolaylaştırmalıdır. Sistemin kullanıcıları ile işin kullanıcılardan beklentileri eşleştirmelidir. İnsan Bilgisayar Etkileşimi

2. Kullanıcıların etkileşimle ilgili deneyimlerini değerlendirmek Sistemin kullanışlılığı, Sistemi öğrenmenin ne kadar kolay olduğu, Kullanıcının memnuniyeti, Kullanıcının ne kadar hoşlandığı, verdiği duygusal tepkiler ve Bilişsel yükün fazlalığı bu madde altında değerlendirilir. İnsan Bilgisayar Etkileşimi

3. Sistemdeki spesifik problemleri belirlemek Sistemde ortaya çıkan beklenmeyen ya da Kullanıcıların aklını karıştıran durumlar. İnsan Bilgisayar Etkileşimi

Değerlendirme teknikleri: Uzman analizi Kullanıcı analizi İnsan Bilgisayar Etkileşimi

A) Uzman Analizi Uzman analizi ile değerlendirme yönteminde uzman tasarımı alır ve tipik bir kullanıcı üzerinde etkisine bakar. Sorunlara neden olan bölümleri belirlemek asıl amaçtır. Sistem önce değerlendirilirse; daha sonra ortaya çıkabilecek pahalı hataların önüne geçilmiş olur. İnsan Bilgisayar Etkileşimi

A) Uzman Analizi Bu yöntem gerçek kullanımı değerlendirmez. Sadece sistemin kabul edilebilir kullanışlılık ölçütüne uygun olup olmadığı incelenir. Yöntem oldukça ucuzdur. Bu yöntem geliştirme sürecinin herhangi bir aşamasında kullanılabilir. İnsan Bilgisayar Etkileşimi

A) Uzman Analizi Uzman analizi ile değerlendirme yöntemi içerisinde 4 yaklaşım yer almaktadır. Bilişsel Gözden Geçirme Heuristic Değerlendirme Model Tabanlı Değerlendirme Önceki Çalışmaların Kullanımı İnsan Bilgisayar Etkileşimi

1. Bilişsel gözden geçirme Palson tarafından önerilmiştir. Tasarımın, öğrenme görevlerinde kullanıcıları ne kadar destekleyebildiğinin değerlendirilmesidir. Bu yöntemin genel amacı sistemin ne kadar kolay öğrenilebildiğini keşfetmektedir. Sistemde neyin iyi olduğunu ve ne gibi düzeltmelerin yapılması gerektiğinin keşfedilmesidir. Özel amacı ise; keşif yoluyla öğrenmenin incelenmesidir. Çünkü öğrenenlerin kılavuz okumak yerine keşfederek öğrenmeyi tercih edecekleri düşünülmektedir. Analiz için değerlendirme formları kullanılır. İnsan Bilgisayar Etkileşimi

1. Bilişsel gözden geçirme Bilişsel gözden geçirme 4 şeye ihtiyaç duyar. Sistemin tanıtımı ve prototipi. Sistem üzerinde kullanıcıların gerçekleştirdiği görevin bir tanımı. Yazılmış eylemler listesi Değerlendiricilerin, kullanıcıların kimler olduğu ve ne gibi deneyimleri, önbilgileri olduğu konusunda anlatımlar. Değerlendiriciler(Uzmanlar) sistemi kritik etmek ve kullanışlığı belirlemek için bu sırayı takip etmelidirler. İnsan Bilgisayar Etkileşimi

1. Bilişsel gözden geçirme Uzmanlar bu sırayı takip ederken aşağıdaki sorulara cevap aramalılardır; Kullanıcıların bu noktadaki amacıyla, eylemin etkisi aynı mı? Eylem sırasında kullanıcıların ihtiyaç duydukları buton, menü gibi içerikler görünür durumda oluyor mu? Kullanıcı doğru eylemi bulduğunda, ihtiyaç duyduğu şey olduğunu kavrayabilecek mi? Eylem gerçekleştikten sonra, kullanıcılar kendilerine verilen dönütleri anlayabilecekler mi? Amaç: Tasarım kullanıcının istenilen hedeflere ulaşmasını sağlıyor mu? İnsan Bilgisayar Etkileşimi

2. Heuristic değerlendirme Heuristic; bir tasarım kararı alınırken rehberlik edecek ilkeler olarak tanımlanabilir. Nielsen ve Molich tararından önerilmiştir. Kullanışlılık ölçütleri belirlenir ve tasarımlar uzmanlar tarafından bu ölçütlerin bozulup bozulmadığının görülmesi amacıyla değerlendirilir. Bu ölçütler değerlendirilirken aşağıdaki sorular göz önünde bulundurulur. Problem ne kadar yaygın? Kullanıcının üstesinden gelebileceği kadar basit mi? Tek seferlik mi yoksa sürekli karşılaşılan bir problem mi? Problem ne kadar ciddiyetle algılanıyor? İnsan Bilgisayar Etkileşimi

2. Heuristic değerlendirme Heuristic değerlendirme de Nielsen tarafından belirlenen 10 ölçüt; Sistem Durumunun görünürlüğü:Kullanıcılara ne olduğu hakkında bilgi verilmesi. Sistem ile gerçek dünyayı eşleştirme: Sistem kullanıcıların kullandıkları ifadeler ve benzer kavramlar konuşulmalı Kullanıcı kontrolü ve özgürlüğü: Kullanıcıların hata yaptığında geri alma ve ya bir daha yapma imkanının olması. Tutarlılık ve standartlar: Kabul edilen standartlar takip edilmeli. Hata engelleme: Hata yapmayı zorlaştırılmalı. İnsan Bilgisayar Etkileşimi

2. Heuristic değerlendirme Hatırlama yerine tanıma:Sistemin kullanım yönergeleri görüne bilir ve kolayca geri alınabilir olmalı. Kullanımın esneklik ve verimliliği: Kullanıcılara sık kullanılan eylemlerini uyarlamalarına izin vermeli. Uzman olan ve olmayan kullanıcıları dikkate almalı. Estetik ve sade tasarımlar: Uygun görünürlüğe sahip olma. Hataları tanıma, tanımlama ve geri almada kullanıcılara yardım: Hata mesajlari sade, amaca uygun anlaşılır olmalı. Problemi tam olarak içermeli ve uygun bir çözüm önermelidir. Yardım ve belgelendirme: Kullanıcının görevlerine yoğunlaşarak, araştırması kolay, çok uzun adımlar içermeyen bilgiler listelenmelidir. İnsan Bilgisayar Etkileşimi

3. Model kullanımı Modellere uygun olarak yapılan değerlendirmedir. GOMS model; özel bir arayüzde kullanıcı başarısını tahmin eder. LOW_lever modelleme; fiziksel görevleri gerçekleştirmek için kullanıcıların harcadıkları zamanı tahmin eder. İnsan Bilgisayar Etkileşimi

4. Önceki çalışmaların kullanımı Daha önce yapılmış; kanıtlarla desteklenen çalışmaların sonuçlarından faydalanılarak yapılan değerlendirmedir. Araştırmayı tekrarlamak pahalıdır. Kanıtlar uzmanlar tarafından dikkatli bir biçimde seçilerek kullanılmalıdır. Her çalışmanın kendi bağlamı içinde geçerli olduğunu unutmadan değerlendirmeye özen göstermek gerekir. İnsan Bilgisayar Etkileşimi

B) Kullanıcı Analizi Tasarımcı ya da uzman tarafından yapılan değerlendirmelerin hiç biri kullanıcı analizinin yerini alamaz. Bu değerlendirme için ön koşul, çalışan bir prototipin olmasıdır. İnsan Bilgisayar Etkileşimi 21

B) Kullanıcı Analizi 2 değerlendirme yöntemi inceleyeceğiz; Laboratuvar koşullarında Çalışan çevrede (saha- alan çalışmaları) İnsan Bilgisayar Etkileşimi 22

Laboratuar Çalışmaları Avantajları: İşitsel/görsel kayıt ve analiz olanakları ile iyi düzenlenmiş kullanışlı bir ortam sunar. Dezavantajları: Doğal olmayan ortamların gerçek yaşamdan uzaklığı. Birden fazla kişinin aynı ortamı kullanması. İnsan Bilgisayar Etkileşimi

Alan Çalışmaları Avantajı: Kullanıcıyı doğal ortamında görmek Dezavantajı: Beklenmeyen dış etkiler Çevredeki gürültü Hareket fazlalığı Kesilmelerin olması (telefon çalması gibi) İnsan Bilgisayar Etkileşimi

1. Deneysel Çalışmalar Deneysel değerlendirme çalışmaları, kontrollü deneylerle yapılan güçlü değerlendirmelerdir. Bir hipotez kurulur, Bağımlı bağımsız değişkenler belirlenir, Yöntem seçilir, Uygun özelliklere sahip ve evreni temsil edecek sayıda katılımcılar belirlenir, Grupla ya da bireysel olarak çalışılabilir, Hipotez test edilir, Gerekli istatistiksel çalışmalar yapılır. İnsan Bilgisayar Etkileşimi 25

1.1) Katılımcılar Katılımcıları seçerken onların yaş grubu, meslek, cinsiyet, önceki bilgisayar deneyimleri, eğitim düzeyleri gibi özellikleri dikkate alınmalıdır. Katılımcıların büyüklüğü, populasyonu temsil edecek kadar olmalıdır. Katılımcı büyüklüğü istatistiksel olarak anlamlı olmalıdır. İnsan Bilgisayar Etkileşimi

1.2) Değişkenler Hipotezlerin test edilmesi için araştırmacılar, kontrol edilmiş şartlar altında değişkenleri ölçer ve gerekli değişiklikleri oluşturur. Bağımlı(ölçülen) Bağımsız (manipüle edilen) olmak üzere 2 tür değişken vardır. İnsan Bilgisayar Etkileşimi 27

1.3) Hipotezler Hipotezler bir araştırmanın sonuçlarını öngörür. (Neyi görmek istiyorsun?) Araştırmacının amacı öngörünün doğru olup olmadığını test etmektir. İnsan Bilgisayar Etkileşimi 28

1.4) Deneysel Tasarım İlk olarak hipotez belirlenir. Değişkenler belirlenir. (bu değişkenlerle hipotez belirlenmezse tekrar düşün) Katılımcılar belirlenir.(kullanıcı grubunu temsil ediyor mu) Deneysel yönteme karar verilir.Deneysel yöntemin belirlenmesi kaynaklara erişime bağlıdır. İnsan Bilgisayar Etkileşimi

1.5) İstatistiksel Ölçümler Bağımlı ve bağımsız değişkenlere parametrik, parmetrik olmayan ve durum testi uygulanarak istatistiksel bir teknik seçilir. Örnek: t_testi, varyans analizi, ortalama, korelasyon vb. tekniklerdir. İnsan Bilgisayar Etkileşimi 30

1.6) Katılımcı Grupla Çalışma Tek kullanıcılı deneylere göre daha zordur. Grup üyelerini seçmek, grubun doğasına uygun görevler seçmek zordur.(işbirliğini özendirmeli,yaratıcı olmalı), Veri toplamak ve analiz etmek zordur. İnsan Bilgisayar Etkileşimi 31

Bir örnek: İkon tasarımını değerlendirme Hipotezler: H0:İkonların hatırlanmasında fark yoktur. H1:Kullanıcılar doğal ikonları, soyut ikonlara göre daha kolay hatırlar. Değişkenler: Bağımsız değişkenler: Doğal(naturel), soyut(abstract) ikonlar. Bağımlı değişkenler: Seçimdeki hata sayıları, ikonu seçmek için harcanan zaman. 2 tane arayüz hazırlandı.Kullanıcılar 2 gruba bölündü. Kullanıcılara dokümanı silme görevi verildi. İkonların yerlerini ezberleme durumunu ortadan kaldırmak için her seferde ikonların yerleri random olarak değiştirildi. İnsan Bilgisayar Etkileşimi 32

Bir örnek: İkon tasarımını değerlendirme İlk gruba soyut ikonlar, ikinci guruba doğal ikonlar gösterildi. Her grup için görevi tamamlama zamanını ve hata miktarlarını ölçtük. Normal dağılım olduğunu farz ettik ve t_testi, varyans analizi,ortalamalar ve standart sapmalar hesaplandı. Sonuç:H0 red ediliyor. Doğal ikonlar soyut olanlara göre daha kolay hatırlanır. İnsan Bilgisayar Etkileşimi 33

2. Gözlemsel Teknikler Bu teknikte kullanıcı gözlemlenir gözlem sonuçları değerlendirilir. Doğrudan gözlemleri ön yargıdan uzaklaştırıp, her iki tarafın da birbirlerini açıkça ifade etmek istedikleri, bilgi ve deneyimlerini paylaştıkları bir sürece dönüştürmek gereklidir. İnsan Bilgisayar Etkileşimi

2. Gözlemsel Teknikler Böylesi bir mantık şemasıyla gerçekleştirilecek gözlem sonrasında öğretmenler, öğretim uygulama repertuarlarını geliştirme fırsatı bulacakları gibi farklı bakma yollarını yani daha önce bilmedikleri ya da farkında olmadıkları, inançlarını keşfettikleri ve daha bilinçli olma yollarını öğrenecektirler. Kısaca öğretmenler öğretimi birlikte keşfedebileceklerdir. İnsan Bilgisayar Etkileşimi

2. Gözlemsel Teknikler Think Aloud (Sesli düşünme) Cooperative evaluation(İşbirlikli Değerlendirme) Protocol analysis (Protokol Analizi) Post-task walkthroughs(görev sonrası gözden geçirme) başlıkları altında toplayabiliriz.. İnsan Bilgisayar Etkileşimi

Think Aloud (Sesli düşünme) Yaklaşımın temelinde, okuma esnasında zihinde meydana gelen süreçlerin dile getirilmesi , düşünce safhasında fikir kaybını önlemektir. aklından her geçeni kelimelere dökmek durumunda olan öğrenci, böylece zihninden geçen ve fakat sessiz düşündüğünde fark etmeyeceği düşünceleri yakalamış olur. İnsan Bilgisayar Etkileşimi

Think Aloud (Sesli düşünme) Öncelikle öğrenciye gerekli talimatlar verilerek bu tekniği nasıl kullanılacağı gösterilir. örnek bir okuma yapılarak duraklama ve sorular sorma, sesli düşünme vurgulanır. Sesli düşünmede ne yaptığı neden yaptığı ne düşündüğü sesli olarak söyletilir böylece tasarım hakkında ne düşündüğü gözlemlenmiş olur. İnsan Bilgisayar Etkileşimi

İşbirlikli değerlendirme Bu teknik sesli düşünme sırasında kullanıcıya neden niçin gibi sorular sorarak kullanıcıya hem yorum yapması sağlanır hem de kullanıcı ile birlikte değerlendirme yapıldığı fark ettirilir İnsan Bilgisayar Etkileşimi

Protokol Analizi Değerlendirme oturumlarının kayıtlarına protokol denir. Bu kayıtları tutulması için değişik yöntemler vardır: Ses kaydı Video kaydı Kağıt-kalem Notlar İnsan Bilgisayar Etkileşimi

Görev sonrası gözden geçirme Bu teknikte yaptığımız gözlem sonrasında tekrar yapılanın gözden geçirilmesidir. Sesli düşünmeyse kayıtlar tekrar gözden geçirilir düzletmeler yapılır,işbirlikli değerlendirilmiş ise tekrar gözden geçirilir yada protokol analizi yapılmışsa kayıtlar tekrar incelenir böylece gözden kaçan bilgiler bulunur değerlendirmenin güvenirliği geçerliliği artırılmış olur. İnsan Bilgisayar Etkileşimi

3. Sorgu Teknikleri Röportajlar Anketler İnsan Bilgisayar Etkileşimi

Röportajlar Kullanıcının deneyimleri hakkındaki röportajlar bilginin toplanmasında direk ve yapılandırılmış bir yol sunar. Avantajlar: İçeriğe uygun olarak, sorular çeşitlenebilir. Değerlendirici kullanıcıların ilgisini çeken noktalarda detaya inebilir. Top_down yaklaşım.(Bir görev hakkındaki genel sorulardan başlar, detaya iner.) Dolaysızdır,ucuzdur, özneldir. Dezavantajları: Çok özneldir. Zaman alıcıdır. İnsan Bilgisayar Etkileşimi

Anketler Sorular önceden hazırlandığı için, röportaj tekniğine göre daha az esnektir. Geniş bir gruba uygulanabilir. Daha az zaman alır, daha ayrıntılı analiz edilebilir. Soru tipleri Genel sorular: Kullanıcıların yaş, cinsiyet, meslek, ikametgah, önceki bilgisayar deneyimleri gibi özelliklerinin sorulduğu sorular. Açık_uçlu: Kullanıcılardan kendi fikirlerini üretmeleri beklenir.”Ara yüzle ilgili herhangi bir düzeltme önerebilir misin?” Scalar: Katılma derecelerine göre oluşturulur.(1…5) Çoktan seçmeli Sıralamalı: İnsan Bilgisayar Etkileşimi

Göz İzleme Psikolojik Ölçümler Psikolojik Yöntemler Göz İzleme Psikolojik Ölçümler İnsan Bilgisayar Etkileşimi

Göz İzleme Göz hareketleri bilişsel süreçleri yansıtır. Göz hareketleri izlenerek, insanların hangi görevi zor, hangilerini kolay bulduklarını anlayabiliriz. Fixatition: Ekrandaki gösterimin zorluğu hakkında bilgi verir. (zor olana göz uzun süre takılır.) Scan path: İlgiyi, araştırma stratejisini, bilişsel yüklemeyi içerir.Kısa odaklanma ile hedefe doğru hareket. Pahalı bir yöntemdir.Ekipmanları yenidir.Kullanışlılık hakkında iyi fikirler verir. İnsan Bilgisayar Etkileşimi

Fiziksel Ölçümler Kullanıcıyı rahatlatan ve strese neden olan faktörleri belirlemek. Kalp aktivitesi:Stres veya öfke durumu. Ter bezleri aktivitesi: Tahrik edici bir durum veya zihinsel bir çaba. Kaslardaki elektrik aktivitesi: Bir göreve ilgiyi yansıtır. Beyindeki elektrik aktivitesi: Dikkat, motivasyon ve karar alma ile ilgilidir. İnsan Bilgisayar Etkileşimi

Hangi Değerlendirme Yöntemini Seçmeliyim? İnsan Bilgisayar Etkileşimi

Değerlendirme Yöntemi Seçimi Farklı değerlendirme yöntemlerinin farklı avantaj ve dezavantajları vardır. Yapılması gereken en uygun yönteme karar vermektir. Bunun için göz önüne alınabilinecek çeşitli kriterler vardır. İnsan Bilgisayar Etkileşimi

Değerlendirme Yöntemi Seçimi Değerlendirme tasarım sürecinin hangi basamağında? Laboratuar mı, alan çalışması mı? Objektif veri mi, sübjektif veri mi? Nicel ölçüm mü, nitel mi? Sağlanmasını istediğimiz bilgi seviyesi Yanıtların aciliyeti Kaynaklar (gerekli araçlar, zaman, para, katılımcılar vs.) İnsan Bilgisayar Etkileşimi