Bölüm 9: Değerlendirme Teknikleri Ders sorumlusu: Yrd. Doç. Dr. Hakan Tüzün Hazırlayan: Ayşe Altıntaş 1 HÜ-2010-2011 Bahar Dönemi.

... konulu sunumlar: "Bölüm 9: Değerlendirme Teknikleri Ders sorumlusu: Yrd. Doç. Dr. Hakan Tüzün Hazırlayan: Ayşe Altıntaş 1 HÜ-2010-2011 Bahar Dönemi."— Sunum transkripti:

1 Bölüm 9: Değerlendirme Teknikleri Ders sorumlusu: Yrd. Doç. Dr. Hakan Tüzün Hazırlayan: Ayşe Altıntaş 1 HÜ-2010-2011 Bahar Dönemi

2  Daha önceki bölümlerde kullanılabilir etkileşimli sistemlerin tasarım sürecini gözden geçirdik.  Bu bölümde ise, tasarım süreci kadar önemli olan, beklentilerimizi ve kullanıcıların gereksinimlerini karşılayıp karşılamadığını görmemizi sağlayan, Sistemleri ve tasarımlarımızı test ettiğimiz değerlendirme sürecine ilişkin bilgi edineceğiz. HÜ-2010-2011 Bahar Dönemi 2

3  Tasarım sürecinde tek bir aşama olarak düşünülemez.  Tasarımın yaşam döngüsü boyunca meydana gelir.  Uygulama ve tasarım süreçlerini kapsar.  Sistemin kullanılabilirliğini ve işlevselliğini test eder.  Laboratuarlarda ve çalışılan çevrede kullanıcıların işbirliğiyle gerçekleşir.  Tasarımda düzeltmeler yapmak için geribildirim sağlar. HÜ-2010-2011 Bahar Dönemi 3

4  Değerlendirmenin avantajı, dönütler sağlayarak uygulama üzerinde emek ve kaynaklar harcanmadan önce problemlerin ortadan kaldırılmasını sağlamasıdır.  Tasarımın değerlendirmesini yaparak sürecin başında değişiklik yapmak sonraki aşamalarda değişiklik yapmaktan daha kolay ve ucuzdur. HÜ-2010-2011 Bahar Dönemi 4

5  Değerlendirmenin 3 amacı vardır: Sistemin işlevselliğinin derecesini değerlendirmek Kullanıcıların etkileşimle ilgili deneyimlerini ya da kullanıcı üzerinde ara yüzün etkisini değerlendirmek Sistemdeki spesifik problemleri belirlemektir. HÜ-2010-2011 Bahar Dönemi 5

6  Sistemin işlevselliği kullanıcının gereksinimleriyle uyumlu olmalıdır.  Sistemin tasarımı kullanıcıların istenilen görevleri kolaylıkla yerine getirmesini sağlamalıdır.  Bu aşamadaki değerlendirme sistem ile kullanıcının performansını ölçmeyi ve görevi desteklemede sistemin etkililiğini değerlendirmeyi içeriyor. HÜ-2010-2011 Bahar Dönemi 6

7  Sistemin kullanım kolaylığı  Kullanışlığı  Kullanıcının memnuniyeti  Kullanıcının ne kadar hoşlandığı ve duygusal tepkileri  Fazla bilginin neden olacağı bilişsel yüklenmeyi içerir. HÜ-2010-2011 Bahar Dönemi 7

8  Sistem kullanıldığında beklenmeyen sonuçlara ve kullanıcılarda kafa karışıklığına neden olabilir.  Bu durum tasarım kullanışlığı ve işlevselliği ile ilişkilidir. HÜ-2010-2011 Bahar Dönemi 8

9  Uzman analizi  Kullanıcı analizi HÜ-2010-2011 Bahar Dönemi 9

10  Bir sistem uygulama başlamadan önce değerlendirilirse, pahalı hataların önüne geçilmiş olur.  Sonradan ortaya çıkacak bir hata fazla maliyete neden olduğu gibi daha az düzeltme imkanına da sahip olur.  Tamamlanmamış bir tasarım ve prototipten etkileşim deneyiminin tam bir değerlendirmesini yapmak zordur.  Tasarım boyunca düzenli aralıklarla kullanıcıyı test etmekte maliyetli olabilir. HÜ-2010-2011 Bahar Dönemi 10

11  Bu yöntemde uzman tasarımı alır ve tipik bir kullanıcı üzerindeki etkisine bakar.  Buradaki temel amaç ise zorluklara neden olan bölümleri belirlemektir.  Bu yöntem geliştirme sürecinin herhangi bir aşamasında kullanılabilir.  Ucuzdur, çünkü kullanıcı katılımını gerektirmez.  Sistemin gerçek kullanımı değerlendirilmez.  Sadece sistemin kabul edilebilir kullanılabilirlik prensiplerini destekleyip desteklemediğine bakılır. HÜ-2010-2011 Bahar Dönemi 11

12  Uzman analizindeki 4 yaklaşım: Bilişsel gözden geçirme Heuristic değerlendirme Model kullanımı Önceki çalışmaların kullanımı HÜ-2010-2011 Bahar Dönemi 12

13  Palson tarafından önerilmiştir.  Bir dizi eylemin ayrıntılı olarak, adım adım gözden geçirilmesini gerektirir.  Bilişsel gözden geçirmenin asıl amacı, sistemin öğrenilmesinin ne kadar kolay olduğunu belirlemektir.  Tasarımın, öğrenme görevlerinde kullanıcıları ne kadar iyi destekleyebildiğini değerlendirir.  Keşif yoluyla öğrenmeyi inceler.  Bu gözden geçirme esnasında ise değerlendirmeyi yapan kişi görevdeki her bir basamakta bu basamağın niçin olduğu ya da kullanıcı için neden iyi olmadığı hakkında bir hikaye sağlar.  Analiz için değerlendirme formları kullanılır (tasarımda ne iyi, neyi geliştirmeye ihtiyaç var). HÜ-2010-2011 Bahar Dönemi 13

14  Gözden geçirme için 4 şeye ihtiyaç var: 1. Sistemin tanımlaması ve prototipi 2. Sistem üzerinde kullanıcıların gerçekleştirdiği görevin bir tanımı (birçok kullanıcının yapmak isteyebileceği temsili bir görev olmalı) 3. Sistemde bu görevin gerçekleştirilmesi için gerçekleştirilmesi gereken eylemlerin listesi 4. Kullanıcıların kimler oldukları ve ne tür deneyimleri, bilgileri olduğu konusunda değerlendiricilerin bildikleri  Değerlendiriciler sistemi kritik etmek ve kullanışlılığını belirlemek amacıyla bu sırayı takip etmeliler. HÜ-2010-2011 Bahar Dönemi 14

15 Uzmanın cevaplaması gereken sorular: Kullanıcının amacıyla, eylemin etkisi aynı mı? Eylem kullanıcı ihtiyaç duyduğu anda görünür durumda mı? (Ör: eylemi gerçekleştirmek istediğinde kullanıcı menüyü, butonu görebilecek mi? vs.) Kullanıcı doğru eylemi bulduğunda, aradığını bulduğunu hissedecek mi? Kullanıcı eylem gerçekleştiğinde verilen dönütü anlayabilecek mi?  Kısaca tasarımın kullanıcının istenilen hedeflere ulaşmasını sağlayıp sağlamadığına bakılır. HÜ-2010-2011 Bahar Dönemi 15

16  Heuristic, bir tasarım kararına rehberlik edecek genel ilke, prensip ya da alınan bir kararı eleştirmek için kullanılır.  Bu değerlendirme yönteminde değerlendiriciler birbirinden bağımsız bir şekilde sistemin olası kullanılabilirlik problemlerini ileri sürerek sistemi eleştirirler.  Nielsen’e göre üç ya da beş değerlendirici yeterlidir.  Ortalama 5 kişinin yaptığı değerlendirmeyle, kullanışlılıkla ilgili problemlerin %75’i ortaya çıkar. HÜ-2010-2011 Bahar Dönemi 16

17  Bu değerlendirmenin temelindeki 4 faktör: Problem ne kadar yaygın? Kullanıcının üstesinden gelmesi için ne kadar basit? Tek seferlik mi yoksa devamlı karşılaşılan bir problem mi? Problem ne kadar ciddiyetle algılanıyor?  Değerlendirme yapılırken 10 heuristic baz alınır: Sistem durumunun görünürlüğü (örn: sistemin çalışması zaman alacaksa ne kadar sürede tamamlanacağının bir işaretinin verilmesi gerekir.) Sistem ile gerçek dünyanın eşleşmesi (sistemin kullandığı dil kullanıcının diliyle uyumlu olmalıdır) Kullanıcı kontrolü ve özgürlüğü (sistemde bir hata oluştuğunda kullanıcının çıkışına izin veren fonksiyonların, ileri-geri özelliklerinin olması) HÜ-2010-2011 Bahar Dönemi 17

18 Tutarlılık ve standartlar (kullanılan kelimeler, eylemlerin farklı bağlamlarda aynı anlama geliyor olması) Hata engelleme (iyi hazırlanacak bir hata mesajı yerine tasarımı daha dikkatli yaparak hataların meydana gelmesini önlemeye çalışmak) Hatırlama yerine tanıma (nesne, eylem ve seçenekler görünür olmalı, kullanıcının sistemi hatırlamaya çalışması yerine sistemin kullanımı için yönergeler olmalıdır) Kullanımın esneklik ve verimliliği (sistem deneyimli ve deneyimsiz kullanıcılara hitap etmeli, örn; deneyimli kullanıcılar için etkileşimi hızlandıracak hızlandırıcılar (accelerator) olabilir) Estetik ve sade tasarımlar (konu dışı ya da nadiren ihtiyaç duyulan bilgiye yer verilmemeli, haricen sunulan her bilgi diğerleriyle uyumlu olmalıdır) Hataları tanıma, tanımlama ve geri almada kullanıcılara yardım (hatalar açık bir dille ifade edilmeli, problemi işaret etmeli ve bir çözüm önermelidir) Yardım ve belgelendirme (ulaşılması kolay, kullanıcıların görevlerine odaklanan, uygulanacak adımları listeleyen ve çok büyük olmayan yönergeler olmalı) HÜ-2010-2011 Bahar Dönemi 18

19  Modellere uygun olarak yapılan değerlendirmelerdir.  Bilişsel ve tasarım modelleri tasarım özelliği ve değerlendirmeyi aynı yapıda buluşturur.  GOMS(goals, operators, methods, selection) modeli, özel bir ara yüzde kullanıcı başarısını tahmin eder ve özel tasarım seçeneklerini filtrelemek için kullanılır.  Düşük düzey (Lower_level) modelleme, düşük düzey (low_level) fiziksel görevleri gerçekleştirmek için kullanıcıların harcadıkları zamanı tahmin eder.  Tasarım yöntemlerinde tasarım mantığı vardır. Tasarım mantığı, değerlendirilecek tasarım seçeneklerine bir yapı sağlar. Tasarımda her bir seçenek bir ölçüte göre değerlendirilir.  İletişim modeli ise erişilemeyen durumlar, karmaşıklık gibi problemler için iletişim sıralarını değerlendirmek için kullanılır. HÜ-2010-2011 Bahar Dönemi 19

20  Daha önce yapılmış çalışmaların sonuçlarından faydalanılarak yapılan değerlendirmelerdir. Kanıtlarla desteklenen önceki çalışmaların sonuçlarını kullanır.  Yapılan bir araştırmayı tekrarlamak pahalı olduğu için bu yönteme başvurulur.  Kanıtlar uzmanlar tarafından dikkatli bir şekilde seçilerek kullanılmalıdır.  Ancak her çalışmanın kendi bağlamı içinde geçerli olduğunu unutmadan değerlendirmeye özen göstermek gereklidir. Bunun içinde seçilen deneysel tasarım, örneklem, kullanılan analizler, yapılan varsayımlar dikkatlice gözden geçirilmelidir. HÜ-2010-2011 Bahar Dönemi 20

21  Tasarımcı ya da uzman tarafından yapılan değerlendirmelerin hiç biri kullanıcılarla yapılan gerçek bir kullanılabilirlik testinin yerini alamaz.  Bu değerlendirme için ön koşul, çalışan bir prototipin olmasıdır.  Laboratuvarda ve alanda olmak üzere 2 tip kullanıcı değerlendirmesi vardır. HÜ-2010-2011 Bahar Dönemi 21

22  Avantajları: İşitsel/görsel kayıt, analiz olanakları (oymalı cam, bilgisayar vb…), iki yönlü ayna ile iyi düzenlenmiş kullanışlı bir ortam sunar. Aksaklık olmayan bir ortamda çalışma yapılır. Belirli ara yüz özelliklerini değerlendirmek için yapılan kontrollü deneylerde kullanılabilirler.  Dezavantajları: Doğal olmayan ortamların gerçek yaşamdan uzaklığı. Bir görev üzerinde işbirlikli olarak çalışan birkaç kişiyi gözlemlemenin zorluğu  Tehlikeli ya da uzak yerlere yerleştirilen bir sistemle çalışırken, tek kullanıcılı görevleri ayrıntılı olarak incelerken, problemleri ortaya çıkarırken, az kullanılan yöntemleri gözlemlerken, kontrollü bağlamda alternatif tasarımları karşılaştırmak istediğimizde laboratuvar çalışmaları kullanılabilir. HÜ-2010-2011 Bahar Dönemi 22

23  Avantajı: Kullanıcıyı doğal ortamında görmek Sistemler ve bireyler arasındaki etkileşimi açık bir şekilde görecek olmak Günler, aylar alacak bir çalışmada laboratuvar ortamında çalışmanın güçlüğü  Dezavantajı: Çevredeki gürültü Hareket fazlalığı Kesilmelerin olması (telefon çalması gibi) Alan gözlemlerinde katılımcıların kayıt cihazları ya da araştırmacının varlığından rahatsız olmaları HÜ-2010-2011 Bahar Dönemi 23

24  Deneysel çalışmalar, kontrollü deneylerle yapılan güçlü değerlendirmelerdir. Bir hipotez kurulur, bağımlı bağımsız değişkenler belirlenir, yöntem seçilir, uygun özelliklere sahip ve popülasyonu temsil edecek sayıda katılımcılar belirlenir, grupla ya da bireysel olarak çalışılabilir, hipotez test edilir, gerekli istatistiksel çalışmalar yapılır. HÜ-2010-2011 Bahar Dönemi 24

25  Herhangi bir deneyin başarısı için katılımcıların seçimi çok önemlidir.  Deneyde mümkün olduğunca gerçek katılımcılar ya da istenen özellikleri temsil eden katılımcılar seçilmelidir.  Katılımcıları seçerken onların yaş grubu, mesleği, cinsiyeti, önceki bilgisayar deneyimleri, eğitim düzeyleri gibi önemli olacak özellikleri dikkate alınmalıdır.  Katılımcıların büyüklüğü, popülasyonu temsil edecek kadar olmalıdır.  Katılımcı büyüklüğü istatistiksel olarak anlamlı olmalıdır.  Kullanılabilirlik problemlerini belirlemek için küçük katılımcı sayısı yeterli olmayacaktır. HÜ-2010-2011 Bahar Dönemi 25

26  Hipotezlerin test edilmesi için araştırmacılar, kontrol edilmiş şartlar altında değişkenleri ölçer ve gerekli değişiklikleri yapar.  Bağımlı(ölçülen), bağımsız (manipüle edilen) olmak üzere 2 tür değişken vardır.  Bağımsız değişkenler, karşılaştırma yapmak için farklı şartlar oluşturmak adına manipüle edilen değişkenlerdir. Bir değişkene ait yapılan her bir değişiklik ise düzey olarak adlandırılır. Örn; ikon tasarımı, menü başlıklarının sayısı,yardım düzeyi, ara yüz biçimi…  Karmaşık deneylerde birden fazla bağımsız değişken kullanılabilir.  Bağımlı değişken, değeri bağımlı değişkene bağlı olarak değişen başka etmenlerden etkilenmeyen değişkenlerdir. Örn; bir görevi tamamlamak için gereken zaman, yapılan hataların sayısı, kullanıcı performansının niteliği, kullanıcı tercihi…. HÜ-2010-2011 Bahar Dönemi 26

27  Hipotezler, bir deneyin çıktısının tahminidir.  Bir araştırmanın sonuçlarını öngörür. (Neyi görmek istiyorsun?)  Araştırmacının amacı öngörünün doğru olup olmadığını test etmektir.  Bağımsız değişkenin düzeyleri arasında bağımlı değişkende herhangi bir farklılık oluşmuyorsa null hipotezi çürütme yoluna gidilir. HÜ-2010-2011 Bahar Dönemi 27

28  Güvenilir ve genelleştirilebilir sonuçlar üretmek için deney dikkatli bir şekilde tasarlanmak zorundadır.  İlk olarak hipotez belirlenir.  Değişkenler belirlenir. (bu değişkenlerle hipotez belirlenmezse tekrar düşünülmeli)  Katılımcılar belirlenir.(kullanıcı grubunu temsil ediyor mu sorusuna cevap aranır)  Deneysel yönteme (gruplar arası-grup içi) karar verilir.Deneysel yöntemin belirlenmesi kaynaklara erişime bağlıdır. HÜ-2010-2011 Bahar Dönemi 28

29  İstatistiksel analizin iki kuralı, veriye bakma ve veriyi kaydetmektir.  Bir katılımcı deneyin gerçekleştiği anda hasta olabilir ve elde edilen veri yanılma sağlayabilir. Bu nedenle elde edilen veriye bakılmalıdır.  Farklı bir analiz yöntemini denemek istediğimizde de veriyi kaydetmek önem taşımaktadır.  İstatistiksel analizin seçimi verinin türüne ve bizim cevaplamak istediğimiz sorulara bağlıdır.  Veriler normal dağılıyorsa parametrik testler, normal dağılmıyorsa non_parametric testler kullanılır. HÜ-2010-2011 Bahar Dönemi 29

30 Hipotezler:  H 0 :İkonların hatırlanmasında fark yoktur.  H 1 :Kullanıcılar doğal ikonları, soyut ikonlara göre daha kolay hatırlar. Değişkenler:  Bağımsız değişkenler: İkon stili[Doğal(natural), soyut(abstract) ikonlar].  Bağımlı değişkenler: seçimdeki hata sayıları, ikonu seçmek için harcanan zaman.  2 tane arayüz hazırlandı. Bu arayüzler birbirinin aynısıydı. Sadece ikon stilleri farklıydı.  Grup içi deneysel tasarım tercih edildi.  Kullanıcılara dokümanı silme görevi ve uygun ikonu seçme fırsatı verildi.  İkonların yerlerini ezberleme durumunu ortadan kaldırmak için her seferde ikonların yerleri random olarak değiştirildi.  Öğrenmenin etkisini ortadan kaldırmak için kullanıcılar 2 gruba bölündü ve her bir grup farklı bir başlangıç koşuluyla karşılaştılar. HÜ-2010-2011 Bahar Dönemi 30

31  İlk gruba soyut ikonlar, ikinci guruba doğal ikonlar gösterildi.  Katılımcılar deneye katılmadan önce ikonların anlamlarını da öğrendiler.  Sonuç olarak bu görevleri gerçekleştiren katılımcıların yaptıkları hata sayıları ve görevi tamamlamak için kullandıkları zaman ölçülmeye çalışıldı.  Normal dağılım olduğunu farz edildi ve t_testi, varyans analizi,ortalamalar ve standart sapmalar hesaplandı. Sonuç:H 0 red edildi. Doğal ikonlar soyut olanlara göre daha kolay hatırlanır sonucuna ulaşıldı. Ancak hızlı hatırlandığı içinde daha çok hata yapma oranıyla karşılaşıldı. HÜ-2010-2011 Bahar Dönemi 31

32  Tek kullanıcılı deneylere göre Daha zordur, Grup üyelerini seçmek, grubun doğasına uygun işbirliğini özendirecek,yaratıcı görevler seçmek zordur, Veri toplamak ve bu verileri analiz etmek zordur, Daha çok maliyet ve zaman gerektirir. 32 HÜ-2010-2011 Bahar Dönemi

33  Sistemin gerçek kullanımı hakkında bilgi toplamanın en iyi yolu kullanıcı sistemle etkileşim kurarken onu gözlemlemekle gerçekleşir.  Değerlendirici kullanıcıların eylemlerini izler ve kayıt altına alır.  Basit bir gözlem sistemin kullanıcıların gereksinimlerini karşılayıp karşılamadığını belirleme noktasında nadiren yeterlidir.  Bu bölümde kullanıcı davranışlarını gözlemleyerek sistemleri değerlendirmek için kullanılan tekniklerden bazılarını gözden geçireceğiz. HÜ-2010-2011 Bahar Dönemi 33

34  Think Aloud (Sesli düşünme)  Cooperative evaluation(İşbirlikli Değerlendirme)  Protocol analysis (Protokol Analizi)  Automated analysis(otomatik analiz)  Post-task walkthroughs(görev sonrası gözden geçirme) 34 HÜ-2010-2011 Bahar Dönemi

35  Kullanıcının ne yaptığının gözlenmesinin yanı sıra, kullanıcının yaptıklarını sesli olarak aktarması söz konusudur.  Kullanıcının o anda ne yaptığını, ne yapmayı denediğini, niçin yaptığını, ne gözlediğini anlatmasını içeren bir gözlem biçimidir.  Avantajları: Daha az uzmanlık gerektirir. Ara yüzle ilgili problemler hakkında yararlı görüşler üretilebilir. Sistemin gerçekte nasıl kullanıldığını gözleme şansı verir.  Dezavantajları: Bilgiler özneldir. Bilgiler seçici olabilir. Gözlem süreci, insanların görevi yapma yollarına göre değişebilir, bu yüzden yanlı bir bakış açısı üretebilir. HÜ-2010-2011 Bahar Dönemi 35

36  Sesli düşünmenin bir çeşididir.  Kullanıcılara denek değil, işbirlikçi oldukları hissettirilir.  Oturumun başlangıcında değerlendiriciler, kullanıcılardan düşündüklerini söylemeleri ister veya ne, neden gibi onlara sorular sorar.  Avantajları: Süreç daha az kısıtlanır. Kullanıcı sistemi eleştirmek için teşvik edilir. Değerlendiriciler, karışıklığın meydana geldiği noktaları zamanında açıklayabilir, böylece problem alanlarını belirleyerek yaklaşımın etkililiğini artırabilirler. HÜ-2010-2011 Bahar Dönemi 36

37  Kullanıcı eylemlerinin kaydedilme yöntemidir.  Sözel verilere dayanan değerlendirme oturumlarının kayıtlarına protokol denir.  Kayıt için kağıt-kalem, ses kaydı, video kaydı, log kayıtları, kullanıcı notları gibi farklı yöntemler tercih edilebilir.  Protokol analizi de bu şekildeki nitel verilere dayalı bir tip araştırma yöntemidir.  Paper and Pencil: İlkel bir yöntemdir ancak ucuzdur. Analistler konuyla ilgisiz meydana gelen olayları ve yorumları not ederler. Analistin yazma hızı ile sınırlıdır.Notebook ların kullanılması da klavye kullanma hızı ile sınırlıdır. Not alan kişinin değerlendirmeyi yapan kişiden ayrı olması tavsiye edilir.  Ses kaydı: Sesli düşünme sırasında yararlıdır. Tam olarak bir eylemi tanımak için yeterli bilgiyi kaydetmek zor olabilir. HÜ-2010-2011 Bahar Dönemi 37

38  Video kaydı: Katılımcıların yaptıklarını gösterdiğinden avantajlıdır. Özel ekipmana ihtiyaç duyulur. Uygun kamera açısını belirleme, katılımcıyı görüntü içine yerleştirme, detayları alma zor olabilir. Tek kullanıcılı bilgisayar tabanlı bir görevde iki kamera kullanılarak bir kameranın bilgisayar ekranında yapılanları kaydetmesi, diğer kameranın ise kullanıcının yüzü ve ellerini görüntülemesi sağlanabilir.  Bilgisayar kaydı: Sistemde kullanıcıların ne yaptığı otomatik olarak kaydedilir. Kaynak koduna ulaşılmayan yazılımlarda elde etmek güçtür. Doğrudan tutulan kayıtlar ucuzdur, kendi halinde gerçekleşir, boylamsal çalışmalarda ilgili zaman aralığındaki kayıtlara ulaşmayı sağlar.  Kullanıcı notları: Katılımcılardan problemlerin ya da etkinliklerin kayıtlarını tutmaları istendiğinde gerçekleşir. Her an, her saniye tutmak güçtür. Alışılagelmeyen durumlar ya da sıklıkla gerçekleşmeyen görevler/problemlerde kullanıcılardan tutmaları istenir. Boylamsal çalışmalarda yararlıdır. HÜ-2010-2011 Bahar Dönemi 38

39  Video, ses ve sistem kayıtları gibi analiz protokolleri zaman tüketicidir ve elle yapılması sıkıcıdır.  Birden fazla veri kaynağını senkronize etmekte zordur.  Kayıtların tutulması ve verilerin senkronize edilmesi için EVA (experimental Video Annotator) kullanılıyor.  EVA, video kaydedicisine bağlı bir multimedya iş istasyonunda çalışır.  Değerlendiriciler, video kaydı yaparken notlar alabiliyor, açıklama ve etiketlemeler yapabiliyor, sistem kayıtlarını tutabiliyorlar.  Bu sistemler, verilerin toplanıp analiz edilmesini kolaylaştırmaktadır.  EVA gibi PARC, DRUM, Noldus gibi protokol analizi araçları mevcuttur. HÜ-2010-2011 Bahar Dönemi 39

40  Kişiler bir eylemi gerçekleştirdiğinde niçin bu eylemi yaptığı konusunda yeterli bilgiye sahip olmayabilir.  Görev sonrası gözden geçirmede bir görev gerçekleştirildikten sonra katılımcıların gerçekleştirdikleri eylemi yansıtarak bu gibi problemleri azaltmayı hedefler.  Verilerin üzerinden geçilmesi ve bunları kullanıcıya yansıtıp, ardından sorular sorarak detaylandırılmasıdır.  Katılımcı, beklendiği gibi gerçek gözlem sırasında kritik bir görevde veya görevin zor olduğu durumlarda konuşmayabilir.  Görev sonrası gözden geçirme, kullanıcı davranışı üzerinde öznel bir bakış açısı kazandırmanın tek yoludur.  Avantajları: Analistlere, uygun sorular biçimlendirmelerinde, özel durumlara yoğunlaşmalarında zaman tanıyor.  Dezavantajları: Aradan zaman geçince olayın tazeliğini kaybetmesidir. HÜ-2010-2011 Bahar Dönemi 40

41  Bir sistemdeki kullanıcı gereksinimleri ve görevleri hakkında ayrıntılı bilgi toplamanın en iyi yolu kullanıcıya sormaktır.  Bir sistem hakkında kullanıcı görüşünü/bakış açısını doğrudan ortaya çıkarmak için yararlıdır.  İki tane sorgu tekniği vardır. Bunlar; Görüşme Anketler HÜ-2010-2011 Bahar Dönemi 41

42  Kullanıcının etkileşimli bir sistemle deneyimleri hakkındaki görüşmeler bilginin toplanmasında doğrudan ve yapılandırılmış bir yol sunar.  İlgilenilen konu üzerine daha fazla soru sorarak detaylandırmak mümkündür.  Avantajlar: İçeriğe uygun olarak, sorular çeşitlenebilir. Değerlendirici kullanıcıların ilgisini çeken noktalarda detaya inebilir. Bir görev hakkındaki genel sorulardan başlayarak detaya inen Top_down yaklaşım kullanılır. Dolaysızdır,ucuzdur, özneldir.  Dezavantajları: Çok özneldir. Zaman alıcıdır. HÜ-2010-2011 Bahar Dönemi 42

43  Sorular önceden hazırlandığı için, görüşme tekniğine göre daha az esnektir.  Geniş bir gruba uygulanabilir.  Daha az zaman alır, daha ayrıntılı ve kolay analiz edilebilir.  Tasarım sürecinin gereksinimleri yakalamak, görev analizi ve değerlendirme gibi çeşitli aşamalarında uygulanabilir.  Kullanıcılar rastgele bir şekilde seçilebilir.  Anketler internet aracılığıyla e-mail ya da web sitesi üzerinden gönderilebilir. Soru tipleri  Genel sorular: Kullanıcıların yaş, cinsiyet, meslek, ikametgah, önceki bilgisayar deneyimleri gibi özelliklerinin sorulduğu sorular.  Açık uçlu: Kullanıcılardan kendi fikirlerini üretmeleri beklenir. “Ara yüzle ilgili herhangi bir düzeltme önerebilir misin?” gibi. Öznel bilgi toplanır ancak analiz etmek güçtür.  Scalar: Katılma derecelerine göre oluşturulur.(1…5; disagree, neutral, agree;1- 10)  Çoktan seçmeli: Kullanıcıya açık cevaplar sunulur ve sorulan soruya göre bunlardan bir tanesini seçmesi istenir. Kullanıcının önceki deneyimi hakkında bilgi toplamak için yararlıdır.  Sıralamalı: Bir listedeki başlıkları kullanıcının tercihine göre sıralamayı sağlar. HÜ-2010-2011 Bahar Dönemi 43

44  Kullanıcılar bilgisayarla etkileşim kurarken ne yaptıklarını görmenin dışında nasıl hissettiklerini de ölçmemizi sağlayan tekniklerdir.  Değerlendirmelerde ya kullanıcı gözlemlenir ya da kendine ne yaptığı, ne düşündüğü sorulur.  Sonuç olarak verilerimiz değerlendiricinin ya da kullanıcının düşündükleri, dile dökebildikleri ile sınırlıdır.  Bu sınırları aşıp, fizyolojik tepkileri takip ederek, veriye direk ulaşabileceğimiz yöntemler mevcuttur.  Bu yöntemler; Kullanılabilirliği değerlendirmek için göz izleme Psikolojik ölçümler HÜ-2010-2011 Bahar Dönemi 44

45  Göz hareketleri bilişsel süreçleri yansıtır.  Göz hareketleri izlenerek, insanların hangi görevi zor, hangilerini kolay bulduklarını anlayabiliriz.  Fixation: Ekrandaki gösterimin zorluğu hakkında bilgi verir, zor olana göz uzun süre takılır. Gözün ekran üzerindeki belli bir noktaya sabitlenmesini temele alarak ölçümünü gerçekleştirir.  Scan path: İlgiyi, araştırma stratejisini, bilişsel yüklemeyi içerir. Kısa odaklanma ile hedefe doğru hareket vardır. Tarama yolları ile sabitlenmeler esas alınarak insanların neye, ne kadar süre ve ne kadar sıklıkla baktıkları belirlenebilir.  Pahalı bir yöntemdir.  Ekipmanları yenidir.  Kullanışlılık hakkında iyi fikirler verir. HÜ-2010-2011 Bahar Dönemi 45

46  Kullanıcı bir arayüzle etkileşim sağlarken onu rahatlatan ve strese neden olan faktörleri, duygusal yanıtları belirlemektir. Kalp hızı, nefes alma ve deri salgıları (skin secretion) gibi. Kalp aktivitesi: Stres veya öfke durumu. Ter bezleri aktivitesi: Tahrik edici bir durum/uyarılma veya zihinsel bir çaba. Kaslardaki elektrik aktivitesi: Bir göreve ilgiyi, katılımı yansıtır. Beyindeki elektrik aktivitesi: Dikkat, motivasyon ve karar alma ile ilgilidir. HÜ-2010-2011 Bahar Dönemi 46

47  Tasarım sürecinin bütün aşamalarında etkileşimli bir sistemi değerlendirmek için bir dizi teknik vardır.  İhtiyacımıza uygun olan yönteme karar vermemiz gerekir.  Her değerlendirme yönteminin güçlü ve zayıf olduğu noktalar vardır.  Uygun değerlendirme yöntemini seçmek için dikkate alınması gereken bir dizi etmen vardır.  Değerlendirme Tekniklerini Ayırıcı Faktörler: Değerlendirme tasarım sürecinin hangi basamağında? Değerlendirme stili (laboratuvar mı alan çalışması mı?) Tekniğin nesnellik ve öznellik seviyesi Ölçüm tipleri (nitel ölçüm mü, nicel ölçüm mü?) Sağlanan bilgi Cevabın çabukluğu Belirtilen engel seviyesi (Yanıtların aciliyetiyle ilgilidir. Anında toplanan verilerde uygulama devam ettiğinde, kullanıcı davranışlarında değişikliğe sebep olabilir.) Gerekli olan kaynaklar(gerekli araçlar, zaman, para, katılımcılar vs.) HÜ-2010-2011 Bahar Dönemi 47

48 Teşekkürler… HÜ-2010-2011 Bahar Dönemi 48