İNSAN BİLGİSAYAR ETKİLEŞİMİ

İNSAN BİLGİSAYAR ETKİLEŞİMİ
BÖLÜM9: Değerlendirme Teknikleri Ders Sorumlusu: Doç.Dr. Hakan TÜZÜN Hazırlayan: Hatice ÇIRALI Bahar Dönemi BTÖ 611: İnsan-Bilgisayar Etkileşimi

DEĞERLENDİRME TEKNİKLERİ
Değerlendirme Nedir? Değerlendirmenin Amaçları Uzman Analizi ile Değerlendirme Kullanıcı Katılımı ile Değerlendirme Değerlendirme Yöntemi Seçimi

Niçin değerlendirme yaparız? Değerlendirmenin rolü nedir?
Daha önceki bölümlerde kullanılabilir etkileşimli sistemlerin tasarım sürecini gözden geçirdik.

Tasarımlarımızı veya sistemlerimizi sağlama almak için test etmeye ve incelemeye ihtiyaç duyarız. Tasarımlarımızın gerçekten beklentilerimizi ve kullanıcı ihtiyaçlarını karşılayıp karşılamadığını anlayabilmek için de değerlendirme yapmaya gerek duyarız.

DEĞERLENDİRME TEKNİKLERİ | 1. Değerlendirme Nedir?
Sistemin kullanılabilirliğini ve işlevselliğini test eder. Laboratuarlarda, çevrede ve kullanıcıların işbirliğinde olur. Uygulama ve tasarım süreçlerinin her ikisini de kapsar. Tasarım sürecinin tüm evreleri göz önünde tutulur. Tasarımda düzeltmeler yapmak için geribildirim sağlar. b Değerlendirmenin avantajı, dönütler sağlayarak uygulama üzerinde emek ve kaynaklar harcanmadan önce problemlerin ortadan kaldırılmasını sağlamasıdır. Tasarımın değerlendirmesini yaparak sürecin başında değişiklik yapmak sonraki aşamalarda değişiklik yapmaktan daha kolay ve ucuzdur.

DEĞERLENDİRME TEKNİKLERİ | 2. Değerlendirmenin Amaçları
b Değerlendirmenin 3 amacı vardır: Sistemin işlevselliğini değerlendirmek, Arayüzün kullanıcılar üzerindeki etkisini değerlendirmek, Sistemdeki spesifik problemleri belirlemektir.

b Sistemin işlevselliğini değerlendirmek: Tasarımın kullanıcının gereksinimleriyle uyumlu olması, Kullanıcının istediği görevleri kolaylıkla yerine getirebilmesi, Bir işte kullanıcıların beklentileri ile sistemin kullanımının eşleşmesi, Sistemle kullanıcının performansının ölçülmesi, Bir işte sistemin etkiliğini değerlendirmektir.

b 2) Arayüzün kullanıcılar üzerindeki etkisini değerlendirmek: Sistemin kullanım kolaylığı, Sistemin kullanışlılığı, Kullanıcının memnuniyeti, Kullanıcının ne kadar hoşlandığı, verdiği duygusal tepkiler Bilişsel yükün fazlalığı.

b 3) Sistemdeki spesifik problemleri belirlemektir: Sistemin beklenmeyen sonuçlara veya kullanıcılarda kafa karışıklığına neden olmasıdır. Bu durum, tasarımın kullanışlığı ve işlevselliği ile de ilişkilidir.

DEĞERLENDİRME TEKNİKLERİ | 3. Uzman Analizi ile Değerlendirme
Değerlendirme, tasarım süreci boyunca olmalıdır. Sistemin önceden değerlendirilmesi, sonradan ortaya çıkacak pahalı hataların önüne geçmiş olur. Uzman, tasarımı alır ve tipik bir kullanıcı üzerindeki etkisine bakar. Buradaki temel amaç ise zorluklara neden olan bölümleri belirlemektir. Geliştirme sürecinin herhangi bir aşamasında kullanılabilir. Ucuzdur, çünkü kullanıcı katılımını gerektirmez. Sistemin gerçek kullanımı değerlendirilmez. Sadece sistemin kabul edilebilir kullanılabilirlik ilkelerini destekleyip desteklemediğine bakılır. b

DEĞERLENDİRME TEKNİKLERİ | 3. Uzman Analizi ile Değerlendirme
b Uzman analizindeki 4 yaklaşım: Bilişsel gezinti (Cognitive walkthrough) Sezgisel değerlendirme (Heuristic evaluation) Model tabanlı değerlendirme Önceki çalışmaları kullanarak değerlendirme

Önceki çalışmaları kullanarak
DEĞERLENDİRME TEKNİKLERİ | 3. Uzman Analizi ile Değerlendirme Bilişsel Gezinti Muhakeme Sezgisel Model tabanlı Önceki çalışmaları kullanarak Palson ve arkadaşları tarafından önerilmiştir. Bir dizi eylemin ayrıntılı olarak adım adım incelenmesini gerektirir. Amacı, sistemin öğrenilmesinin ne kadar kolay olduğunu belirlemektir. Odak noktası keşif yoluyla öğrenmedir.

DEĞERLENDİRME TEKNİKLERİ | 3. Uzman Analizi ile Değerlendirme Bilişsel Gezinti Muhakeme Sezgisel Model tabanlı Önceki çalışmaları kullanarak Analiz için değerlendirme formları kullanılır. (tasarımda ne iyi, neyi geliştirmeye ihtiyaç var). Değerlendirmeyi yapan kişi görevdeki her bir basamakta bu basamağın niçin olduğu ya da kullanıcı için neden iyi olmadığı hakkında bir “story (hikaye)” sağlar. Bu analiz yöntemi etkileşimli sistemlerin ilk kez kullanılması kullanılabilirliğinin değerlendirilmesi için özellikle değerlidir.

DEĞERLENDİRME TEKNİKLERİ | 3. Uzman Analizi ile Değerlendirme Bilişsel Gezinti Muhakeme Sezgisel Model tabanlı Önceki çalışmaları kullanarak Değerlendiricilerin her bir adımda cevaplaması gereken sorular: Gezinti için 4 şeye ihtiyaç var: 1 Sistemin tanımlaması veya prototipi 1 Kullanıcının amacıyla, eylemin etkisi aynı mı? Değerlendiriciler sistemi kritik etmek ve kullanışlılığını belirlemek amacıyla bu sırayı takip etmeliler. Sistem tamamlanmak zorunda değildir ancak ayrıntılar açık olmalıdır. örneğin bir menü için yer ve ifadeler gibi ayrıntılar büyük bir farklılık yaratabilir. Ziyaretçiler gerçekte bu eylemi yapmaya çalışıyorlar mı?: Bu soruyla arayüzün kullanıcıların bilgi düzeyi ve deneyimleriyle ilgili varsayımlarının doğruluğu incelenmiş olur. Örneğin, benim Sony Vaio dizüstü iki ayar, 'güç' ve 'Hızlı' (bkz. Şekil 1) vardır.Tasarımcılar Ben pil gücünden tasarruf etmek 'Stamina' ayarını geçmek ve oyunlar gibi yoğun grafik uygulamaları için 'Hız' ayarı kullanacağınız varsayılır. Bu varsayım mantıklı mıdır?

DEĞERLENDİRME TEKNİKLERİ | 3. Uzman Analizi ile Değerlendirme Bilişsel Gezinti Muhakeme Sezgisel Model tabanlı Önceki çalışmaları kullanarak Değerlendiricilerin her bir adımda cevaplaması gereken sorular: Gezinti için 4 şeye ihtiyaç var: 2 Sistem üzerinde kullanıcıların gerçekleştirdiği görevin açıklanması 2 Eylemi, kullanıcı ihtiyaç duyduğunda görecek mi? 2. birçok kullanıcının yapmak isteyebileceği temsili bir görev olmalı Kısaca tasarımın kullanıcının istenilen hedeflere ulaşmasını sağlayıp sağlamadığına bakılır. 2. (Ör: eylemi gerçekleştirmek istediğinde kullanıcı menüyü, butonu görebilecek mi? vs.) Eylem için gereken kontroller görünebilir mi?: Bu soruyla saklı kontrollerle ilgili problemler tanımlanmış olur. TV uzaktan kumandaları dünyası tanıdık bir örnek sağlar. Uzaktan kumandalar genellikle nadiren (bkz. Şekil 2) kullanılan özelliklerini gizlemek için bir kapak içerir. Eğer nadiren bunları kullanın çünkü, size bunları açığa çıkartmak için bir flep kaldırılması gerekir farkında değilsiniz, bu işlevlerine erişmek gerekiyor, ancak sorun oluşur.

DEĞERLENDİRME TEKNİKLERİ | 3. Uzman Analizi ile Değerlendirme Bilişsel Gezinti Muhakeme Sezgisel Model tabanlı Önceki çalışmaları kullanarak Değerlendiricilerin her bir adımda cevaplaması gereken sorular: Gezinti için 4 şeye ihtiyaç var: 3 Sistemde bu görevin gerçekleştirilmesi için gerçekleştirilmesi gereken eylemlerin listesi 3 Kullanıcı doğru eylemi bulduğunda, aradığını bulduğunu bilecek mi? 3. İkinci soru eylemin görülebilirliği, bu ise onun anlaşılır ve etkisinin açık olmasıyla ilgilidir. Eylem ve kontrol arasında güçlü bir bağ var mı?: Bu soruyla görülür diğer kontrollerin eylem için daha iyi bir seçenek olup olmadığı sorgulanmış olur. Şekil 3 kontrol ve eylem arasında zayıf bir bağlantı vardır Stuttgart havaalanında bir otopark makinaya örnek gösterir. Ben ise Almanya'da atamada 18 aylık bir süre içinde bu makine kullanılır. Ben havaalanına geldi ve araç parkı terk etmek istedi ilk kez, ben bariyer ve resimde gösterildiği kontrolü ile karşı karşıya kalmıştır.Bariyer ve üst iki düğme, üst ve altında kırmızı bir yeşil bir tek bir yuvası vardır. Ben yuvası koymak için hiçbir şey yoktu, bu yüzden ben düğmelerden birine basın vardı tahmin etti. yeşil bir veya kırmızı olanı: Hangi düğme bariyeri kaldırmak için basın istiyorsunuz? Kırmızı. Açıkçası, ben bu sıkıntı yaşamaya tek kişi değildi. Ben birkaç hafta sonra geri döndüğünde, tasarım (bkz. Şekil 4) yükseltilmiş olmuştu. Yanı sıra itmek doğru düğmeye gösteren büyük bir işareti olarak, bazı 'yardım metni' kırmızı tuşa basınız 'diyerek sistemi (Almanca ve İngilizce olarak) ilave edilmiştir. Bu vurgulamak için, tasarımcılar, hatta kırmızı mürekkeple kelime 'kırmızı' baskı vardı. Şimdi hangi düğmesine istiyorsunuz?

DEĞERLENDİRME TEKNİKLERİ | 3. Uzman Analizi ile Değerlendirme Bilişsel Gezinti Muhakeme Sezgisel Model tabanlı Önceki çalışmaları kullanarak Değerlendiricilerin her bir adımda cevaplaması gereken sorular: Gezinti için 4 şeye ihtiyaç var: 4 Kullanıcıların kimler oldukları ve ne tür deneyimleri, bilgileri olduğu konusunda değerlendiricilerin bildikleri 4 Kullanıcı eylem gerçekleştiğinde verilen dönütü anlayabilecek mi? Eğer onlar hedeflerine ulaşırlarsa, kullanıcılar uygun geribildirime ihtiyaç duyarlar. Geribildirim uygun mu?: Bu soru geribildirimin kısalığını, zorluğunu, eksikliğini veya hatalı ifade edilişini sorgulamış olur. Siz de bu soruları bir websitesi için sorabilirsiniz. Seçtiğiniz websitesinin iletişim formundan öneri mesajı atmaya çalışın. Bu işlemi yaparken yukarıdaki 4 soruyu kendinize sormanız pratik yapmanız açısından önemlidir. Şekil 4 İngiliz bir trende bir elektronik tuvalet kapı için bir kontrol panelinden bir örnek göstermektedir. Eğer bazı gizlilik istersem ne düğmesine bastığınızda istiyorsunuz?

DEĞERLENDİRME TEKNİKLERİ | 3. Uzman Analizi ile Değerlendirme Bilişsel Gezinti Sezgisel (Heuristic) Model tabanlı Önceki çalışmaları kullanarak Nielsen and Molich tarafından öne sürülmüştür. Heuristic, bir tasarım kararına rehberlik edecek genel ilke, prensip ya da alınan bir kararı eleştirmek için kullanılır. Heurisctic değerlendirme, bir sistem ya da kullanıcı arayüzünün kullanışlılık açısından sistemli bir şekilde incelenmesidir. Amaç, sistem ya da arayüzün, belirlenen kullanışlılık kriterleriyle uyumlu olup olmadığını anlamak, büyük, küçük bütün problemleri tespit etmektir.

DEĞERLENDİRME TEKNİKLERİ | 3. Uzman Analizi ile Değerlendirme Bilişsel Gezinti Sezgisel Model tabanlı Önceki çalışmaları kullanarak Bu değerlendirme yönteminde değerlendiriciler birbirinden bağımsız bir şekilde sistemin olası kullanılabilirlik problemlerini ileri sürerek sistemi eleştirirler. Nielsen’e göre üç ya da beş değerlendirici yeterlidir. Ortalama 5 kişinin yaptığı değerlendirmeyle, kullanışlılıkla ilgili problemlerin %75’i ortaya çıkar. Esnek, nispeten ucuz bir yaklaşımdır. bir kişinin mevcut tüm kullanılabilirlik sorunları bulabilmesi pek mümkün olmayacağı için bu yöntemin birden fazla uzman tarafından uygulanması öngörülür. Değerlendirmenin uygulanması, birbirinden bağımsız bir grup değerlendirici uzman tarafından, kullanışlılık kriterlerinin bir araya toplandığı bir çizelge aracılığıyla, problemlerin tespit edilmesi ve ayrı ayrı hazırlanan raporların birleştirilmesi yoluyla gerçekleştirilmektedir.

DEĞERLENDİRME TEKNİKLERİ | 3. Uzman Analizi ile Değerlendirme Bilişsel Gezinti Sezgisel Model tabanlı Önceki çalışmaları kullanarak Değerlendirici her bir kullanılabilirlik sorunun ciddiyetini 4 faktör temelinde değerlendiriyor : Problem ne kadar yaygın? Kullanıcının üstesinden gelmesi için ne kadar basit? Tek seferlik mi yoksa devamlı karşılaşılan bir problem mi? Problem ne kadar ciddiyetle algılanıyor?

DEĞERLENDİRME TEKNİKLERİ | 3. Uzman Analizi ile Değerlendirme Bilişsel Gezinti Sezgisel Model tabanlı Önceki çalışmaları kullanarak Değerlendirme yapılırken Nielsen’in 10 sezgisel bazı ele alınır: 1 Sistem durumunun görünürlüğü 2 Sistem ile gerçek dünyanın eşleşmesi 3 Kullanıcı kontrolü ve özgürlüğü 4 Tutarlılık ve standartlar 5 Hata engelleme 6 Hatırlama yerine tanımlama 7 Kullanımın esneklik ve verimliliği 8 Estetik ve sade tasarımlar 9 Hataları tanıma, tanımlama ve geri almada kullanıcılara yardım 10 Yardım ve belgelendirme sistemin çalışması zaman alacaksa ne kadar sürede tamamlanacağının bir işaretinin verilmesi gerekir.) sistemin kullandığı dil kullanıcının diliyle uyumlu olmalıdır sistemde bir hata oluştuğunda kullanıcının çıkışına izin veren fonksiyonların, ileri-geri özelliklerinin olması kullanılan kelimeler, eylemlerin farklı bağlamlarda aynı anlama geliyor olması) iyi hazırlanacak bir hata mesajı yerine tasarımı daha dikkatli yaparak hataların meydana gelmesini önlemeye çalışmak nesne, eylem ve seçenekler görünür olmalı, kullanıcının sistemi hatırlamaya çalışması yerine sistemin kullanımı için yönergeler olmalıdır sistem deneyimli ve deneyimsiz kullanıcılara hitap etmeli, örn; deneyimli kullanıcılar için etkileşimi hızlandıracak hızlandırıcılar (accelerator) olabilir konu dışı ya da nadiren ihtiyaç duyulan bilgiye yer verilmemeli, haricen sunulan her bilgi diğerleriyle uyumlu olmalıdır hatalar açık bir dille ifade edilmeli, problemi işaret etmeli ve bir çözüm önermelidir (ulaşılması kolay, kullanıcıların görevlerine odaklanan, uygulanacak adımları listeleyen ve çok büyük olmayan yönergeler olmalı)

DEĞERLENDİRME TEKNİKLERİ | 3. Uzman Analizi ile Değerlendirme Bilişsel Gezinti Sezgisel Model tabanlı Önceki çalışmaları kullanarak

DEĞERLENDİRME TEKNİKLERİ | 3. Uzman Analizi ile Değerlendirme Bilişsel Gezinti Sezgisel Model tabanlı Model tabanlı Önceki çalışmaları kullanarak Bilişsel ve tasarım modelleri, tasarım özelliği ve değerlendirmeyi aynı çerçevede birleştiren bir yol sağlarlar. Örneğin; GOMS Modeli (goals, operators, methods, selection) Model, özel bir ara yüzle kullanıcı performansını tahmin eder ve özel tasarım seçeneklerini filtreleyebilir. Düşük Düzey Modelleme (Lower_level) Düşük düzey (low_level) fiziksel görevleri gerçekleştirmek için kullanıcıların harcadıkları zamanı tahmin eder.

DEĞERLENDİRME TEKNİKLERİ | 3. Uzman Analizi ile Değerlendirme Bilişsel Gezinti Sezgisel Model tabanlı Model tabanlı Önceki çalışmaları kullanarak Tasarım yöntemlerinde tasarım mantığı vardır. Aynı zamanda, tasarım aşamasında değerlendirmede rol oynarlar. Tasarımda her bir seçenek bir ölçüte göre değerlendirilir. İletişim modeli ise erişilemeyen durumlar, karmaşıklık gibi problemler için iletişim sıralarını değerlendirmek için kullanılır.

DEĞERLENDİRME TEKNİKLERİ | 3. Uzman Analizi ile Değerlendirme Bilişsel Gezinti Sezgisel Model tabanlı Önceki çalışmaları kullanarak Kanıtlarla desteklenen daha önce yapılmış çalışmaların sonuçlarından faydalanılarak yapılan değerlendirmelerdir. Yapılan bir araştırmayı tekrarlamak pahalı olduğu için bu yönteme başvurulur. Her çalışmanın kendi bağlamı içinde geçerli olduğunu unutmadan değerlendirmeye özen göstermek gereklidir. Kanıtlar uzmanlar tarafından dikkatli bir şekilde seçilerek kullanılmalıdır. 3. Bunun içinde seçilen deneysel tasarım, örneklem, kullanılan analizler, yapılan varsayımlar dikkatlice gözden geçirilmelidir.

DEĞERLENDİRME TEKNİKLERİ | 4. Kullanıcı Katılımı ile Değerlendirme
b Tasarımcı ya da uzman tarafından yapılan değerlendirmelerin hiç biri kullanıcılarla yapılan gerçek bir kullanılabilirlik testinin yerini alamaz. Bu değerlendirme için ön koşul, çalışan bir prototipin olmasıdır.

2 tip kullanıcı değerlendirmesi vardır: Laboratuar çalışmaları Alan çalışmaları Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Sorgu Teknikleri Fizyolojik Yöntemler

Laboratuar çalışmaları Avantajları: Mevcut özel ekipmanlar Kesintisiz ortam Dezavantajları: Bağlam eksikliği İşbirliği içinde çalışan birden fazla kullanıcıyı gözlemlemenin zorluğu Uygunluğu: Tehlikeli ya da uzak yerlere yerleştirilen bir sistemle çalışma Tek kullanıcılı görevleri ayrıntılı olarak inceleme Az kullanılan yöntemleri gözlemleme Kontrollü bağlamda alternatif tasarımları karşılaştırma Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler İşitsel/görsel kayıt, analiz olanakları (oymalı cam, bilgisayar vb…), iki yönlü ayna ile iyi düzenlenmiş kullanışlı bir ortam sunar. Aksaklık olmayan bir ortamda çalışma yapılır. Belirli ara yüz özelliklerini değerlendirmek için yapılan kontrollü deneylerde kullanılabilirler. Dezavantajları: Doğal olmayan ortamların gerçek yaşamdan uzaklığı. Bir görev üzerinde işbirlikli olarak çalışan birkaç kişiyi gözlemlemenin zorluğu Sorgu Teknikleri Fizyolojik Yöntemler

Alan çalışmaları Avantajları: Doğal ortam Olabildiğince uzunlamasına çalışmalar Dezavantajları: Dikkat dağıtıcılar Gürültü Uygunluğu: Uzunlamasına çalışmalar için çok önemli olan bağlamlarda Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Sistemler ve bireyler arasındaki etkileşimi açık bir şekilde görecek olmak Günler, aylar alacak bir çalışmada laboratuvar ortamında çalışmanın güçlüğü -- Hareket fazlalığı Kesilmelerin olması (telefon çalması gibi) Alan gözlemlerinde katılımcıların kayıt cihazları ya da araştırmacının varlığından rahatsız olmaları Sorgu Teknikleri Fizyolojik Yöntemler

Deneysel çalışmalar, kontrollü deneylerle yapılan güçlü değerlendirme yöntemlerinden biridir: Bir hipotez kurulur, Bağımlı ve bağımsız değişkenler belirlenir, Yöntem seçilir, Uygun özelliklere sahip ve evreni temsil edecek sayıda katılımcılar belirlenir, Grupla ya da bireysel olarak çalışılabilir, Hipotez test edilir, Gerekli istatistiksel çalışmalar yapılır. Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Sorgu Teknikleri Fizyolojik Yöntemler

Katılımcılar Deneyde mümkün olduğunca gerçek katılımcılar ya da istenen özellikleri temsil eden katılımcılar seçilmelidir. Katılımcıların büyüklüğü, popülasyonu temsil edecek kadar olmalıdır. Katılımcı büyüklüğü istatistiksel olarak anlamlı olmalıdır. Kullanılabilirlik problemlerini belirlemek için küçük katılımcı sayısı yeterli değildir. Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Herhangi bir deneyin başarısı için katılımcıların seçimi çok önemlidir. Katılımcıları seçerken onların yaş grubu, mesleği, cinsiyeti, önceki bilgisayar deneyimleri, eğitim düzeyleri gibi önemli olacak özellikleri dikkate alınmalıdır. Sorgu Teknikleri Fizyolojik Yöntemler

Değişkenler Bağımsız Değişken: Araştırılan durum ya da olay üzerinde etkisi olup olmadığı incelenen değişkendir. Araştırıcının kontrolü altındaki değişkendir. Neden sonuç ilişkisi içinde olayların oluşmasına yol açan, yani neden olan ve sonucu belirleyen değişkendir. Bağımlı Değişken: Bağımsız değişkene bağlı olan, onun değiştirilmesiyle değişen değişkendir. Araştırıcının denetimi altında bulunmayan, neden-sonuç ilişkisi içinde sonuç durumunda olan değişkendir. Ör: “ Ödüllendirmenin öğrencinin başarısı üzerinde etkisinin olup olmadığını belirlemek için yapılan bir deneyde bağımlı ve bağımsız değişkenler nelerdir? Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Bağımsız Değişken: Ödüllendirme Bağımlı Değişken: Başarının artması. Sorgu Teknikleri Fizyolojik Yöntemler

Hipotezler Bir araştırmanın sonuçlarını öngörür. (Neyi görmek istiyorsun?) Araştırmacının amacı öngörünün doğru olup olmadığını test etmektir. Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Bağımsız Değişken: Ödüllendirme Bağımlı Değişken: Başarının artması. Sorgu Teknikleri Fizyolojik Yöntemler

Deneysel Tasarım İlk olarak hipotez belirlenir. Değişkenler belirlenir. (bu değişkenlerle hipotez belirlenmezse tekrar düşün) Katılımcılar belirlenir. (kullanıcı grubunu temsil ediyor mu) Deneysel yönteme karar verilir. (gruplar arası-grup içi) Deneysel yöntemin belirlenmesi kaynaklara erişime bağlıdır. İstatistiksel çalışmalar yapılır. Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Güvenilir ve genelleştirilebilir sonuçlar üretmek için deney dikkatli bir şekilde tasarlanmak zorundadır. Sorgu Teknikleri Fizyolojik Yöntemler

İstatistiksel Ölçümler Herhangi bir istatistiksel işlem yapmaya başlamadan önce: Veriye bakılmalı orijinal veri kaydedilmelidir İstatistiksel analizin seçimine bağlı olan etmenler: Veri türü Gerekli bilgi Veri tipleri: Kesikli: Sınırlı sayıda değer alıyorsa Sürekli: Herhangi bir değer alıyorsa Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Bir katılımcı deneyin gerçekleştiği anda hasta olabilir ve elde edilen veri yanılma sağlayabilir. Bu nedenle elde edilen veriye bakılmalıdır. Farklı bir analiz yöntemini denemek istediğimizde de veriyi kaydetmek önem taşımaktadır. İstatistiksel analizin seçimi verinin türüne ve bizim cevaplamak istediğimiz sorulara bağlıdır. Sorgu Teknikleri Fizyolojik Yöntemler

İstatistiksel Ölçümler Test Türleri: Parametrik normal dağılım Güçlü güvenilir parametrik olmayan normal dağılım değil daha az güçlü daha güvenilir Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Sorgu Teknikleri Fizyolojik Yöntemler

İstatistiksel Ölçümler Verilerin Analizi Parametrik ve parametrik olmayan testler şöyle ele alınır: Hangi bilgiler istenmektedir? Bir farklılık var mı? Farklılık ne kadar büyük? Tahmin ne kadar doğrudur? Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Sorgu Teknikleri Fizyolojik Yöntemler

Örnek: İkon tasarımlarını değerlendirme Hipotezler: H0: İkonların hatırlanmasında fark yoktur. H1: Kullanıcılar doğal ikonları, soyut ikonlara göre daha kolay hatırlar. Değişkenler: Bağımsız değişkenler: İkon stili Doğal(natural), soyut(abstract) ikonlar]. Bağımlı değişkenler: Seçimdeki hata sayıları, ikonu seçmek için harcanan zaman. Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Sorgu Teknikleri Fizyolojik Yöntemler

Örnek: İkon tasarımlarını değerlendirme 2 tane arayüz hazırlanır. Bu arayüzler birbirinin aynısıdır. Sadece ikon stilleri farklıdır. Grup içi deneysel tasarım tercih edilir. Kullanıcılara dokümanı silme görevi ve uygun ikonu seçme fırsatı verilir. İkonların yerlerini ezberleme durumunu ortadan kaldırmak için her seferde ikonların yerleri random olarak değiştirilir. Öğrenmenin etkisini ortadan kaldırmak için kullanıcılar 2 gruba bölünür ve her bir grup farklı bir başlangıç koşuluyla karşılaştılar. Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Sorgu Teknikleri Fizyolojik Yöntemler

Örnek: İkon tasarımlarını değerlendirme İlk gruba soyut ikonlar, ikinci guruba doğal ikonlar gösterilir. Katılımcılar deneye katılmadan önce ikonların anlamlarını öğrenirler Sonuç olarak bu görevleri gerçekleştiren katılımcıların yaptıkları hata sayıları ve görevi tamamlamak için kullandıkları zaman ölçülmeye çalışılır. Normal dağılım olduğu farz edilir ve t_testi, varyans analizi,ortalamalar ve standart sapmalar hesaplanır. Sonuç:H0 red edilir. Doğal ikonlar soyut olanlara göre daha kolay hatırlanır sonucuna ulaşılır. Ancak hızlı hatırlandığı içinde daha çok hata yapma oranıyla karşılaşılır. Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Sorgu Teknikleri Fizyolojik Yöntemler

Sistemin gerçek kullanımı hakkında bilgi toplamanın en iyi yolu, kullanıcıları sistemle etkileşim kurarken gözlem yapmaktır. Değerlendirici kullanıcıların eylemlerini izler ve kayıt altına alır. Basit bir gözlem sistemin kullanıcıların gereksinimlerini karşılayıp karşılamadığını belirleme noktasında nadiren yeterlidir. Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Gözlemsel Teknikler 3. her zaman onların karar süreçlerinde ya da tutumu hakkında fikir vermez sonuç olarak kullanıcılar eylemlerini yüksek sesle ayrıntılı olarak kendilerine sorarlar, incelrler. Bu bölümde kullanıcı davranışlarını gözlemleyerek sistemleri değerlendirmek için kullanılan tekniklerden bazılarını gözden geçireceğiz. Sorgu Teknikleri Fizyolojik Yöntemler

Kullanıcı davranışlarını gözlemleyerek sistemleri değerlendirmek için kullanılan tekniklerden bazıları: Sesli düşünme (Think Aloud) İşbirlikli Değerlendirme (Cooperative evaluation) Protokol Analizi (Protocol analysis) Otomatik analiz (Automated analysis) Görev sonrası gidiş yolu (Post-task walkthroughs) Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Gözlemsel Teknikler 3. her zaman onların karar süreçlerinde ya da tutumu hakkında fikir vermez sonuç olarak kullanıcılar eylemlerini yüksek sesle ayrıntılı olarak kendilerine sorarlar, incelrler. Bu bölümde kullanıcı davranışlarını gözlemleyerek sistemleri değerlendirmek için kullanılan tekniklerden bazılarını gözden geçireceğiz. Sorgu Teknikleri Fizyolojik Yöntemler

Sesli düşünme (Think Aloud) Kullanıcının ne yaptığının gözlenmesinin yanı sıra, kullanıcının yaptıklarını sesli olarak aktarması söz konusudur. Kullanıcının o anda ne yaptığını, ne yapmayı denediğini, niçin yaptığını, ne gözlediğini anlatmasını içeren bir gözlem biçimidir. Avantajları: Basittir- Daha az uzmanlık gerektirir. Yararlı görüşler sağlayabilir. Sistemin gerçekte nasıl kullanıldığını gözleme şansı verir. Dezavantajları: Bilgiler özneldir. Seçicidir. Gözlem süreci, insanların görevi yapma yollarına göre değişebilir. Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Gözlemsel Teknikler Ara yüzle ilgili problemler hakkında yararlı görüşler üretilebilir. Gözlem süreci, insanların görevi yapma yollarına göre değişebilir, bu yüzden yanlı bir bakış açısı üretebilir. Sorgu Teknikleri Fizyolojik Yöntemler

İşbirlikli Değerlendirme (Cooperative evaluation) Sesli düşünmenin bir çeşididir. Kullanıcılara denek değil, işbirlikçi oldukları hissettirilir. Hem kullanıcı hem de değerlendirici birbirine sorular sorabilir. Avantajları: Süreç daha az kısıtlı Kolay kullanım Kullanıcı sistemi eleştirmek için teşvik edilir. Olası açıklamalar. Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Gözlemsel Teknikler Oturumun başlangıcında değerlendiriciler, kullanıcılardan düşündüklerini söylemeleri ister veya ne, neden gibi onlara sorular sorar. Olası açıklamalar. Değerlendiriciler, karışıklığın meydana geldiği noktaları zamanında açıklayabilir, böylece problem alanlarını belirleyerek yaklaşımın etkililiğini artırabilirler. Sorgu Teknikleri Fizyolojik Yöntemler

Protokol Analizi (Protocol analysis) Kullanıcı eylemlerinin kaydedilme yöntemidir. Protokol, sözel verilere dayanan değerlendirme oturumlarının kayıtlarına denir. Protokol analizi de bu şekildeki nitel verilere dayalı bir tip araştırma yöntemidir. Kayıt için kağıt-kalem, ses kaydı, video kaydı, bilgisayar kayıtları, kullanıcı notları gibi farklı yöntemler tercih edilebilir. Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Gözlemsel Teknikler Sorgu Teknikleri Fizyolojik Yöntemler

İlkel bir yöntemdir ancak ucuzdur.
DEĞERLENDİRME TEKNİKLERİ | 4. Kullanıcı Katılımı ile Değerlendirme Protokol Analizi (Protocol analysis) Kağıt-Kalem: Ucuz Yazma hızı sınırlı Not alan kişinin değerlendirmeyi yapan kişiden ayrı olması tavsiye edilir. Ses kaydı: Sesli düşünme sırasında yararlıdır. Tam olarak bir eylemi tanımak için yeterli bilgiyi kaydetmek zor olabilir. Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Gözlemsel Teknikler Paper and Pencil: İlkel bir yöntemdir ancak ucuzdur. Analistler konuyla ilgisiz meydana gelen olayları ve yorumları not ederler. Analistin yazma hızı ile sınırlıdır.Notebook ların kullanılması da klavye kullanma hızı ile sınırlıdır. Not alan kişinin değerlendirmeyi yapan kişiden ayrı olması tavsiye edilir. Ses kaydı: Sesli düşünme sırasında yararlıdır. Tam olarak bir eylemi tanımak için yeterli bilgiyi kaydetmek Sorgu Teknikleri Fizyolojik Yöntemler

Katılımcıların yaptıklarını gösterdiğinden avantajlıdır.
DEĞERLENDİRME TEKNİKLERİ | 4. Kullanıcı Katılımı ile Değerlendirme Protokol Analizi (Protocol analysis) Video kaydı: Doğru ve gerçekçidir. Özel ekipmana ihtiyaç duyulur. Bilgisayar kayıtları: Veriler otomatik kaydedilir. Büyük miktardaki verileri analiz etmek zordur. Kullanıcı notları: Her anı tutmak güçtür. Alışılagelmeyen durumlar ya da sıklıkla gerçekleşmeyen görevler/ problemlerde kullanıcılardan tutmaları istenir. Boylamsal çalışmalarda yararlıdır. Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Gözlemsel Teknikler Video kaydı: Katılımcıların yaptıklarını gösterdiğinden avantajlıdır. Özel ekipmana ihtiyaç duyulur. Uygun kamera açısını belirleme, katılımcıyı görüntü içine yerleştirme, detayları alma zor olabilir. Tek kullanıcılı bilgisayar tabanlı bir görevde iki kamera kullanılarak bir kameranın bilgisayar ekranında yapılanları kaydetmesi, diğer kameranın ise kullanıcının yüzü ve ellerini görüntülemesi sağlanabilir. Bilgisayar kaydı: Sistemde kullanıcıların ne yaptığı otomatik olarak kaydedilir. Kaynak koduna ulaşılmayan yazılımlarda elde etmek güçtür. Doğrudan tutulan kayıtlar ucuzdur, kendi halinde gerçekleşir, boylamsal çalışmalarda ilgili zaman aralığındaki kayıtlara ulaşmayı sağlar. Kullanıcı notları: Katılımcılardan problemlerin ya da etkinliklerin kayıtlarını tutmaları istendiğinde gerçekleşir. Her an, her saniye tutmak güçtür. Alışılagelmeyen durumlar ya da sıklıkla gerçekleşmeyen görevler/problemlerde kullanıcılardan tutmaları istenir. Boylamsal çalışmalarda yararlıdır. Sorgu Teknikleri Fizyolojik Yöntemler

4) Otomatik analiz (Automated analysis) Otomatik Protokol Analiz Araçları EVA, PARC, DRUM Değerlendiriciler, video kaydı yaparken notlar alabilir, açıklama ve etiketlemeler yapabilir, sistem kayıtlarını tutabilirler. Bu sistemler, verilerin toplanıp analiz edilmesini kolaylaştırmaktadır. Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Gözlemsel Teknikler Video, ses ve sistem kayıtları gibi analiz protokolleri zaman tüketicidir ve elle yapılması sıkıcıdır. Birden fazla veri kaynağını senkronize etmekte zordur. Sorgu Teknikleri Fizyolojik Yöntemler

Protokol Analizi (Protocol analysis) Otomatik Protokol Analiz Araçları Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Gözlemsel Teknikler Sorgu Teknikleri

Görev sonrası gidiş yolu (Post-task walkthroughs) Verilerin üzerinden geçilmesi ve bunları kullanıcıya yansıtıp, ardından sorular sorarak detaylandırılmasıdır. Katılımcı, beklendiği gibi gerçek gözlem sırasında kritik bir görevde veya görevin zor olduğu durumlarda konuşmayabilir. Görev sonrası gözden geçirme, kullanıcı davranışı üzerinde öznel bir bakış açısı kazandırmanın tek yoludur. Avantajları: Analistlere, uygun sorular biçimlendirmelerinde, özel durumlara odaklanmalarında zaman tanır. Dezavantajları: Aradan zaman geçince olay tazeliğini kaybeder. Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Gözlemsel Teknikler Örneğin; sesli düşünme yapan bir kullanıcı, “undo” yapıyorum demiş, ancak nedenini açıklamamış olabilir. Bu durumda sonradan ses kaydını dinlettirip, kendisine niye işlemi geri aldığı sorulup, veri genişletilebilir. Sorgu Teknikleri Fizyolojik Yöntemler

Bir sistemdeki kullanıcı gereksinimleri ve görevleri hakkında ayrıntılı bilgi toplamanın en iyi yolu kullanıcıya sormaktır. Bir sistem hakkında kullanıcı görüşünü/bakış açısını doğrudan ortaya çıkarmak için yararlıdır. İki tane sorgu tekniği vardır. Bunlar; Görüşme Anketler Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Sorgu Teknikleri Fizyolojik Yöntemler

Görüşmeler Görüşmeler bilginin toplanmasında doğrudan ve yapılandırılmış bir yol sunar. İlgilenilen konu üzerine daha fazla soru sorarak detaylandırmak mümkündür. Avantajlar: Sorular değiştirilebilir. Konularda detaya inilebilir. İnformaldir, ucuzdur, özneldir. Dezavantajları: Çok özneldir. Zaman alıcıdır. Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Sorgu Teknikleri İçeriğe uygun olarak, sorular çeşitlenebilir. Değerlendirici kullanıcıların ilgisini çeken noktalarda detaya inebilir. Bir görev hakkındaki genel sorulardan başlayarak detaya inen Top_down yaklaşım kullanılır. Fizyolojik Yöntemler

2) Anketler Kullanıcılara verilen belirlenmiş/ sabit sorulardan oluşur. Avantajlar: Daha hızlı ve büyük gruba uygulanabilir. Daha ayrıntılı ve kolay analiz edilebilir. Dezavantajları: Daha az esnektir. Zaman alıcıdır. Tasarımda dikkat edilmesi gerekenler: Hangi bilgiler istenmektedir? Cevaplar nasıl analiz edilecek? Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Sorgu Teknikleri Fizyolojik Yöntemler

2) Anketler Soru tipleri Genel sorular Açık uçlu Scalar Çoktan seçmeli Sıralamalı Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Sorgu Teknikleri Genel sorular: Kullanıcıların yaş, cinsiyet, meslek, ikametgah, önceki bilgisayar deneyimleri gibi özelliklerinin sorulduğu sorular. Açık uçlu: Kullanıcılardan kendi fikirlerini üretmeleri beklenir. “Ara yüzle ilgili herhangi bir düzeltme önerebilir misin?” gibi. Öznel bilgi toplanır ancak analiz etmek güçtür. Scalar: Katılma derecelerine göre oluşturulur.(1…5; disagree, neutral, agree;1-10) Çoktan seçmeli: Kullanıcıya açık cevaplar sunulur ve sorulan soruya göre bunlardan bir tanesini seçmesi istenir. Kullanıcının önceki deneyimi hakkında bilgi toplamak için yararlıdır. Sıralamalı: Bir listedeki başlıkları kullanıcının tercihine göre sıralamayı sağlar. Fizyolojik Yöntemler

Kullanıcıların bilgisayarla etkileşim kurarken ne yaptıklarını, nasıl hissettiklerini de ölçmemizi sağlayan tekniklerdir. Bu yöntemler; Göz izleme Psikolojik ölçümler Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Sorgu Teknikleri Değerlendirmelerde ya kullanıcı gözlemlenir ya da kendine ne yaptığı, ne düşündüğü sorulur. Sonuç olarak verilerimiz değerlendiricinin ya da kullanıcının düşündükleri, dile dökebildikleri ile sınırlıdır. Bu sınırları aşıp, fizyolojik tepkileri takip ederek, veriye direk ulaşabileceğimiz yöntemler mevcuttur. Fizyolojik Yöntemler

Göz izleme Göz hareketleri bilişsel süreçleri yansıtır. Göz hareketleri izlenerek, insanların hangi görevi zor, Hangilerini kolay bulduklarını anlayabiliriz. Pahalı bir yöntemdir. Kullanışlılık hakkında iyi fikirler verir. Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Sorgu Teknikleri Fizyolojik Yöntemler

Göz izleme Fixation: Gözün ekran üzerindeki belli bir noktaya sabitlenmesini temele alarak ölçümünü gerçekleştirir. Sayısı ve süresi ekranın zorluk seviyesini gösterir. Saccades: Bir noktadan ilgili diğer noktaya gözün hızlı hareketidir. Scan path: Odaklanma ve hareket arasındaki ilişkidir. Kısa odaklanma ile hedefe doğru hareket vardır. Tarama yolları ile sabitlenmeler esas alınarak insanların neye, ne kadar süre ve ne kadar sıklıkla baktıkları belirlenebilir. Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Sorgu Teknikleri Fixation: Ekrandaki gösterimin zorluğu hakkında bilgi verir, zor olana göz uzun süre takılır. Gözün ekran üzerindeki belli bir noktaya sabitlenmesini temele alarak ölçümünü gerçekleştirir. Fizyolojik Yöntemler

Psikolojik Ölçümler Kullanıcı bir arayüzle etkileşimdeyken onu rahatlatan ve strese neden olan faktörleri, duygusal yanıtları belirlemektir. Ör: Kalp hızı, nefes alma ve deri salgıları (skin secretion) gibi. Kalp aktivitesi: Stres veya öfke durumu. Ter bezleri aktivitesi: Tahrik edici bir durum/uyarılma veya zihinsel bir çaba. Kaslardaki elektrik aktivitesi: Bir göreve ilgiyi, katılımı yansıtır. Beyindeki elektrik aktivitesi: Dikkat, motivasyon ve karar alma ile ilgilidir. Değerlendirme Biçimleri Emprik Yöntemler: Deneysel değerlendirme Gözlemsel Teknikler Sorgu Teknikleri Fizyolojik Yöntemler

DEĞERLENDİRME TEKNİKLERİ | 5. Değerlendirme Yöntemi Seçimi
b Tasarım sürecinin bütün aşamalarında etkileşimli bir sistemi değerlendirmek için bir dizi teknik vardır. Yapılması gereken, en uygun yönteme karar vermektir. Her değerlendirme yönteminin güçlü ve zayıf olduğu noktalar vardır.

DEĞERLENDİRME TEKNİKLERİ | 5. Değerlendirme Yöntemi Seçimi
b Değerlendirme Tekniklerini Ayıran Faktörler: Değerlendirme tasarım sürecinin hangi basamağında? Değerlendirme stili Tekniğin nesnellik ve öznellik seviyesi Ölçüm tipleri (nitel ölçüm mü, nicel ölçüm mü?) Sağlanan bilgi Cevabın çabukluğu Belirtilen engel seviyesi Gerekli olan kaynaklar Uygun değerlendirme yöntemini seçmek için dikkate alınması gereken bir dizi etmen vardır. 2. (laboratuvar mı alan çalışması mı?) 7. (Yanıtların çabukluğundan dolayı teknik kullanışsızlıkla ilgilidir. Anında toplanan verilerde uygulama devam ettiğinde, kullanıcı davranışlarında değişikliğe sebep olabilir.) 8. (gerekli araçlar, zaman, para, katılımcılar vs.)

TEŞEKKÜRLER ...

İNSAN BİLGİSAYAR ETKİLEŞİMİ

Benzer bir sunumlar

... konulu sunumlar: "İNSAN BİLGİSAYAR ETKİLEŞİMİ"— Sunum transkripti:

Benzer bir sunumlar

Proje hakkında

Geri bildirim

Giriş

Sosyal ağ üzerinden giriş yapmak:

İNSAN BİLGİSAYAR ETKİLEŞİMİ

Benzer bir sunumlar

... konulu sunumlar: "İNSAN BİLGİSAYAR ETKİLEŞİMİ"— Sunum transkripti:

Benzer bir sunumlar

Proje hakkında

Geri bildirim