İnsan Bilgisayar Etkileşimi Hafta 8 – Kullanıcı temelli testler Prof. Dr. Kürşat Çağıltay ODTÜ

Dersin Amaçları Kullanıcı temelli testler Test öncesi yapılması gerekenler Testin gerçekleştirilmesi Verilerin analizi

Etkinlik Arkadaşınızdan bir İnternet alışveriş sitesinden istediği bir ürünü cep telefonunu kullanarak satın alma işlemini yapmasını isteyin. Satın alma sürecini bu derste öğreneceğiniz yöntemle test edin. https://pixabay.com/en/iphone-smartphone-apps-apple-inc-410311/

İBE’nin Temel Bileşenleri Kullanıcı Araç/Arayüz Bağlam Görev İnsan Bilgisayar Etkileşimi’nin dört temel bileşeni şekilde görüldüğü gibi Kullanıcı, Görev, Bağlam (Çevre) ve Araç’tır. Örnek olarak cep telefonu kullanımında Araç cep telefonu, kullanıcı onu kullanan kişi (otobüs şöförü, ev kadını, öğrenci, genç, yaşlı gibi farklı pek çok kategori bulunmaktadır), o telefonla yerine getirilen görevler (konuşmak, mesaj atmak, takvim, rehber, müzik dinlemek gibi pek çok görev vardır) ve o telefonun hangi bağlamda kullanıldığı (sessiz bir ortamda, otobüste, çok ışıklı, çok gürültülü ortamda, okulda, toplantıda kullanmak) gibi seçeneklerle bir cep telefonunun kullanılabilirlik seviyesini belirleyen çok sayıda parametre ortaya çıkmaktadır.

Kullanılabilir Üretilen teknolojinin kullanımının, o teknojik ürünün içinden çıktığı kutuyu açmak kadar kolay olması Son yıllarda bilişim hizmeti ve ürünleri sunan firmaların reklamlarına bakarsanız hep ürünlerinin kolay kullanılabilir olduğunu iddia ederler. Ama gerçekten durum böyle midir ya da bu argümanları ne kadar doğrudur nasıl test edebiliriz? Bir ürünün Kullanılabilir olmasında kriter nedir? Kime göre kullanılabilirdir? Standatları kim koyar?

Kullanılabilirlik Bir uygulamanın kullanılabilirliği, kullanıcıların belirli görevleri, belirli bir bağlamda etkili, verimli ve memnuniyet ile yerine getirmelerine denir. ISO Ergonomi gereksinimleri, ISO 9241 bölüm 11: Kullanılabilirliğin belirlenmesi ve ölçütleri için kılavuz. Uluslararası standartlar enstitüsünün resmi tanımı ise bu şekildedir.

Kullanılabilirlik Etkililik: Kullanıcıların uygulamayı kullanarak yapması beklenen işleri ne kadar başarabildiğini ifade eder Örnek: Amaç bir web sitesindeki bilgiye erişmekse, Etkililik= kullanıcının doğru veriyi bulma başarısıdır.

Diğer Detaylar Teste gönüllü katılım, kayıt ve gizlilik formu Demografik bilgi toplama formu Test tanıtım dokümanı Deneyim anketi ya da testi Gerekiyorsa test sonrası hatırlama testi Test sonrası memnuniyet anketi Test sonrası mülakat soruları ve protokolü

Verimlilik Verimlilik: Belirlenen işi yapmak için kullanılan diger kaynaklar (zaman, maliyet vb.) verimlilik ölçümü ile değerlendirilir. Örnek: Bir web sitesinin kullanımında, verimlilik bir görevi tamamlamak için geçen zaman ya da izlenen yoldur.

Memnuniyet Memnuniyet: Kullanıcının uygulamayı kullanırken oluşan fikirlerinin (begenilenler, begenilmeyenler vb.) ölçüsünü ifade eder. Etkililik ve Verimliliğin memnuniyet üstünde pozitif tesiri vardır

Kullanılabilirlik – ISO 9241-Bölüm 11 Kullanım Baglamı İstenilen çıktı Kullanıcı Hedefler Görev Bir uygulamanın kullanılabilirliği, kullanıcıların belirli görevleri, belirli bir bağlamda etkili, verimli ve memnuniyet ile yerine getirmelerine denir. Etkililik: kullanıcıların uygulamayı kullanarak yapması beklenen işleri ne kadar başarabildiğini ifade eder Verimlilik: Belirlenen işi yapmak için kullanılan diğer kaynaklar (zaman, maliyet vb.) verimlilik ölçümü ile değerlendirilir. Memnuniyet: kullanıcının uygulamayı kullanırken oluşan fikirlerinin (beğenilenler, beğenilmeyenler vb.) ölçüsünü ifade eder. Kullanılabilirlik Etkililik Verimlilik Memnuniyet Araç Kullanım çıktısı Çevre Ürün

Kullanılabilirliği belirleyen faktörler Etkililik Verimlilik Memnuniyet Kullanılabilirlik Kriteri/seviyesi Tasarım Süreci

Kullanılabilirlik testinin planlanması Tanımla: Hangi verileri, kimden toplayacaksın? Bu veriler sana ne söyleyecek? Hangi veri toplama metotlarına başvuracaksın? Test sonuçlarını elde etmek ne kadar zaman alacak? Tasarımcılara ne tür bir geridönüt vereceksin? Bu planın avantaj/dezavantajlarını sırala

Kriterler? Kullanıcı analizi Görev analizi Bağlam analizi Kullanılabilirlik kriterleri konulması için çeşitli analizlerin yapılması gerekmektedir. Kullanıcı analizi Görev Analizi Durum analizi

Persona Hedef kullanıcı analizi

Kaç Kullanıcı Nielsen, test edilen sistem hakkında alan bilgisi olan, iyi seçilmiş 5 kişi ile problemlerin %75’i ortaya çıkartılabilir demektedir.

Ama Faulkner (2003) %82 %55 %90 %95

Gerekli Alanların Doldurulması Görev Analizi - Zor Görev 8: Annenizin kredi kartı ile borcunu ödemek istiyorsunuz. İnternet Şubesindeki vadesiz hesabınız üzerinden annenizin kredi kartı borcunun 1 TL’sini kart no girerek ödeyiniz. İnternet Şubesi Anasayfa Varlıklar Hesaplar CepBank Para Transferleri Yatırım İşlemleri Hisse Senedi Kart İşlemleri Ödemeler Krediler Sigorta ve Emeklilik Tanımlamalar Başvurular Kart No ile Borç Ödeme Seçim Ekranı Kart No ile Ödeme Mesaj Onay Gerekli Alanların Doldurulması Gerekli Veri Girişi Düzeltme / Onay Kart No ile Borç Ödeme

Görev Analizi - Kolay Görev 9: Sistemden çıkış yapınız. Ana Sayfa Onay

Nerede Yapılacak

Göz Hareketlerinin Takibi Kullanıcıların nereye, ne kadar süre baktıkları hakkında objektif ve nicel veri Bilgiyi arama davranışları En fazla odaklanılan noktaları keşfetme Kullanıcılar ve tasarımlar arasında karşılaştırma yapma

Çıktı Kullanım senaryoları Senaryolar Kullanıcıların, görevlerin ve bağlamın tanımlandığı etkileşim “hikayeleridir”. Senaryolar Etkililik Verimlilik Memnuniyet kararlarının temel unsurunu oluşturur.

Test Planlama Bir Web Sitesi seçin. İkili takım oluşturup yapın. Kullanıcı profili, kaç denek, Görev analizi ve listesi (2-3 tane) Bağlam analizi yapın.

Etkinlik: Kullanılabilirlik testi Denekler ayarlanır Test Protokolu Sesli düşünme ya da oturum sonrası konuşma Etkililik, Verimlilik ve Memnuniyeti ölçme Bulguları Rapor etme Kullanılabilirlik testi 4 temel basamaktan oluşmaktadır. Protokol Sesli düşünme Etkililik, etkinlik ve memnuniyet ölçümü ve Rapor etme

Test için Protokol-1 Teşekkürler... Bu oturuma katıldığınız için... Giriş Teşekkürler... Bu oturuma katıldığınız için... Ürün tarifi... XYZ yazılımı Oturumun amacı... Bu ürünü daha iyi hale getirmek. Bu ürünün bazı problemleri var. Ürünü kullanırken karşılaştığınız bir problem ürünün problemidir, sizin değil.

Test için Protokol-1 Talimatlar... Sizden programla ilgili belli şeyler yapmanızı isteyeceğim ve sizi izleyeceğim. Siz onları yaparken notlar alacağım. Bunlar sadece sürecin nasıl gittiğini daha sonra hatırlamam amaçlı. Bana yardımcı olmak için, sizden programı kullanırken “sesli düşünmenizi” ve belli şeyleri yapmak için karar vermenizi istiyorum. Sizden verilen görevleri olabildiğince kendi başınıza deneyip yapmanızı istiyorum. Ümitsiz şekilde bir yerde takılırsanız yardımcı olabilirim; ama bunu benim yardımım olmadan denemenizi tercih ederim. İstediğiniz zaman belirli bir görevden çıkıp devam edebilir veya oturumu tamamen sonlandırmayı da seçebilirsiniz.

Testi gerçekleştirmek: Dikkat edilecekler… Kaç kullanıcı? Test süresi? Test nerede yapılacak? Testi yapanın görevi: Katılımcıları rahat ettirmek: Ürün test ediliyor Gözlemle ve not al Müdahale ya da yardım etme Diğer gözlemcilerin görevleri Sesli düşünme yaklaşımı Katılımcılara verilecek ödül Kullanılabilirlik testinin gerçekleştirilmesi aşamasında dikkat edilmesi gereken bazı noktalar bulunmaktadır.

Gözlem kağıdı Verimlilik Etkililik Verimlilik   Başlangıç zamanı: Bitiş zamanı: Sayfa/link adı Notlar +/- Başlangıç sayfasının adı Gözlem yaparken not almak için bu tür bir form kullanabilisiniz. Verimlilik Etkililik Verimlilik

Veri toplama Nicel veri Nitel veri Sistemi kullanırken yapılan hata sayısı Etkinlik(ler) için gereken zaman Nitel veri Kullanım kolaylığı – Materyaller uygun, bulması ve kullanması kolay mı? Öğrenenlerin materyallere, etkinliklere ve değerlendirmeye tepkileri Sesli düşünme sonucu verilen geri bildirim Veri toplama aşamasında iki tip veri ortaya çıkmaktadır. Bunlar nicel ve nitel verilerdir. Nicel veri olarak kullanıcıların sistemi kullanırken yaptıkları hata sayıları, etkinlikler sırasında harcanan zaman kullanılırken, nitel veri boyutundan ise kullanıcıların materyalleri uygun ve kullanması kolay bulmaları ve kullanıcıların materyale yönelik tepkileri kullanılmaktadır.

Kullanılabilirlik sonuçlarını analiz ve rapor etme Nicel veri Tanımlayıcı veri (kullanıcı sayısı, harcanan zaman, hatalar) Veri tablolarını tartış (ne anlama geliyorlar?). Nitel veri Gözlemlerini pekiştir (eksiler ve artılar!). Ortak temaları çıkar. Kritik temaları belirle (ör, gereken zamanın uzunluğu). Mümkünse bulgularını paylaş kontrolü yap. Problemler için çözümler tespit et. Bulgu ve çözümlerini özetleyip sun. Toplanan nicel ve nitel verilerin analizi ve raporlanması da önemli bir boyut olarak karşımıza çıkmaktadır.

Kullanılabilirlik sonuçlarını analiz ve rapor etme Gözlemler Yorum Tavsiye Bu tür bir form kullanarak bulgularınızı analiz edip sonuçları raporlayabilirsiniz.

Kullanılabilirlik Kullanım kolaylıgı Kullanımdaki başarı ve hız Hata sayısı Ögrenme kolaylıgı Kalıcılık Kullanıcı memnuniyeti

Sonuç “Ürün X, kullanıcıların %70’i tarafından, ek bir eğitim gerektirmeksizin, bütün görevleri %95 doğrulukla, var olan diger uygulamanın kullanımından %25 daha hızlı ve en azından eşit seviyede memnuniyet göstererek kullanılmaktadır.” Verimlilik Etkililik Memnuniyet