DEĞERLENDİRME TEKNİKLERİ Ders Sorumlusu: Prof. Dr. Hakan TÜZÜN Şenol SAYGINER Hacettepe Üniversitesi, Eğitim Fakültesi, Bilgisayar ve Öğretim Teknolojileri Eğitimi Bölümü, BTÖ711 İnsan Bilgisayar Etkileşimi Dersi

1. Değerlendirme nedir? Yapılan bir tasarımın, sistemlerin, geliştirilen ürünün; kalitesi, etkililiği, verimliliğinden emin olmak için yapılan test etme ve inceleme sürecidir. Sistemin kullanılabilirliğini ve işlevselliğini test eder (Nedir). Laboratuvarlarda, çevrede ve kullanıcıların işbirliğinde olur (Nerede yapılır). Uygulama ve tasarım süreçlerinin her ikisini de kapsar (Kapsamı nedir). Tasarımda düzeltmeler yapmak için geribildirim sağlar (Ne fayda sağlar). Tasarım sürecinin tüm evreleri göz önünde tutulur (Nasıl yapılır).

1. Değerlendirme nedir?

2. Değerlendirmenin amacı Sistemin işlevselliği Sistemin işlevselliği, kullanıcının gereksinimleriyle uyumlu olmalıdır. Sistemin tasarımı, kullanıcıların istediği görevleri kolaylıkla yerine getirmesini sağlamalıdır. Bu aşamadaki değerlendirme sistem ile kullanıcının performansını (Sistem kullanıcıya hız kazandırıyor mu) ölçmeyi, Görevi desteklemede sistemin etkililiğini (Sistem farklı şartlarda aynı performansı sağlıyor mu?) değerlendirmeyi içeriyor. 2. Arayüzün kullanıcılar üzerindeki etkisini değerlendirmek Sistemin kullanım kolaylığı, Sistemin kullanışlılığı, Kullanıcı memnuniyeti, Kullanıcının ne kadar hoşlandığına dair verdiği duygusal tepkiler Bilişsel yükün fazlalığı. 3. Sistemdeki özgül (spesifik) problemleri belirlemek Sistemin beklenmeyen sonuçlara veya kullanıcılarda kafa karışıklığına neden olmasıdır. Bu durum, tasarımın kullanışlılığı ve işlevselliğiyle de ilişkilidir.

3. Uzman görüşüne dayalı değerlendirme Değerlendirme, tasarım süreci boyunca yapılmalıdır. Sistemin önceden değerlendirilmesi, sonradan ortaya çıkabilecek pahalı hataların önüne geçmiş olur. Uzman, tasarımı alır ve tipik bir kullanıcı üzerindeki etkisine bakar. Buradaki temel amaç ise zorluklara neden olan bölümleri belirlemektir. Geliştirme sürecinin herhangi bir aşamasında kullanılabilir. Sistemin gerçek kullanımı değerlendirilmez. Sadece sistemin kabul edilebilir kullanılabilirlik ilkelerini destekleyip desteklemediğine bakılır. Ekonomiktir. Çünkü çok sayıda kullanıcı katılımını gerektirmez. Bilişsel gezinti (Cognitive walkthrough) Sezgisel değerlendirme (Heuristic evaluation) Model tabanlı değ. (Model-based evaluation) Önceki çalışmaları kullanarak değ. (Using previous studies) Uzman analizindeki dört yaklaşım

Bir dizi eylemin ayrıntılı olarak adım adım incelenmesini gerektirir. BİLİŞSEL SEZGİSEL MODEL TABANLI ÖNCEKİ ÇALIŞMALAR Bir dizi eylemin ayrıntılı olarak adım adım incelenmesini gerektirir. Amacı, sistemin öğrenilmesinin ne kadar kolay olduğunu belirlemektir. Odak noktası ise keşif yoluyla öğrenmedir. Tasarımda ne iyi, neyi geliştirmeye ihtiyaç vardır amacı ile değerlendirme formları kullanılır.

Bilişsel gezinti gereksinimleri: Sistemin tanımlaması ve prototipi SEZGİSEL MODEL TABANLI ÖNCEKİ ÇALIŞMALAR Bilişsel gezinti gereksinimleri: Sistemin tanımlaması ve prototipi Sistem üzerinde kullanıcıların gerçekleştirdiği görevin açıklaması Sistemde bir görevin gerçekleştirilmesi için gereken eylemlerin listesi Kullanıcıların kimler oldukları ve ne tür deneyimleri, bilgileri olduğunun bilinmesi. Uzmanın cevaplaması gereken sorular: Kullanıcının amacıyla, eylemin etkisi aynı mı? Kullanıcı eylemin kullanılabilir olduğunu görecek mi? Kullanıcı doğru eylemi bulduğunda, aradığını bulduğunu bilebilecek mi? Kullanıcı eylem gerçekleştiğinde verilen dönütü anlayabilecek mi? Özetle, tasarımın kullanıcının istenilen hedeflere ulaşmasını sağlayıp sağlamadığına bakılır.

Nielsen and Molich tarafından 1994’te ileri sürülmüştür. BİLİŞSEL SEZGİSEL MODEL TABANLI ÖNCEKİ ÇALIŞMALAR Nielsen and Molich tarafından 1994’te ileri sürülmüştür. Sezgisel (Heurisctic), bir tasarım kararına rehberlik edecek genel ilke, prensip ya da alınan bir kararı eleştirmek için kullanılan değerlendirme şeklidir. Sezgisel değerlendirme, bir sistem ya da kullanıcı arayüzünün kullanışlılık açısından sistemli bir şekilde incelenmesidir. Amaç, sistem ya da arayüzün, belirlenen kullanışlılık kriterleriyle uyumlu olup olmadığını anlamak, büyük, küçük oluşabilecek problemleri tespit etmektir. Bu değerlendirme yönteminde değerlendiriciler birbirinden bağımsız bir şekilde sistemin olası kullanılabilirlik problemlerini ileri sürerek sistemi eleştirirler. Üç ya da beş değerlendirici yeterlidir. Ortalama 5 kişinin yaptığı değerlendirmeyle, kullanışlılıkla ilgili problemlerin %75’i ortaya çıkar. Esnek, nispeten ucuz bir yaklaşımdır.

Problem ne kadar yaygın? BİLİŞSEL SEZGİSEL MODEL TABANLI ÖNCEKİ ÇALIŞMALAR Değerlendirici her bir kullanılabilirlik sorunun ciddiyetini dört faktör temelinde değerlendirmelidir: Problem ne kadar yaygın? Kullanıcının üstesinden gelmesi için ne kadar basit? Tek seferlik mi yoksa devamlı karşılaşılan bir problem mi? Problem ne kadar ciddiyetle algılanıyor?

Sistem durumunun görünürlüğü BİLİŞSEL SEZGİSEL MODEL TABANLI ÖNCEKİ ÇALIŞMALAR 1 Sistem durumunun görünürlüğü 2 Sistem ile gerçek dünyanın eşleşmesi 3 Kullanıcı kontrolü ve özgürlüğü 4 Tutarlılık ve standartlar 5 Hata engelleme 6 Hatırlama yerine tanıma 7 Kullanımın esneklik ve verimliliği 8 Estetik ve sade tasarımlar 9 Hataları tanıma ve Tanımlama ve geri almada kullanıcıya yardım 10 Yardım ve belgelendirme 0 = I don’t agree that this is a usability problem at all 1 = Cosmetic problem only: need not be fixed unless extra time is available on project 2 = Minor usability problem: fixing this should be given low priority 3 = Major usability problem: important to fix, so should be given high priority 4 = Usability catastrophe: imperative to fix this before product can be released

Modellere uygun olarak yapılan değerlendirmelerdir. BİLİŞSEL SEZGİSEL MODEL TABANLI ÖNCEKİ ÇALIŞMALAR Modellere uygun olarak yapılan değerlendirmelerdir. Bilişsel ve tasarım modelleri, tasarım özelliği ve değerlendirmeyi aynı çerçevede birleştiren bir yol sağlarlar. Goals, Operators, Methods, Selection (GOMS) modeli Model, özel bir arayüzle kullanıcı performansını tahmin eder ve özel tasarım seçeneklerini filtreleyebilir. Düşük Düzey Modelleme Fiziksel görevleri gerçekleştirmek için kullanıcıların harcadıkları zamanı tahmin eder. İletişim Modeli Erişilemeyen durumlar, karmaşıklık gibi problemler için iletişim sıralarını değerlendirmek için kullanılır.

BİLİŞSEL SEZGİSEL MODEL TABANLI ÖNCEKİ ÇALIŞMALAR Kanıtlarla desteklenen daha önce yapılmış çalışmaların sonuçlarından faydalanılarak yapılan değerlendirmelerdir. Yapılan bir araştırmayı tekrarlamak pahalı olduğu için bu yönteme başvurulur. Ancak her çalışmanın kendi bağlamı içinde geçerli olduğunu unutmadan değerlendirmeye özen göstermek gereklidir. Bunun içinde seçilen deneysel tasarım, örneklem, kullanılan analizler, yapılan varsayımlar dikkatlice gözden geçirilmelidir. Önceki çalışmanın sonuçları dikkatli bir şekilde seçilerek kullanılmalıdır.

4. Kullanıcı katılımına dayalı değerlendirme

Kullanıcı katılımına dayalı değerlendirme Tasarımcı ya da uzman tarafından yapılan değerlendirmelerin hiç biri kullanıcılarla yapılan gerçek bir kullanılabilirlik testinin yerini alamaz. Bu değerlendirme için ön koşul, çalışan bir prototipin olmasıdır. Laboratuvar çalışmaları Alan çalışmaları

Laboratuvar Çalışmaları Alan Çalışmaları Avantajları Mevcut özel ekipmanlar (ses kaydı, video kaydı, bilgisayar vd.) iyi düzenlenmiş kullanışlı bir ortam sunar. Dezavantajları Bağlam eksikliği. Yani doğal olmayan ortamların gerçek yaşamdan uzaklığı (gerçek yaşam alanı yada iş ortamının yansıtılamaması). Bir görev üzerinde işbirlikli olarak çalışan birkaç kişiyi gözlemlemenin zorluğu. Ne zaman kullanılabilir? Tehlikeli ya da uzak yerlere yerleştirilen bir sistemle çalışırken, Tek kullanıcılı görevleri ayrıntılı olarak incelerken, Az kullanılan yöntemleri gözlemlerken, Kontrollü bağlamda alternatif tasarımları karşılaştırmak istediğimizde laboratuvar çalışmaları kullanılabilir.

Laboratuvar Çalışması Alan Çalışmaları Avantajları Doğal ortam Laboratuvar ortamında günler, aylar alabilecek çalışmaları yapabilme. Dezavantajları Çevredeki gürültü Dikkat dağıtıcılar Kesilmelerin olması (telefon çalması gibi) Alan gözlemlerinde katılımcıların kayıt cihazları ya da araştırmacının varlığından rahatsız olmaları Ne zaman kullanılabilir? Boylamsal çalışmalar için çok önemli olan farklı bağlamlar ile çalışma

Deneysel değerlendirme Deneysel çalışmalar, kontrollü deneylerle yapılan güçlü değerlendirme yöntemlerinden biridir. Bir hipotez kurulur. Bağımlı ve bağımsız değişkenler belirlenir. Yöntem seçilir. Uygun özelliklere sahip ve evreni temsil edecek sayıda katılımcılar belirlenir. Grupla ya da bireysel olarak çalışılabilir. Hipotez test edilir. Gerekli istatistiksel çalışmalar yapılır.

Deneysel değerlendirme- Katılımcılar Bir deneyin başarısı için katılımcıların seçimi çok önemlidir. Deneyde mümkün olduğunca gerçek katılımcılar ya da istenen özellikleri temsil eden katılımcılar seçilmelidir. Katılımcıları seçerken onların yaş grubu, mesleği, cinsiyeti, önceki bilgisayar deneyimleri, eğitim düzeyleri gibi önemli olacak özellikleri dikkate alınmalıdır. Katılımcıların büyüklüğü, evreni temsil edecek kadar olmalıdır. Katılımcı büyüklüğü istatistiksel olarak anlamlı olmalıdır.

Deneysel değerlendirme- Değişkenler Bağımsız değişkenler, karşılaştırma yapmak için farklı şartlar oluşturmak adına manipüle edilen değişkenlerdir ikon tasarımı, menü başlıklarının sayısı, yardım düzeyi, arayüz biçimi... Bağımlı değişken, değeri bağımsız değişkene bağlı olarak değişen başka etmenlerden etkilenmeyen değişkenlerdir. Araştırmacının denetimi altında bulunmayan, neden sonuç ilişkisi içinde sonuç durumunda olan değişkendir Bir görevi tamamlamak için gereken zaman, yapılan hataların sayısı, kullanıcı performansının niteliği, kullanıcı tercihi…

Deneysel değerlendirme- Hipotezler Hipotezler, bir deneyin sonucu hakkında bir tahmin, bir kestirimidir. Bir araştırmanın sonuçlarını öngörür. (Neyi görmek istiyorsun?) Araştırmacının amacı, öngörünün doğru olup olmadığını test etmektir. H0 ve H1 hipotezleri

Deneysel değerlendirme- Deneysel tasarım İlk olarak hipotezler belirlenir. Değişkenlere karar verilir. Katılımcılar belirlenir. Deneysel yönteme karar verilir (Gruplar arası – grup içi) İstatistiksel çalışmalar yapılır.

Deneysel değerlendirme- İstatistiksel ölçümler Herhangi bir istatistiksel işlem yapılmadan önce: Veriye bakılmalı, Orijinal veri kaydedilmeli. İstatistiksel analizin seçimine bağlı olan etmenler Veri türü Gerekli bilgi Veri türleri Kesikli: Sınırlı sayıda değer alıyorsa Sürekli: Herhangi bir değer alabiliyorsa

Deneysel değerlendirme- İstatistiksel ölçümler Test türleri Parametrik Normal dağılım, Güçlü, Güvenilir Parametrik olmayan (Nonparametric) Normallik sağlanmadığı durumlarda Daha az güçlü

Deneysel değerlendirme- İstatistiksel ölçümler

Gözlemsel teknikler Sistemin gerçek kullanımı hakkında bilgi toplamanın en iyi yolu, kullanıcıları sistemle etkileşim kurarken gözlemlemektir. Değerlendirici, kullanıcıların eylemlerini izler ve kayıt altına alır. Basit bir gözlem, sistemin kullanıcıların gereksinimlerini karşılayıp karşılamadığı konusunda değerlendirme için kısmen yeterlidir.

Gözlemsel teknikler Kullanıcı davranışlarını gözlemleyerek sistemleri değerlendirmek için kullanılabilecek teknikler: Sesli düşünme (Think aloud) İşbirlikli değerlendirme (Cooperative evaluation) Protokol analizi (Protocol analysis) Otomatik analiz (Automated analysis) Görev sonrası gidiş yolu (Post-task walkthroughts)

Gözlemsel teknikler – Sesli düşünme Kullanıcının ne yaptığının gözlenmesinin yanı sıra, kullanıcının yaptıklarını sesli olarak aktarması söz konusudur. Kullanıcının o anda ne yaptığını, ne yapmayı denediğini, niçin yaptığını, ne gözlediğini anlatmasını içeren bir gözlem biçimidir. Avantajları Daha az uzmanlık gerektirir, Yararlı görüşler sağlayabilir (Arayüzle ilgili problemlere yönelik) Sistemin gerçekte nasıl kullanıldığını gözleme şansı verir. Dezavantajları Bilgiler özneldir. Gözlenen bilgiler amaca uygun olarak seçilebilir. Gözlem süreci, insanların görevi yapma yollarına göre değişebilir.

Gözlemsel teknikler – İşbirlikli değerlendirme Sesli düşünmenin bir çeşididir. Katılımcılara denek değil, işbirlikçi oldukları hissettirilir. Oturumun başlangıcında, katılımcılardan düşündüklerini söylemeleri istenir veya katılımcılara ne, neden gibi sorular sorulur. Hem kullanıcı hem de değerlendirici birbirine sorular sorabilir. Avantajları Süreç daha az kısıtlanır. Kullanıcı sistemi eleştirmek için teşvik edilir. Karışıklığın meydana geldiği noktalar açıklanabilir, böylece problem alanlarında işbirlikli şekilde yaklaşım etkililiği artırabilir.

Gözlemsel teknikler – Protokol analizi Kullanıcı eylemlerinin kaydedilme yöntemidir. Protokol, sözel verilere dayanan değerlendirme oturumlarının kayıtlarına denir. Protokol analizi ise bu şekilde nitel verilere dayalı bir araştırma yöntemidir. Kayıt için kağıt-kalemle not alma, ses kaydı, video kaydı, bilgisayar kayıtları, kullanıcı notları gibi farklı yöntemler kullanılabilir.

Gözlemsel teknikler – Protokol analizi Kağıt kalem İlkel ancak ucuz Yazma hızı sınırlı. Not alan kişinin değerlendirmeyi yapan kişiden ayrı olması tavsiye edilir. Ses kaydı Sesli düşünme sırasında yararlıdır Tam olarak bir eylemi tanımak için yeterli bilgiyi kaydetmek zor olabilir. Video kaydı Katılımcıların yaptıklarını gösterdiğinden avantajlıdır. Özel ekipmana ihtiyaç duyulur. Uygun kamera açısını belirleme gibi zorluklar.. İki kamera kullanımı gerekli olabilir (bilgisayar ekranı ve el-yüz kaydı).

Gözlemsel teknikler – Protokol analizi Bilgisayar kaydı Sistemde kullanıcıların ne yaptığı otomatik olarak kaydedilir. Doğrudan tutulan kayıtlar ucuzdur, kendi halinde gerçekleşir, boylamsal çalışmalarda ilgili zaman aralığındaki kayıtlara ulaşmayı sağlar. Kullanıcı notları Katılımcılardan problemlerin ya da etkinliklerin kayıtlarını tutmaları istendiğinde gerçekleşir. Her an, her saniye tutmak güçtür. Alışılagelmeyen durumlar ya da sıklıkla gerçekleşmeyen görevler/problemlerde kullanıcılardan tutmaları istenir. Boylamsal çalışmalarda yararlıdır.

Gözlemsel teknikler – Otomatik analizi Video, ses ve sistem kayıtları gibi analiz protokolleri aşırı zaman alıcıdır ve elle yapılması sıkıcıdır. Birden fazla veri kaynağını birleştirmek veya senkronize etmek zordur. Video kaydı sırasında not alabilmek, açıklama ve etiketlemeler yapabilmek için eş zamanlı çalışma olanakları sunan araçlardan faydalanılabilir. EVA, PARC, DRUM, Noldus ve EDIUS Bu sistemler, verilerin toplanıp analiz edilmesini kolaylaştırmaktadır.

Gözlemsel teknikler – Görev sonrası gidiş yolu Verilerin üzerinden geçilmesi ve bunları kullanıcıya yansıtıp, ardından sorular sorarak detaylandırılmasıdır. Katılımcı, beklendiği gibi gerçek gözlem sırasında kritik bir görevde veya görevin zor olduğu durumlarda konuşmayabilir. Görev sonrası gözden geçirme, kullanıcı davranışı üzerinde öznel bir bakış açısı kazandırmanın tek yoludur. Dezavantajları Aradan zaman geçince olayın tazeliğini kaybetmesi. Avantajları Değerlendiricilere, özel durumlara yoğunlaşmalarında zaman tanıyor.

Görüşme Anket Sorgu teknikleri Bir sistem hakkında kullanıcıların görüşünü/bakışını ortaya çıkarmada etkili bir yöntemdir. Bir sistemdeki kullanıcı gereksinimleri ve görevleri hakkında ayrıntılı bilgi toplamanın en iyi yolu kullanıcıya sormaktır. Görüşme Anket

Sorgu teknikleri - Görüşme Kullanıcının sistemle etkileşimi hakkında bilgi toplanmasında doğrudan ve yapılandırılmış bir yol sunar. İlgilenilen konu üzerine daha fazla soru sorarak detaylandırmak mümkündür. Avantajları Sorular, içeriğe uygun olarak değiştirilebilir. Konularda detaya inilebilir (Genel sorulardan başlayarak detaya inilebilir). Ucuzdur, özneldir. Dezavantajları Zaman alıcıdır.

Sorgu teknikleri - Anket Sorular önceden hazırlandığı ve genel şablon dışına çıkılmadığı için, görüşme tekniğine göre daha az esnektir. Avantajları Daha hızlı ve büyük gruplara uygulanabilir. Daha az zaman alır, daha ayrıntılı ve kolay analiz edilebilir. Dezavantajları Görüşmeye göre daha az esnektir.

Sorgu teknikleri - Anket Soru türleri: Genel sorular: Kullanıcıların yaş, cinsiyet, meslek, ikametgah, önceki bilgisayar deneyimleri gibi özelliklerinin sorulduğu sorular. Açık uçlu: Kullanıcılardan kendi fikirlerini üretmeleri beklenir. “Arayüzle ilgili herhangi bir düzeltme önerebilir misin?” gibi. Öznel bilgi toplanır ancak analiz etmek güçtür. Ölçek (Scalar): Katılma derecelerine göre oluşturulur. Çoktan seçmeli: Kullanıcıya açık cevaplar sunulur ve sorulan soruya göre bunlardan bir tanesini seçmesi istenir. Kullanıcının önceki deneyimi hakkında bilgi toplamak için yararlıdır. Sıralamalı: Bir listedeki başlıkları kullanıcının tercihine göre sıralamayı sağlar.

Fizyolojik yöntemler Göz izleme Psikolojik ölçümler Kullanıcılar bilgisayar, sistem, araç, vb. ile etkileşim kurarken ne yaptıklarını görmenin dışında nasıl hissettiklerini de ölçmemizi sağlayan tekniklerdir. Göz izleme Psikolojik ölçümler

Fizyolojik yöntemler – Göz izleme Göz hareketleri bilişsel süreçleri yansıtır. Göz hareketleri izlenerek, kullanıcıların hangi görevi zor, hangilerini kolay bulduklarını anlayabiliriz. Pahalı bir yöntemdir. Kullanışlılık hakkında iyi fikir verir. Fixation (Odaklanma): Gözün ekrandaki belli bir noktaya sabitlenmesini temele alarak ölçümü gerçekleştirir. Sayısı ve süresi ekranın zorluk seviyesini gösterir. Saccades (Sıçrama): Bir noktadan ilgili diğer noktaya gözün hızlı hareketidir. Scan path (Tarama Yolu): Odaklanma ve hareket arasındaki ilişkidir. Kısa odaklanma ile hedefe doğru hareket vardır. Tarama yolları ile sabitlenmeler esas alınarak insanların neye, ne kadar süre ve ne kadar sıklıkla baktıkları belirlenebilir.

Fizyolojik yöntemler – Göz izleme Bu üç temel verinin birlikte işlenmesiyle birlikte daha kolay yorumlanabilecek ve kullanım sürecini daha bütüncül olarak değerlendirmeye imkân verecek görsel veriler oluşturulur. Bu görsel veriler bakış grafiği (gaze plot), sıcaklık haritaları (heat map), kümeleme (cluster) ve ilgi alanıdır (area of interest).

Fizyolojik yöntemler – Göz izleme

Fizyolojik yöntemler – Göz izleme Tobii Pupil Labs SMI EyeLink Ergoneers

Fizyolojik yöntemler – Psikolojik ölçümler Kullanıcı bir arayüzle etkileşim sağlarken onu rahatlatan ve strese neden olan faktörleri, duygusal yanıtları belirlemektir. Örneğin: Kalp hızı, nefes alma ve deri salgıları (skin secretion) vb. Kalp aktivitesi: Stres veya öfke durumu. Ter bezleri aktivitesi: Tahrik edici bir durum/uyarılma veya zihinsel bir çaba. Kaslardaki elektrik aktivitesi: Bir göreve ilgiyi, katılımı yansıtır. Beyindeki elektrik aktivitesi: Dikkat, motivasyon ve karar alma ile ilgilidir.

Fizyolojik yöntemler - Psikolojik ölçümler - FMRI Bir şey düşündüğümüzde, Bir resme baktığımızda, Sevindiğimizde, Korktuğumuzda beynimizin bir faaliyet içinde olduğunu biliriz.

Fizyolojik yöntemler - Psikolojik ölçümler - EEG

Yöntem seçimi Tasarım sürecinin bütün aşamalarında etkileşimli bir sistemi değerlendirmek için bir dizi teknik vardır. Her değerlendirme yönteminin güçlü ve zayıf olduğu noktalar vardır. Önemli olan ihtiyacımıza uygun olan yönteme karar vermemizdir. Uygun değerlendirme yöntemini seçmek için dikkate alınması gereken bir dizi etmen vardır.

Yöntem seçimi Değerlendirme tekniklerini ayıran faktörler Değerlendirme tasarım sürecinin hangi basamağında? Değerlendirme biçimi (laboratuvar mı alan çalışması mı?) Tekniğin nesnellik ve öznellik seviyesi. Ölçüm türleri (nitel, nicel) Sağlanan bilgi Cevabın çabukluğu Belirtilen engel seviyesi Gerekli olan kaynaklar

Dinlediğiniz İçin Teşekkür Ederim Şenol SAYGINER Hacettepe Üniversitesi, Eğitim Fakültesi Bilgisayar ve Öğretim Teknolojileri Eğitimi Bölümü Doktora Öğrencisi e-Posta: senolsayginer@gmail.com