GEÇERLİLİK ve GÜVENİLİRLİK Prof. Dr. Erhan Eser Hakan Baydur

güvenilirlik Reliability Dependability Predictability Agreement Consistency Repetability Reproductibility

güvenilirlik Tutarlılık Tekrar edilebilirlik

güvenilirlik tahmin edebilirlik – öngörebilirlik Geçerli (doğru) bir test aynı zamanda güvenilir bir testtir, ancak, Güvenilir bir test geçerli bir test olmayabilir !!!!

güvenilirlik o       Aynı gereçle, aynı kişiler üzerinde aynı şeyi iki kez ölçtüğünüzde sonuçlar tıpa tıp aynı mı çıkar? o       Veya bu ölçüm işini iki ayrı kişi yine aynı bireyler üzerinde yapsa sonuçlar tıpa tıp aynı mı çıkar? o       Veya bu ölçüm işi iki ayrı ölçüm aracı (test) ile aynı bireyler üzerinde yapılsa sonuçlar tıpa tıp aynı mı çıkar? HAYIR

güvenilirlik HAYIR Sonuçlar mutlaka bir dereceye kadar farklılık (tutarsızlık) gösterir. Yani HATA yapılır.

güvenilirlik HATA KAYNAKLARI: 1-Biyolojik değişkenlik 2-Ölçüm tekniğinde (ölçüm aracı veya ölçen kişide) değişkenlik

güvenilirlik güvenilirlik, ölçümün ne kadarının hatadan arınmış olduğunun veya hataya atfedilebileceğininin göstergesidir Gözlenen Skor = Gerçek Skor  ÖLÇÜM HATASI

güvenilirlik HATA TÜRLERİ: 1-Sistematik (tek yönlü ve sabit) 2-Rastgele (şansa bağlı)

güvenilirlik Güvenilirlik, toplam değişkenliğin (varyansın) ne kadarının iki ölçüm arasındaki gerçek farka atfedilebileceğinin ölçütüdür.

güvenilirlik Güvenilirlik Katsayısı: Gerçek skor varyansı.......................... Gerçek skor varyansı + hata varyansı En çok 1.0 En az 0.0

GÖZLEMCİ (Yanıtlayıcı) GÜVENİLİRLİĞİ (RATER RELIABILITY) GÖZLEMCİ – İÇİ veya ÖLÇÜM – İÇİ GÖZLEMCİLER ARASI Kategorik dikotom veri: KAPPA Sürekli (sayısal) veri: Test-Tekrar Test kor.

YANIT TUTARLILIĞI Test-tekrar test korelasyon Sınıf İçi Korelasyon Katsayısı (ICC) Genelleme Katsayısı olarak da bilinir. Test-tekrar test korelasyonun sınırlılıklarını gidermek için. Korelasyon + ortalama tutarlılık (t testi) kavramlarını tek bir INDEKSE indirir.

EŞDEĞERLİK Paralel form güvenilirliği (eş zaman geçerliliği)

İç tutarlılık Belirli bir alanı ölçtüğü savlanan sorular kendi aralarında ne kadar homojendir ? soruların (doğru adrese gidip gitmediğinin), yani yalnızca istenen kavramı ölçüp ölçmediğinin iyi bir ölçütüdür.

İç tutarlılık Test-Madde Analizi Cronbach Alfa katsayısı kullanılır: Aynı faset içinde yer alan en az 4 sorunun aralarındaki ilişkiyi özet olarak ifade eden iç tutarlılık ölçütü (yanıtların en az 3’lü kategorik olduğu durumlarda uygulanabilir) Kuder-Richardson (dikotom verilerde) İki yarım güvenilirliği (paralel form güvenilirliği olarak da değerlendiriliyor)

İç tutarlılık Soru-Toplam Skor Korelasyonu Alan (domain-facet) içinde yer alan soruların her birinin toplam skor ile korelasyonu

GEÇERLİLİK

Geçerlilik nedir? .....ölçülmek istenen özelliği tam ve doğru bir şekilde ve bir başka özellikle karıştırmadan ölçebilme derecesidir.

Geçerlilik türleri Yüz (görünüş) geçerliliği (face validity) Kapsam geçerliliği (content validity) Kriter Geçerliliği (Criterion validity) Yapı Geçerliliği (Construct Validity)

Yüz (görünüş) geçerliliği Aracın ölçmeyi hedeflediği şeyi ölçüp ölçemeyeceğinin uzman bakışı ile değerlendirilmesidir. Ölçülecek kavramın çok iyi bilinmesi gerekir. Görünüş geçerliliği olmayan ölçek kullanılamaz.. Yüz geçerliliği ölçüm aracı geliştirildikten sonra sınanır

Kapsam geçerliliği İncelenen konu ile ilgili değişkenler evreninin ne ölçüde kapsandığının göstergesidir. Ölçüm aracı, Ölçüm amacıyla ilgili olmayanlardan arınmış olmalıdır. Ölçüm aracı geliştirilme sürecinin tüm aşamalarında sınanabilir

Kriter Geçerliliği Mutlaka karşılaştırılacak bir REFERANS KRİTER olmalıdır. Yani referans DOĞRU olmalı. İki türü var: Eş zaman geçerliliği Prediktif (kestirim-yordama) geçerliliği

Eş zaman geçerliliği ....ölçme aracından elde edilen puanlar ile daha önceden geliştirilmiş ve geçerliği yüksek olduğu bilinen, aynı özelliği ölçen başka bir ölçme aracının puanları arasında korealasyon.

Prediktif (kestirim) geçerlilik Sonradan alınacak referans sonucun önceden tahmin edilmesi Duyarlılık – Seçicilik (özgüllük) önemli iki kavramdır ve incelenen sonuçlar dikotom (hasta sağlam vb) sonuçlar olmalıdır.

Yapı Geçerliliği Yeni testi karşılaştıracak bir KRİTER (referans) yoksa YAPI GEÇERLİLİĞİ sınanmalıdır. ...ölçütlerin ve soyut kavramların içeriğinin ve evrenin açıkça bilinmediği, ölçülecek özelliğin açık-seçik tanımlanamadığı durumlarda tercih edilir. Yapılar genellikle çok boyutludur ve Yapı geçerliliği hiçbir zaman tam olarak sağlanamaz

Yapı geçerliliği türleri Bilinen Gruplar yöntemi (ayırdedici geçerlilik) Faktör analizi (açıklayıcı ve doğrulayıcı analizler) Benzer ölçek geçerliliği (convergent validity)