GEÇERLİLİK ve GÜVENİLİRLİK

... konulu sunumlar: "GEÇERLİLİK ve GÜVENİLİRLİK"— Sunum transkripti:

1 GEÇERLİLİK ve GÜVENİLİRLİK
Prof. Dr. Erhan Eser Hakan Baydur

2 güvenilirlik Reliability Dependability Predictability Agreement
Consistency Repetability Reproductibility

3 güvenilirlik Tutarlılık Tekrar edilebilirlik

4 güvenilirlik tahmin edebilirlik – öngörebilirlik
Geçerli (doğru) bir test aynı zamanda güvenilir bir testtir, ancak, Güvenilir bir test geçerli bir test olmayabilir !!!!

5 güvenilirlik o       Aynı gereçle, aynı kişiler üzerinde aynı şeyi iki kez ölçtüğünüzde sonuçlar tıpa tıp aynı mı çıkar? o       Veya bu ölçüm işini iki ayrı kişi yine aynı bireyler üzerinde yapsa sonuçlar tıpa tıp aynı mı çıkar? o       Veya bu ölçüm işi iki ayrı ölçüm aracı (test) ile aynı bireyler üzerinde yapılsa sonuçlar tıpa tıp aynı mı çıkar? HAYIR

6 güvenilirlik HAYIR Sonuçlar mutlaka bir dereceye kadar farklılık (tutarsızlık) gösterir. Yani HATA yapılır.

7 güvenilirlik HATA KAYNAKLARI: 1-Biyolojik değişkenlik
2-Ölçüm tekniğinde (ölçüm aracı veya ölçen kişide) değişkenlik

8 güvenilirlik güvenilirlik, ölçümün ne kadarının hatadan arınmış olduğunun veya hataya atfedilebileceğininin göstergesidir Gözlenen Skor = Gerçek Skor  ÖLÇÜM HATASI

9 güvenilirlik HATA TÜRLERİ: 1-Sistematik (tek yönlü ve sabit)
2-Rastgele (şansa bağlı)

10 güvenilirlik Güvenilirlik, toplam değişkenliğin (varyansın) ne kadarının iki ölçüm arasındaki gerçek farka atfedilebileceğinin ölçütüdür.

11 güvenilirlik Güvenilirlik Katsayısı:
Gerçek skor varyansı Gerçek skor varyansı + hata varyansı En çok 1.0 En az 0.0

12 GÖZLEMCİ (Yanıtlayıcı) GÜVENİLİRLİĞİ (RATER RELIABILITY)
GÖZLEMCİ – İÇİ veya ÖLÇÜM – İÇİ GÖZLEMCİLER ARASI Kategorik dikotom veri: KAPPA Sürekli (sayısal) veri: Test-Tekrar Test kor.

13 YANIT TUTARLILIĞI Test-tekrar test korelasyon Sınıf İçi Korelasyon Katsayısı (ICC) Genelleme Katsayısı olarak da bilinir. Test-tekrar test korelasyonun sınırlılıklarını gidermek için. Korelasyon + ortalama tutarlılık (t testi) kavramlarını tek bir INDEKSE indirir.

14 EŞDEĞERLİK Paralel form güvenilirliği (eş zaman geçerliliği)

15 İç tutarlılık Belirli bir alanı ölçtüğü savlanan sorular kendi aralarında ne kadar homojendir ? soruların (doğru adrese gidip gitmediğinin), yani yalnızca istenen kavramı ölçüp ölçmediğinin iyi bir ölçütüdür.

16 İç tutarlılık Test-Madde Analizi Cronbach Alfa katsayısı kullanılır:
Aynı faset içinde yer alan en az 4 sorunun aralarındaki ilişkiyi özet olarak ifade eden iç tutarlılık ölçütü (yanıtların en az 3’lü kategorik olduğu durumlarda uygulanabilir) Kuder-Richardson (dikotom verilerde) İki yarım güvenilirliği (paralel form güvenilirliği olarak da değerlendiriliyor)

17 İç tutarlılık Soru-Toplam Skor Korelasyonu
Alan (domain-facet) içinde yer alan soruların her birinin toplam skor ile korelasyonu

18 GEÇERLİLİK

19 Geçerlilik nedir? .....ölçülmek istenen özelliği tam ve doğru bir şekilde ve bir başka özellikle karıştırmadan ölçebilme derecesidir.

20 Geçerlilik türleri Yüz (görünüş) geçerliliği (face validity)
Kapsam geçerliliği (content validity) Kriter Geçerliliği (Criterion validity) Yapı Geçerliliği (Construct Validity)

21 Yüz (görünüş) geçerliliği
Aracın ölçmeyi hedeflediği şeyi ölçüp ölçemeyeceğinin uzman bakışı ile değerlendirilmesidir. Ölçülecek kavramın çok iyi bilinmesi gerekir. Görünüş geçerliliği olmayan ölçek kullanılamaz.. Yüz geçerliliği ölçüm aracı geliştirildikten sonra sınanır

22 Kapsam geçerliliği İncelenen konu ile ilgili değişkenler evreninin ne ölçüde kapsandığının göstergesidir. Ölçüm aracı, Ölçüm amacıyla ilgili olmayanlardan arınmış olmalıdır. Ölçüm aracı geliştirilme sürecinin tüm aşamalarında sınanabilir

23 Kriter Geçerliliği Mutlaka karşılaştırılacak bir REFERANS KRİTER olmalıdır. Yani referans DOĞRU olmalı. İki türü var: Eş zaman geçerliliği Prediktif (kestirim-yordama) geçerliliği

24 Eş zaman geçerliliği ....ölçme aracından elde edilen puanlar ile daha önceden geliştirilmiş ve geçerliği yüksek olduğu bilinen, aynı özelliği ölçen başka bir ölçme aracının puanları arasında korealasyon.

25 Prediktif (kestirim) geçerlilik
Sonradan alınacak referans sonucun önceden tahmin edilmesi Duyarlılık – Seçicilik (özgüllük) önemli iki kavramdır ve incelenen sonuçlar dikotom (hasta sağlam vb) sonuçlar olmalıdır.

26 Yapı Geçerliliği Yeni testi karşılaştıracak bir KRİTER (referans) yoksa YAPI GEÇERLİLİĞİ sınanmalıdır. ...ölçütlerin ve soyut kavramların içeriğinin ve evrenin açıkça bilinmediği, ölçülecek özelliğin açık-seçik tanımlanamadığı durumlarda tercih edilir. Yapılar genellikle çok boyutludur ve Yapı geçerliliği hiçbir zaman tam olarak sağlanamaz

27 Yapı geçerliliği türleri
Bilinen Gruplar yöntemi (ayırdedici geçerlilik) Faktör analizi (açıklayıcı ve doğrulayıcı analizler) Benzer ölçek geçerliliği (convergent validity)