KLASİK TEST KURAMI VE GÜVENİLİRLİK

... konulu sunumlar: "KLASİK TEST KURAMI VE GÜVENİLİRLİK"— Sunum transkripti:

1 KLASİK TEST KURAMI VE GÜVENİLİRLİK
Prof.Dr. Nükhet Demirtaşlı-OD5007

2 Prof.Dr. Nükhet Demirtaşlı-OD5007
Test kuramı; (a) Ölçmenin sorunlarını tanımlama (b) Bu sorunlarla baş etme veya bunları azaltmada yöntemler geliştirme. Prof.Dr. Nükhet Demirtaşlı-OD5007

3 Prof.Dr. Nükhet Demirtaşlı-OD5007
Eğitimde ve psikolojide ölçülen özelliklerin bazı sınırlılıkları; Evrensel olarak kabul edilmiş tanımları ve ölçme yaklaşımları yoktur, Bireylerarası ve bireyiçi farklılıklar gösterirler, 3. Belirli bir davranış örneklemine dayanırlar, 4. Çoğunlukla dolaylı olarak ölçülürler, 5. Daima bir miktar hata taşırlar. Prof.Dr. Nükhet Demirtaşlı-OD5007

4 Prof.Dr. Nükhet Demirtaşlı-OD5007
Ölçme ve Hata Hata; Ölçülen özelliğin gerçek değeri ile gözlenen değeri arasındaki fark. Gözlenen puan X=T+ E Hata puanı Gerçek Puan Prof.Dr. Nükhet Demirtaşlı-OD5007

5 Prof.Dr. Nükhet Demirtaşlı-OD5007
Hatanın ölçme sonuçlarına etkisi farklı biçimlerde olur: Ali, 15 maddelik bir testte, 12 maddenin doğru yanıtını biliyor, ancak dikkatsizlikle iki madde de yanlış seçeneği işaretliyor. Ali’nin gözlenen puanı, X = = 10 olur. Prof.Dr. Nükhet Demirtaşlı-OD5007

6 Prof.Dr. Nükhet Demirtaşlı-OD5007
Aynı testte Ceren 9 maddenin doğru yanıtını biliyor, 3 maddeyi de tahmine giderek doğru yanıtlıyor. Ceren’in gözlenen puanı, X = = 12 olur. Prof.Dr. Nükhet Demirtaşlı-OD5007

7 Prof.Dr. Nükhet Demirtaşlı-OD5007
Erhan ise, bu testte sadece 7 maddenin doğru yanıtını biliyor, 1 maddeyi dikkatli okumadığı için yanlış yanıtlıyor, 1 maddeyi de tahmine giderek doğru yanıtlıyor. Bu pozitif ve negatif yanıtlar birbirini götürüyor. Erhan’ın gözlenen puanı, X = = 7 olur. Prof.Dr. Nükhet Demirtaşlı-OD5007

8 Prof.Dr. Nükhet Demirtaşlı-OD5007
Hata Kaynakları Ölçme Aracı: Ölçme aracının kapsamı, yönergelerin anlaşılırlığı, testin dizaynı ile ilgili etmenler. Ölçme Ortamı: Ölçme işinin yapıldığı ortam ve koşullardan kaynaklanan etmenler. Ölçülen Birey: Bireyden kaynaklanan fizyolojik ve psikolojik etmenler. Ölçme/Puanlama Yapan kişi/puanlama yöntemi: Puanlama yanlılıkları, test uygulama ve puanlama konusundaki maddi hatalar, yetersizlik, dikkatsizlik, yorgunluk vb. etmenler. Prof.Dr. Nükhet Demirtaşlı-OD5007

9 Prof.Dr. Nükhet Demirtaşlı-OD5007
Hata Türleri Sabit : Her ölçme sonucuna aynı miktarda karışan hata. Sistematik: Ölçülen bireye, ölçülen özelliğe ve ölçülen büyüklüğe göre değişir (Yanlılık). Seçkisiz (random/tesadüfi): Hata kaynağı tam olarak kestirilemeyen, ölçme sonuçlarını artıran veya azaltan yönde etkileyen hatalar. Prof.Dr. Nükhet Demirtaşlı-OD5007

10 Klasik Test Kuramının Varsayımları
1. X = T+ E var (X) = var (T) + var (E) X = gözlenen puan (seçkisiz değişken) T = gerçek puan E = hata puanı(seçkisiz/random) 2. e (X) = T Gözlenen puanın beklenen (expected) değeri, gerçek puana eşittir. Diğer bir ifadeyle, bir yanıtlayıcı evreninden elde edilen seçkisiz hataların beklenen ortalaması sıfırdır. Prof.Dr. Nükhet Demirtaşlı-OD5007

11 Prof.Dr. Nükhet Demirtaşlı-OD5007
3. r T E = gerçek ve hata puanları arasındaki ilişki sıfırdır. 4. r E1 E2 = 0 Farklı iki testten/aynı testin iki ayrı uygulamasından elde edilen hata puanları arasındaki ilişki sıfırdır. rTxEx = 0 rTyEy = 0 ise, rTxEy = 0 Sonuç; Bir ölçmede bir bireyi etkileyen seçkisiz hatalar, aynı bireyi başka bir ölçmede etkileyen hatalardan bağımsızdır. Prof.Dr. Nükhet Demirtaşlı-OD5007

12 Ölçme Duyarlılığı/Doğruluğu
Güvenilirlik Ölçme Duyarlılığı/Doğruluğu (Random hatalardan arınıklık) Eşdeğerlik Tutarlılık Kararlılık İç tutarlılık Prof.Dr. Nükhet Demirtaşlı-OD5007

13 Prof.Dr. Nükhet Demirtaşlı-OD5007
Güvenilirlik Güvenilirlik, Kuramsal; güvenilirlik İndeksi: gerçek ve gözlenen puanlar arasındaki ilişki. ρxx’ = Gerçek puan varyansı / Gözlenen puan varyansı arasındaki orana eşittir. Gerçek dünyada; güvenilirlik katsayısı: paralel testler/formlar arasındaki ilişki. Tutarlılık Kararlılık İç tutarlılık (Bileşik puanın güvenilirliği) Prof.Dr. Nükhet Demirtaşlı-OD5007

14 Prof.Dr. Nükhet Demirtaşlı-OD5007
Güvenilirlik Bireylerin tekrarlı ölçmelerden veya testin paralel formlarından aldıkları puanların tutarlılığını ifade eder. Gözlenen puanlardaki tutarsızlığın başlıca kaynağı, seçkisiz (random) hatalardır. Ölçme sonuçları, bu hatalardan arınık olduğu ölçüde tutarlıdır. Ölçmecilere düşen sorumluluk, hatanın testteki performansı ne ölçüde etkilediğini kestirmektir. Prof.Dr. Nükhet Demirtaşlı-OD5007

15 Güvenilirlik bilgisinin yorumu
1) ρxx; gözlenen puanlardaki varyansta gerçek puan varyansının oranı/katkısı Gözlenen puandaki varyansın % kaçı gerçek puan varyansından gelir? 2) (ρxx)²; Formların birindeki değişkenliğin (gözlenen puan) % kaçı diğer formdaki değişkenlikle tahmin edilir? 3) gözlenen ve gerçek puan arasındaki korelasyon Prof.Dr. Nükhet Demirtaşlı-OD5007

16 güvenilirlik bilgisinin yorumu
ρxx=.81 gözlenen puanlardaki varyansın %81’i gerçek puan varyansından gelir. O zaman gerçek puan varyansı/st.sapması nedir? σ²T=.81σ²x ►sd=4 ise Doğrudan gözlenemeyen gerçek puan dağılımının standart sapması, σT= √(.81)(16) = 3.6 biçiminde tahmin edilebilir. Prof.Dr. Nükhet Demirtaşlı-OD5007

17 Güvenilirlik bilgisinin yorumu
2) (.81)², ya da ikinci testte gözlenen puanlardaki varyansın %65’i ilk testte gözlenen puanlardaki varyanstan tahmin edilebilir. Prof.Dr. Nükhet Demirtaşlı-OD5007

18 Güvenilirlik bilgisinin yorumu
3) Testi alan grup için, gözlenen ve gerçek puanlar arasındaki, √.81 veya .90’dır. Prof.Dr. Nükhet Demirtaşlı-OD5007

19 Güvenilirlik Kestirim Yöntemleri
1) Korelasyonel Yöntemler Eşdeğerlik; Paralel Testler Yöntemi: Eşdeğer formlar; aynı gerçek puanı veren formlar. hata kaynağı testin kapsamı. Tutarlılık ve kararlılık; Test-Tekrar Test Yöntemi: hata kaynağı, test uygulama koşulları, ölçülen bireylerden kaynaklanan faktörler. Prof.Dr. Nükhet Demirtaşlı-OD5007

20 Güvenilirlik Kestirim Yöntemleri
İki Yarıya Bölme Yöntemi: Bileşik puanın güvenilirliği. Muhtemel alt testler arası korelasyon. Spearman - Brown düzeltme formülü. Hata kaynağı testin kapsamı (alt testler arasında yeterli paralellik olmaması) Prof.Dr. Nükhet Demirtaşlı-OD5007

21 Spearman - Brown düzeltme formülü
r xx’ : iki yarı test arasındaki korelasyon/varolan testin güvenilirliği k : Test uzunluğu/madde sayısı rxx:tüm testin/uzatılmış testin güvenilirliği Prof.Dr. Nükhet Demirtaşlı-OD5007

22 Prof.Dr. Nükhet Demirtaşlı-OD5007
Cronbach Alfa: Madde varyans ve madde kovaryanslarına dayalı güvenilirlik hesaplama. Tek uygulama; Dereceli ve iki kategorili puanlanan maddeler için İç tutarlılık Güvenirlik kestiriminin alt sınırı: madde kapsamlarının tam paralel olmadığı durumda Prof.Dr. Nükhet Demirtaşlı-OD5007

23 Prof.Dr. Nükhet Demirtaşlı-OD5007
Cronbach Alfa Formülü K = Testin soru sayısı = Testin varyansı j maddesinin varyansı Prof.Dr. Nükhet Demirtaşlı-OD5007

24 Prof.Dr. Nükhet Demirtaşlı-OD5007
KR20-21 Formülleri Madde varyans ve kovaryansları, KR20 ve 21, 0-1 ile puanlanan maddelerde; test kapsamının homojenliği ve eşit madde güçlüğü Prof.Dr. Nükhet Demirtaşlı-OD5007

25 KR-21 güvenilirlik katsayısı
Prof.Dr. Nükhet Demirtaşlı-OD5007

26 Güvenilirlik Kestirim Yöntemleri
2) Puan cinsinden güvenirliğin kestirilmesi: Ölçmenin standart hatası (ÖSH). ÖSH= s√1- rxx S= 10 rxx = 0.75 ÖSH = ? Prof.Dr. Nükhet Demirtaşlı-OD5007

27 Prof.Dr. Nükhet Demirtaşlı-OD5007
Bu bireyin gerçek puan aralığını tahmin etmek için standart normal dağılım eğrisi kullanacak olursak Prof.Dr. Nükhet Demirtaşlı-OD5007

28 Test Geliştirme Süreci
Testin kullanılma amacını belirleme. Test ile ölçülecek davranışları, kullanılma amacı doğrultusunda tanımlama. Testte kullanılacak madde (soru) sayısına ve türüne karar verme. 2. basamaktan belirlenen davranışları/kazanımları ölçecek sorular yazma. Hazırlanan soruları, soru yazım teknikleri, bilimsel doğruluk, dil ve anlatım ölçütleri bakımından gözden geçirerek düzeltme. Gözden geçirilmiş soruları düzenleyerek, uygulanabilir bir forma (test kitapçığı) getirerek çoğaltma. Gözden geçirilmiş soruları 1. basamakta saptanan kullanma amacı doğrultusunda, asıl yanıtlayıcı grubuna benzer bir yanıtlayıcı grubunda uygun test koşularında uygulayarak, deneme. Deneme grubundan alınan yanıtları bir yanıt anahtarına göre puanlayarak, soruları analize hazır hale getirme. Sorular üzerinde, soru (madde) analizi yaparak, her sorunun kalitesi hakkında objektif ölçüler (madde güçlük ve ayırıcılık indeksleri) hesaplama. Testin güvenirliğini hesaplama. Güvenirliliğin .90’ın altında çıktığı durumda, ayırıcılığı düşük, orta güçlükten çok fazla sapan maddeleri çıkararak güvenirliği tekrar hesaplama. Prof.Dr. Nükhet Demirtaşlı-OD5007

29 ÖLÇMELERİN GEÇERLİK VE GÜVENİRLİĞİ
ETKİLEYEN ETMENLER Test kapsamı (madde/soru sayısı) Test yanıtlama süresi Testi alan grubun homojenliği Puanlama yanlılıkları Test uygulama koşulları Prof.Dr. Nükhet Demirtaşlı-OD5007

30 Klasik Test Kuramının Sınırlılıkları
Test ve madde istatistikleri, grubun özelliklerine bağlıdır. Farklı gruplardan elde edilen sonuçları tek bir test için karşılaştırmak zordur. Hata kestirimi, grubun test puanları dağılımına dayalı olarak tek bir değer olarak (güvenilirlik katsayısı veya ölçmenin standart hatası)kestirilir. Test puanları, daha çok sıralama ölçeğinde tanımlanmıştır. 0 ile maksimum puan arasında değişir. Prof.Dr. Nükhet Demirtaşlı-OD5007