KLASİK TEST KURAMI VE GÜVENİLİRLİK Prof.Dr. Nükhet Demirtaşlı-OD5007

Prof.Dr. Nükhet Demirtaşlı-OD5007 Test kuramı; (a) Ölçmenin sorunlarını tanımlama (b) Bu sorunlarla baş etme veya bunları azaltmada yöntemler geliştirme. Prof.Dr. Nükhet Demirtaşlı-OD5007

Prof.Dr. Nükhet Demirtaşlı-OD5007 Eğitimde ve psikolojide ölçülen özelliklerin bazı sınırlılıkları; Evrensel olarak kabul edilmiş tanımları ve ölçme yaklaşımları yoktur, Bireylerarası ve bireyiçi farklılıklar gösterirler, 3. Belirli bir davranış örneklemine dayanırlar, 4. Çoğunlukla dolaylı olarak ölçülürler, 5. Daima bir miktar hata taşırlar. Prof.Dr. Nükhet Demirtaşlı-OD5007

Prof.Dr. Nükhet Demirtaşlı-OD5007 Ölçme ve Hata Hata; Ölçülen özelliğin gerçek değeri ile gözlenen değeri arasındaki fark. Gözlenen puan X=T+ E Hata puanı Gerçek Puan Prof.Dr. Nükhet Demirtaşlı-OD5007

Prof.Dr. Nükhet Demirtaşlı-OD5007 Hatanın ölçme sonuçlarına etkisi farklı biçimlerde olur: Ali, 15 maddelik bir testte, 12 maddenin doğru yanıtını biliyor, ancak dikkatsizlikle iki madde de yanlış seçeneği işaretliyor. Ali’nin gözlenen puanı, X = 12 - 2 = 10 olur. Prof.Dr. Nükhet Demirtaşlı-OD5007

Prof.Dr. Nükhet Demirtaşlı-OD5007 Aynı testte Ceren 9 maddenin doğru yanıtını biliyor, 3 maddeyi de tahmine giderek doğru yanıtlıyor. Ceren’in gözlenen puanı, X = 9 + 3 = 12 olur. Prof.Dr. Nükhet Demirtaşlı-OD5007

Prof.Dr. Nükhet Demirtaşlı-OD5007 Erhan ise, bu testte sadece 7 maddenin doğru yanıtını biliyor, 1 maddeyi dikkatli okumadığı için yanlış yanıtlıyor, 1 maddeyi de tahmine giderek doğru yanıtlıyor. Bu pozitif ve negatif yanıtlar birbirini götürüyor. Erhan’ın gözlenen puanı, X = 7 + 0 = 7 olur. Prof.Dr. Nükhet Demirtaşlı-OD5007

Prof.Dr. Nükhet Demirtaşlı-OD5007 Hata Kaynakları Ölçme Aracı: Ölçme aracının kapsamı, yönergelerin anlaşılırlığı, testin dizaynı ile ilgili etmenler. Ölçme Ortamı: Ölçme işinin yapıldığı ortam ve koşullardan kaynaklanan etmenler. Ölçülen Birey: Bireyden kaynaklanan fizyolojik ve psikolojik etmenler. Ölçme/Puanlama Yapan kişi/puanlama yöntemi: Puanlama yanlılıkları, test uygulama ve puanlama konusundaki maddi hatalar, yetersizlik, dikkatsizlik, yorgunluk vb. etmenler. Prof.Dr. Nükhet Demirtaşlı-OD5007

Prof.Dr. Nükhet Demirtaşlı-OD5007 Hata Türleri Sabit : Her ölçme sonucuna aynı miktarda karışan hata. Sistematik: Ölçülen bireye, ölçülen özelliğe ve ölçülen büyüklüğe göre değişir (Yanlılık). Seçkisiz (random/tesadüfi): Hata kaynağı tam olarak kestirilemeyen, ölçme sonuçlarını artıran veya azaltan yönde etkileyen hatalar. Prof.Dr. Nükhet Demirtaşlı-OD5007

Klasik Test Kuramının Varsayımları 1. X = T+ E var (X) = var (T) + var (E) X = gözlenen puan (seçkisiz değişken) T = gerçek puan E = hata puanı(seçkisiz/random) 2. e (X) = T Gözlenen puanın beklenen (expected) değeri, gerçek puana eşittir. Diğer bir ifadeyle, bir yanıtlayıcı evreninden elde edilen seçkisiz hataların beklenen ortalaması sıfırdır. Prof.Dr. Nükhet Demirtaşlı-OD5007

Prof.Dr. Nükhet Demirtaşlı-OD5007 3. r T E = 0 gerçek ve hata puanları arasındaki ilişki sıfırdır. 4. r E1 E2 = 0 Farklı iki testten/aynı testin iki ayrı uygulamasından elde edilen hata puanları arasındaki ilişki sıfırdır. rTxEx = 0 rTyEy = 0 ise, rTxEy = 0 Sonuç; Bir ölçmede bir bireyi etkileyen seçkisiz hatalar, aynı bireyi başka bir ölçmede etkileyen hatalardan bağımsızdır. Prof.Dr. Nükhet Demirtaşlı-OD5007

Ölçme Duyarlılığı/Doğruluğu Güvenilirlik Ölçme Duyarlılığı/Doğruluğu (Random hatalardan arınıklık) Eşdeğerlik Tutarlılık Kararlılık İç tutarlılık Prof.Dr. Nükhet Demirtaşlı-OD5007

Prof.Dr. Nükhet Demirtaşlı-OD5007 Güvenilirlik Güvenilirlik, Kuramsal; güvenilirlik İndeksi: gerçek ve gözlenen puanlar arasındaki ilişki. ρxx’ = Gerçek puan varyansı / Gözlenen puan varyansı arasındaki orana eşittir. Gerçek dünyada; güvenilirlik katsayısı: paralel testler/formlar arasındaki ilişki. Tutarlılık Kararlılık İç tutarlılık (Bileşik puanın güvenilirliği) Prof.Dr. Nükhet Demirtaşlı-OD5007

Prof.Dr. Nükhet Demirtaşlı-OD5007 Güvenilirlik Bireylerin tekrarlı ölçmelerden veya testin paralel formlarından aldıkları puanların tutarlılığını ifade eder. Gözlenen puanlardaki tutarsızlığın başlıca kaynağı, seçkisiz (random) hatalardır. Ölçme sonuçları, bu hatalardan arınık olduğu ölçüde tutarlıdır. Ölçmecilere düşen sorumluluk, hatanın testteki performansı ne ölçüde etkilediğini kestirmektir. Prof.Dr. Nükhet Demirtaşlı-OD5007

Güvenilirlik bilgisinin yorumu 1) ρxx; gözlenen puanlardaki varyansta gerçek puan varyansının oranı/katkısı Gözlenen puandaki varyansın % kaçı gerçek puan varyansından gelir? 2) (ρxx)²; Formların birindeki değişkenliğin (gözlenen puan) % kaçı diğer formdaki değişkenlikle tahmin edilir? 3) gözlenen ve gerçek puan arasındaki korelasyon Prof.Dr. Nükhet Demirtaşlı-OD5007

güvenilirlik bilgisinin yorumu ρxx=.81 gözlenen puanlardaki varyansın %81’i gerçek puan varyansından gelir. O zaman gerçek puan varyansı/st.sapması nedir? σ²T=.81σ²x ►sd=4 ise Doğrudan gözlenemeyen gerçek puan dağılımının standart sapması, σT= √(.81)(16) = 3.6 biçiminde tahmin edilebilir. Prof.Dr. Nükhet Demirtaşlı-OD5007

Güvenilirlik bilgisinin yorumu 2) (.81)², ya da ikinci testte gözlenen puanlardaki varyansın %65’i ilk testte gözlenen puanlardaki varyanstan tahmin edilebilir. Prof.Dr. Nükhet Demirtaşlı-OD5007

Güvenilirlik bilgisinin yorumu 3) Testi alan grup için, gözlenen ve gerçek puanlar arasındaki, √.81 veya .90’dır. Prof.Dr. Nükhet Demirtaşlı-OD5007

Güvenilirlik Kestirim Yöntemleri 1) Korelasyonel Yöntemler Eşdeğerlik; Paralel Testler Yöntemi: Eşdeğer formlar; aynı gerçek puanı veren formlar. hata kaynağı testin kapsamı. Tutarlılık ve kararlılık; Test-Tekrar Test Yöntemi: hata kaynağı, test uygulama koşulları, ölçülen bireylerden kaynaklanan faktörler. Prof.Dr. Nükhet Demirtaşlı-OD5007

Güvenilirlik Kestirim Yöntemleri İki Yarıya Bölme Yöntemi: Bileşik puanın güvenilirliği. Muhtemel alt testler arası korelasyon. Spearman - Brown düzeltme formülü. Hata kaynağı testin kapsamı (alt testler arasında yeterli paralellik olmaması) Prof.Dr. Nükhet Demirtaşlı-OD5007

Spearman - Brown düzeltme formülü r xx’ : iki yarı test arasındaki korelasyon/varolan testin güvenilirliği k : Test uzunluğu/madde sayısı rxx:tüm testin/uzatılmış testin güvenilirliği Prof.Dr. Nükhet Demirtaşlı-OD5007

Prof.Dr. Nükhet Demirtaşlı-OD5007 Cronbach Alfa: Madde varyans ve madde kovaryanslarına dayalı güvenilirlik hesaplama. Tek uygulama; Dereceli ve iki kategorili puanlanan maddeler için İç tutarlılık Güvenirlik kestiriminin alt sınırı: madde kapsamlarının tam paralel olmadığı durumda Prof.Dr. Nükhet Demirtaşlı-OD5007

Prof.Dr. Nükhet Demirtaşlı-OD5007 Cronbach Alfa Formülü K = Testin soru sayısı = Testin varyansı j maddesinin varyansı Prof.Dr. Nükhet Demirtaşlı-OD5007

Prof.Dr. Nükhet Demirtaşlı-OD5007 KR20-21 Formülleri Madde varyans ve kovaryansları, KR20 ve 21, 0-1 ile puanlanan maddelerde; test kapsamının homojenliği ve eşit madde güçlüğü Prof.Dr. Nükhet Demirtaşlı-OD5007

KR-21 güvenilirlik katsayısı   Prof.Dr. Nükhet Demirtaşlı-OD5007

Güvenilirlik Kestirim Yöntemleri 2) Puan cinsinden güvenirliğin kestirilmesi: Ölçmenin standart hatası (ÖSH). ÖSH= s√1- rxx S= 10 rxx = 0.75 ÖSH = ? Prof.Dr. Nükhet Demirtaşlı-OD5007

Prof.Dr. Nükhet Demirtaşlı-OD5007 Bu bireyin gerçek puan aralığını tahmin etmek için standart normal dağılım eğrisi kullanacak olursak Prof.Dr. Nükhet Demirtaşlı-OD5007

Test Geliştirme Süreci Testin kullanılma amacını belirleme. Test ile ölçülecek davranışları, kullanılma amacı doğrultusunda tanımlama. Testte kullanılacak madde (soru) sayısına ve türüne karar verme. 2. basamaktan belirlenen davranışları/kazanımları ölçecek sorular yazma. Hazırlanan soruları, soru yazım teknikleri, bilimsel doğruluk, dil ve anlatım ölçütleri bakımından gözden geçirerek düzeltme. Gözden geçirilmiş soruları düzenleyerek, uygulanabilir bir forma (test kitapçığı) getirerek çoğaltma. Gözden geçirilmiş soruları 1. basamakta saptanan kullanma amacı doğrultusunda, asıl yanıtlayıcı grubuna benzer bir yanıtlayıcı grubunda uygun test koşularında uygulayarak, deneme. Deneme grubundan alınan yanıtları bir yanıt anahtarına göre puanlayarak, soruları analize hazır hale getirme. Sorular üzerinde, soru (madde) analizi yaparak, her sorunun kalitesi hakkında objektif ölçüler (madde güçlük ve ayırıcılık indeksleri) hesaplama. Testin güvenirliğini hesaplama. Güvenirliliğin .90’ın altında çıktığı durumda, ayırıcılığı düşük, orta güçlükten çok fazla sapan maddeleri çıkararak güvenirliği tekrar hesaplama. Prof.Dr. Nükhet Demirtaşlı-OD5007

ÖLÇMELERİN GEÇERLİK VE GÜVENİRLİĞİ ETKİLEYEN ETMENLER Test kapsamı (madde/soru sayısı) Test yanıtlama süresi Testi alan grubun homojenliği Puanlama yanlılıkları Test uygulama koşulları Prof.Dr. Nükhet Demirtaşlı-OD5007

Klasik Test Kuramının Sınırlılıkları Test ve madde istatistikleri, grubun özelliklerine bağlıdır. Farklı gruplardan elde edilen sonuçları tek bir test için karşılaştırmak zordur. Hata kestirimi, grubun test puanları dağılımına dayalı olarak tek bir değer olarak (güvenilirlik katsayısı veya ölçmenin standart hatası)kestirilir. Test puanları, daha çok sıralama ölçeğinde tanımlanmıştır. 0 ile maksimum puan arasında değişir. Prof.Dr. Nükhet Demirtaşlı-OD5007