Madde İstatistikleri Metin Özkan, Doç. Dr.

Madde analizi niçin gereklidir? Testteki her maddenin güçlük derecesi arzu edilen düzeyde midir? Maddenin ayırıcılığı yeterli düzeyde midir? Çeldiriciler yeterli işlerliğe sahip midir? Güvenilir bir test elde edildi mi? gibi sorulara cevap verilmektedir.

Sunu İçeriği Ölçmede istatistiksel işlemler Madde İstatistikleri 1- Madde Güçlük İndeksi (pj) 2- Madde Ayırt Edicilik Gücü İndeksi (rjx) 3- Madde Varyansı ve Standart Sapması (Sj2)(Sj) 4- Madde Güvenirlik İndeksi (rj) 5- Testin Ortalama Güçlüğü Madde İstatistiklerinden Hesaplanan Test İstatistikleri 1- Aritmetik Ortalama 2- Testin Ortalama Güçlüğü

MADDE AYIRT EDİCİLK İNDEKSİ Madde İstatistikleri *Testte yer alan maddeler ile ilgili bir takım analizler yapılarak testte yer alan soruların zorluk derecesi ve bilenle bilmeyeni ayırma gücü yani; kalitesi belirlenmeye çalışılır. * Dolayısıyla grubun testi oluşturan maddelere vermiş olduğu yanıtların sayısal göstergelerinden maddelerin işe yarayıp yaramadığı anlaşılır; işe yaramıyorsa bunun nedenini araştırılarak ve ona göre gerekli düzeltmeler yapılabilir. 1 2 MADDE GÜÇLÜK İNDEKSİ MADDE AYIRT EDİCİLK İNDEKSİ

Madde İstatistikleri Madde güçlük indeksi: Doğru cevaplanma oranı Madde ayırt edicilik indeksi: Maddenin ilgili özelliğe sahip olan ve olmayan öğrencileri belirleyebilme gücü

MADDE GÜÇLÜK İNDEKSİ (p, pj) * Maddeyi doğru cevaplayanların tüm cevaplayıcı sayısına oranıdır. Oranlama yapıldığında sınıfın yüzde kaçının bu soruyu doğru yanıtladığı görülebilir. Na = Doğru cevaplayanların sayısı N = Tüm cevaplayıcıların sayısı FORMÜLÜ; * 0,00 ile +1,00 arasında değer alan madde güçlük indeksi, bir maddenin kolay ya da zor bir madde olup olmadığı hakkında bilgi verir. 1,00’e yaklaştıkça madde kolaylaşırken 0,00’a yaklaştıkça madde zorlaşır.

ÖRNEK; 20 öğrencinin katıldığı sınavda 6. maddeyi 15 kişi doğru yanıtlamıştır. Bu maddenin güçlük indeksi kaçtır? Pj = 15 / 20 = 0,75 Bu soruyu sınıfın %75’i doğru yanıtlamıştır. Dolayısıyla % 25’de doğru yanıtlayamamıştır. İstatistiksel formüllerde çok sık kullanılmamakla birlikte doğru yanıtlayamayan grup da (q) ile sembolize edilmektedir.

%27 ’lik Alt ve Üst Gruplar Yöntemi ile Madde Güçlük İndeksi Hesaplaması Öncelikli olarak puanlar sıraya dizilir ve en başarılı %27’lik grup üst grup; en başarısız %27’lik grup da alt grup olarak belirlenir. Maddeye verilen cevap doğru ise 1 yanlış veya boş ise 0 puan verilerek ham puan hesaplanır. Aşağıdaki şekliyle tabloya aktarılır.

Pj = (25 + 15 ) / 200 = 0,20 FORMÜLÜ; ÖRNEK; Pj = Maddenin güçlük indeksi n (dü) = Maddeyi üst grupta doğru cevaplayanlar n (da) = Maddeyi alt grupta doğru cevaplayanlar N = Üst ve alt gruptaki öğrenci sayısı ÖRNEK; Pj = (25 + 15 ) / 200 = 0,20

* Bir maddenin güçlük indeksinin 0,50 olmasını isteriz; fakat bir bir testteki tüm maddelerin güçlüklerinin 0,50 olmasını tercih edilmez. Bunun yerine testin bir bölümü zor, bir bölümü kolay, bir bölümü de orta güçlükte hazırlanır. Böylece testin ortalama güçlüğü 0,50 olur. Soruların güçlük dağılımının da normal dağılım olması istenir. Madde Güçlük İndeksi Maddenin Değerlendirilmesi 0,29 ve altında bulunan maddeler  ZOR 0,30 ve 0,49 arasında bulunan maddeler  ORTA GÜÇLÜKTE 0,50 ve 0,69 arasında bulunan maddeler  KOLAY 0,70 ve 1,00 arasında bulunan maddeler  ÇOK KOLAY

Örnek 1: M1(pj)= M3(pj)= M5(pj)= 0,13 0,29 0,50

Örnek

MADDE AYIRT EDİCİLİK GÜCÜ İNDEKSİ * Bir maddenin bilenle bilmeyeni ne derece ayırdığını gösterir. Bir maddenin kalitesi; yani ne kadar iyi işlediği, bilen (başarılı) öğrenci ile bilmeyen (başarısız) öğrenciyi birbirinden ayırmasıdır. Pozitif (+) olması; Ortalamanın (%50) altında kalan (başarısız) öğrenciler tarafından bilinmeyip, ortalamanın üstünde kalan (başarılı) öğrenciler tarafından bilinmesi. Negatif (-) olması; Ortalamanın (%50) üstünde kalan (başarılı) öğrenciler tarafından tarafından bilinmeyip, ortalamanın altında kalan (başarısız) öğrenciler tarafından bilinmesi.

%27 ’lik Alt ve Üst Gruplar Yöntemi ile Madde Ayırt Edicilik İndeksi Hesaplaması FORMÜLÜ; rjx = Maddenin ayırt edicilik gücü n (dü) = Maddeyi üst grupta doğru cevaplayanlar n (da) = Maddeyi alt grupta doğru cevaplayanlar n = Üst ya da alt gruptan herhangi birisinin eleman sayısı (Her iki grupta da eleman sayısı eşittir) ÖRNEK; rjx = (25 - 15 ) / 100 = 0,10

Ayırt ediciliği negatif olan maddeler testten hemen çıkarılmaz * Ayırt ediciliği negatif olan maddeler testten hemen çıkarılmaz. Çünkü çeşitli sebeplerle (örneğin; cevap anahtarı yanlışlığı) bilen öğrenciler soruyu yanlış cevaplamış olabilirler. İlgili yanlışlık düzeltilirse negatifken pozitife dönüşebilir. Fakat ister pozitif ister negatif olsun 0,00 – 0,20 aralığındaki tüm maddeler çıkarılmalı çünkü negatifi olanı düzeltseniz bile yine kalitesiz bir madde olarak kalacaktır. * Madde güçlüğü (Pj) 0,00 ve 1,00 değerlerini aldığında madde ayırt ediciliği (rjx) her zaman 0,00 olur. Madde Ayırt Etme İndeksi Maddenin Değerlendirilmesi 0,40 ve daha büyük  Çok iyi madde (Ayırt etme gücü yüksek) 0,30 ve 0,39  Oldukça iyi madde. Yine de geliştirilebilir 0,20 ve 0,29  Düzeltilmesi ve geliştirilmesi gerekir 0,19 ve daha küçük  Çok zayıf madde. Mutlaka testten atılmalıdır

Madde İstatistikleri Madde ayırt edicilik indeksi (rjx) Örnek Madde ayırt edicilik indeksi= 0,50

İyi bir test maddesinde, uygulandıktan sonra aşağıdaki maddelerin bulunması beklenir. Madde güçlük indeksinin orta güçlükte olması (0,50) ayırıcılığın mümkün olduğunca yüksek (1’e yakın) olması, Doğru cevabın üst grupta daha çok öğrenci tarafından cevaplandırılmış olması, Seçeneklerdeki çeldiricilerin alt grupta daha çok öğrenci tarafından cevaplandırılmış olması, Çeldiricilerin hepsinin de eşit yada birbirine yakın sayıda cevap çekmiş olması beklenir.

Madde ayırt edicilik indeksi (rjx) Örnek 2 Yukarıda verilen beş soruya ait madde güçlük (pj) ve madde ayırt edicilik (rjx) değerleri verilmiştir. Buna göre testten mutlaka çıkarılması gereken madde aşağıdakilerden hangisidir? A) 1 B) 2 C) 3 D) 4 E) 5 Soru pj rjx 1 0,35 0,60 2 0,40 -0,35 3 0,80 0,10 4 0,25 5 0,85 0,50

KPSS-2012

KPSS-2013

MADDE VARYANSI ( ) Bir maddeyi doğru cevaplayanların oranı (madde güçlük indeksi Pj) ile o maddeyi cevaplayamayanların oranının (qj) çarpımına eşittir. (q = 1 - p) Sj = FORMÜLÜ; Sj2 = Pj x qj ** Standart sapmanın karesine ise VARYANS denir ve daha çok bilimsel çalışmalarda kullanılır.

Madde standart sapması(sj) Örnek Bir maddenin güçlük indeksi 0,40 ise bu maddenin standart sapması kaçtır? pj=0,40 qj=0,60 sj= = 0,49

* Bir madde ile ölçülmek istenen özellik açısından öğrenciler arasındaki farklılıkları belirlemede, bilenle bilmeyeni ayırmada o maddenin standart sapmasından veya varyansında yararlanılır * Grubun çoğunun maddeyi doğru ya da yanlış cevaplaması durumunda madde varyansı 0 (sıfır)’a yaklaşır. Yani madde varyansı küçükse öğrencilerin verdikleri cevaplar arasındaki değişim azdır. * Eğer tüm öğrenciler maddeyi doğru cevaplamışsa veya hiçbiri doğru cevaplayamamışsa madde varyansı “0”olur. * Madde varyansının en büyük değeri 0,25 olur.

MADDE İSTATİSTİKLERİNDEN HESAPLANAN TEST İSTATİSTİKLERİ Aritmetik Ortalama * Bir testteki maddelerin güçlük indekslerinin toplamı, testin aritmetik ortalamasına eşittir. Böylece madde güçlük indeksleri toplamı bilindiğinde testin aritmetik ortalaması kestirilebilir. FORMÜLÜ; Testin Ortalama Güçlüğü FORMÜLÜ; * Genel olarak testin bütününün ne kadar zor ya da kolay olduğu gösterir.

Testin ortalama güçlüğü Bir testte bulunan maddelerin güçlük indekslerinin madde sayısına bölümü testin ortalama güçlüğü olarak tanımlanmaktadır. p= testin ortalama güçlüğü x= testin aritmetik ortalaması k= testteki madde sayısı

Testin ortalama güçlüğü Örnek 1: 10 maddelik bir testin madde güçlük indeksleri sırasıyla 0,70-0,80-0,30- 0,40-0,60-0,30-0,70-0,60-0,50-0,20 ise bu testin ortalama güçlüğü kaçtır? x= 0,70+0,80+0,30+0,40+0,60+0,30+0,70+0,60+0,50+0,20 = 5,1 k= 10 p= 5,1/10 = 0,51

Testin ortalama güçlüğü Örnek 2: Her sorunun 5 puan olduğu 20 soruluk bir başarı testinden ortalama 65 puan alındına göre bu testin ortalama güçlüğü kaçtır? x= 65/5=13 k= 20 p= 13/20 = 0,65

Madde Güvenirlik İndeksi (rj) * Madde ayırt edicilik gücü indeksi ile maddenin standart sapmasının çarpımı sonucu elde edilir. rj ile gösterilir. FORMÜLÜ; ÖRNEK; Standart sapması 0,5; madde ayırt ediciliği 0,60 olan bir maddenin güvenirliliği kaçtır? 0,5 X 0,60 = 0,3 Bir maddenin standart sapması ya da ayırt edicilik gücü arttıkça güvenirlik indeksi de artar

Madde güvenirlik indeksi (rj) Örnek: Bir maddenin güçlük indeksi 0,40 ve madde ayırt edicilik indeksi 0,20 ise bu maddenin güvenirlik indeksi (rj) kaçtır? pj=0,40 rjx= 0,20 qj= 0,60 sj= 0,49 rj= 0,20*0,49 = 0,10

KPSS’DE ÇIKMIŞ SORULAR

2003 Aşağıdaki tabloda numaralamış beş sorunun doğru cevaplanma yüzdeleri (Pj) ile ayırt edicilik değerleri (rjx) verilmiştir. Soru Pj rjx 1 0,35 0,60 2 0,40 –0,35 3 0,80 0,10 4 0,25 0,15 5 0,85 0,50 Eğer düzeltilemiyorsa yukarıdaki sorulardan hangisi, testten mutlaka çıkarılmalıdır? A) 1 B) 2 C) 3 D) 4 E) 5

2003 Aşağıdaki tabloda numaralamış beş sorunun doğru cevaplanma yüzdeleri (Pj) ile ayırt edicilik değerleri (rjx) verilmiştir. Soru Pj rjx 1 0,35 0,60 2 0,40 –0,35 3 0,80 0,10 4 0,25 0,15 5 0,85 0,50 Eğer düzeltilemiyorsa yukarıdaki sorulardan hangisi, testten mutlaka çıkarılmalıdır? A) 1 B) 2 C) 3 D) 4 E) 5

2003 Aşağıdaki tabloda numaralamış beş sorunun doğru cevaplanma yüzdeleri (Pj) ile ayırt edicilik değerleri (rjx) verilmiştir. Soru Pj rjx 1 0,35 0,60 2 0,40 –0,35 3 0,80 0,10 4 0,25 0,15 5 0,85 0,50 Başvuran kişinin çok, seçilecek kişinin az olduğu bir sınavda kullanılacak soruların çoğu, güçlük ve ayırt edicilik bakımından yukarıdaki sorulardan hangisine benzer olmalıdır? A) 1 B) 2 C) 3 D) 4 E) 5

2003 Aşağıdaki tabloda numaralamış beş sorunun doğru cevaplanma yüzdeleri (Pj) ile ayırt edicilik değerleri (rjx) verilmiştir. Soru Pj rjx 1 0,35 0,60 2 0,40 –0,35 3 0,80 0,10 4 0,25 0,15 5 0,85 0,50 Başvuran kişinin çok, seçilecek kişinin az olduğu bir sınavda kullanılacak soruların çoğu, güçlük ve ayırt edicilik bakımından yukarıdaki sorulardan hangisine benzer olmalıdır? A) 1 B) 2 C) 3 D) 4 E) 5

2003 Aşağıdaki tabloda numaralamış beş sorunun doğru cevaplanma yüzdeleri (Pj) ile ayırt edicilik değerleri (rjx) verilmiştir. Soru Pj rjx 1 0,35 0,60 2 0,40 –0,35 3 0,80 0,10 4 0,25 0,15 5 0,85 0,50 Yukarıdaki sorulardan hangisi kolay ve ayırt edici bir sorudur? A) 1 B) 2 C) 3 D) 4 E) 5

2003 Aşağıdaki tabloda numaralamış beş sorunun doğru cevaplanma yüzdeleri (Pj) ile ayırt edicilik değerleri (rjx) verilmiştir. Soru Pj rjx 1 0,35 0,60 2 0,40 –0,35 3 0,80 0,10 4 0,25 0,15 5 0,85 0,50 Yukarıdaki sorulardan hangisi kolay ve ayırt edici bir sorudur? A) 1 B) 2 C) 3 D) 4 E) 5

2004 Dersler (Soru Sayısı) X Biyoloji (10) 5,2 Matematik (45) 38,1 Fizik (19) 13,4 Kimya (12) 6,9 Tarih (14) 11,7 Tabloda soru sayıları ve Aritmetik ortalamaları verilmiş dersler bulunmaktadır. madde güçlük indeksi en düşük olan ders aşağıdakilerden hangisidir? A) Biyoloji B) Matematik C) Tarih D) Fizik E) Kimya

2004 Dersler (Soru Sayısı) X Biyoloji (10) 5,2 Matematik (45) 38,1 Fizik (19) 13,4 Kimya (12) 6,9 Tarih (14) 11,7 Tabloda soru sayıları ve Aritmetik ortalamaları verilmiş dersler bulunmaktadır. madde güçlük indeksi en düşük olan ders aşağıdakilerden hangisidir? A) Biyoloji B) Matematik C) Tarih D) Fizik E) Kimya

2004 Aşağıdaki sorulardan hangisi madde analizi ile elde edilecek bilgilerden yararlanılarak cevaplanamaz? A) Testin zorluk derecesi amaca uygun mudur? B) Testteki sorularla yoklanan davranışlar, kazandırılması amaçlanan davranışlarla aynı mıdır? C) Testteki maddelerin çeldiricileri beklenene yakın biçimde çalışıyor mu? D) Test, ölçülmek istenen nitelikleri ne derece bir tutarlılıkla ölçmektedir? E) Test, çok öğrenmiş ve az öğrenmiş olan öğrencileri birbirinden ayırabiliyor mu?

2004 Aşağıdaki sorulardan hangisi madde analizi ile elde edilecek bilgilerden yararlanılarak cevaplanamaz? A) Testin zorluk derecesi amaca uygun mudur? B) Testteki sorularla yoklanan davranışlar, kazandırılması amaçlanan davranışlarla aynı mıdır? C) Testteki maddelerin çeldiricileri beklenene yakın biçimde çalışıyor mu? D) Test, ölçülmek istenen nitelikleri ne derece bir tutarlılıkla ölçmektedir? E) Test, çok öğrenmiş ve az öğrenmiş olan öğrencileri birbirinden ayırabiliyor mu?

2008 Bir testteki maddelere ilişkin aşağıdaki değerler elde edilmiştir. Tabloda verilen bilgilere göre hangi maddenin güvenirliğe katkısı en fazladır? A) 1 B) 2 C) 3 D) 4 E) 5

2008 Bir testteki maddelere ilişkin aşağıdaki değerler elde edilmiştir. Tabloda verilen bilgilere göre hangi maddenin güvenirliğe katkısı en fazladır? A) 1 B) 2 C) 3 D) 4 E) 5

2006 Yukarıda analizi verilen maddede doğru cevap hangi seçenekte olursa ayırt edicilik en yüksek olur? A) A B) B C) C D) D E) E

2006 Yukarıda analizi verilen maddede doğru cevap hangi seçenekte olursa ayırt edicilik en yüksek olur? A) A B) B C) C D) D E) E

2006 Yukarıda analizi verilen maddenin doğru cevabı E ise madde ayırıcılık gücü indeksi kaç olur? A) 0,00 B) 0,10 C) 0,16 D) 0,20 E) 1,00

2006 Yukarıda analizi verilen maddenin doğru cevabı E ise madde ayırıcılık gücü indeksi kaç olur? A) 0,00 B) 0,10 C) 0,16 D) 0,20 E) 1,00

Yapılandırılacak bir testte bu maddeleri kullanma zorunluluğu olsaydı, en köklü değişikliğin hangi maddede yapılması gerekirdi? A) I B) II C) III D) IV E) V