Test Geliştirme ve Madde Analizi

... konulu sunumlar: "Test Geliştirme ve Madde Analizi"— Sunum transkripti:

1 Test Geliştirme ve Madde Analizi
Doç.Dr. Muammer Çalık tarafından hazırlanmıştır

2 Ölçme Araçlarının Geliştirilme Aşamaları
Testin amacını belirleme Test ile ölçülecek hedeflerin (kazanımların) belirlenmesi ve belirtke tablosunun oluşturulması Soru Sayısının ve Tipinin belirlenmesi Sınav Süresini Belirleme Test Maddelerinin Yazılması ve Uzman Kişilerce İncelenmesi Testin Pilot Uygulaması Madde Analizi ve Madde Seçimi Testte Son Şeklinin Verilmesi

3 Testin amacını belirleme
Öğrencilerin bir konu veya alandaki yeterlilik ve yetersizliklerini belirleme ve gerekli düzeltmeleri yapma Konu veya genel başarıyı ölçmek Belli bir seviye veya yaş grubundaki öğrenciler arasından birinciyi seçmek

4 Belirtke tablosunun faydaları
hedeflerin konu ve öğrenme alanları açısından toplam sayılarını belirlemede, kapsam geçerliğini sağlayacak şekilde soru sayısının belirlenmesinde, evreni temsil etme gücü yüksek ve geçerli soruların seçiminde, kritik davranışlara göre soru hazırlamada faydalıdır

5 Soru Sayısının ve Tipinin belirlenmesi
Testin amacı, Hazırlanan belirtke tablosu, Konuların önem derecesi, Soru tipi amaca yönelik olarak belirlenmeli (açık uçlu, çoktan seçmeli, boşluk doldurma vb.); soruların basit orta ve zor düzeylerine dağılımı ne olmalır? Yani sorular, Bloom Taksonomisi’nin seviyeleri olan bilgi kavrama, uygulama, analiz, sentez, değerlendirme düzeylerine nasıl dağılmalıdır?

6 Madde Analizi Testin güçlüğü(P) Madde güçlüğü (p) Madde varyansı (Sjx) Madde ayırt edicilik gücü (rjx) Madde güvenirliği (rx) Testin güvenirliği (KR-20)

7 MADDE ANALİZİ Bir testte yer alan maddelerin uygulamasından elde edilen sonuçlarının seçilen ölçüte göre işe yarayıp yaramadığını, işe yaramıyorsa bunun muhtemel nedenlerini anlamak ve amaca hizmet etmesini sağlamak için gerekli düzeltmeleri yapmaya “Madde Analizi” denir. Kısaca, hazırlanan bir testin uygulandıktan sonra madde güçlüğüne, soru maddesinin ayırt ediciliğine ve seçeneklerin çeldiriciliğine bakılmasına testin “madde analizi” denir. Madde analizinin amacı, ölçülmek istenilen öğrenme alanı için güvenirliği ve geçerliği yüksek verimli bir ölçeğin elde edilmesidir. Elimizde geçerliği ve güvenirliği yüksek bir sınav olsa bile uygulandığı sınıfı daha iyi tanıyabilmesi için öğretmenin tekrar madde analizi yapmasında yarar vardır. Madde analizi yoluyla, öğretmen o sınıftaki öğrencilerin eksiklerini, öğrenme güçlüklerini ve yetersiz kaldıkları noktaları daha iyi görme fırsatı bulmuş olur.

8 Madde analizi niçin gereklidir?
Testteki her maddenin güçlük derecesi arzu edilen düzeyde midir? Maddenin ayırıcılığı yeterli düzeyde midir? Madde sadece bir doğru cevap mı içeriyor? Çeldiriciler yeterli işlerliğe sahip midir? Madde kafa karıştırıcı mıdır? (Testte kusurlu bir madde var mıdır?) Geçerli ve güvenilir bir test elde edildi mi? Öğrenciler hangi konularda öğrenme güçlüğü çekmekteler? Hangi öğrenci grubuna bu madde uygundur? Testin süresi uygun mudur?

9 Test güçlüğü/ortalama güçlüğü (P):
Bir testin güçlük düzeyi hakkında bilgi verir. Bir testin kolay, orta ve zor düzeyde olup olmadığına karar verilir. P değeri 1’e ne kadar yakında test o kadar kolay, P değeri 0’a ne kadar yakında o kadar zor, P değeri 0.50 civarında ise orta güçlüktedir. P<0,30 ise zor bir test 0.30<P<0,70 ise orta güçlükte test P>0.70 ise kolay test denir.

10 Madde Güçlüğü (pj): Sınavdaki herhangi bir soru maddesini doğru cevaplayanların sayısının sınava girenlerin sayısına oranı o soru maddesinin güçlük derecesi denir. Her maddenin doğru cevaplanma oranını gösterir. Dj =doğru cevap sayısını N = öğrenci sayısı olmak üzere madde güçlüğü 0< P <1 dir. p’nin değer aralıkları; arası zor madde arası orta zorlukla madde arası kolay madde Bir testte kolay, zor ve orta güçlükte madde olmalıdır. Madde güçlüğünün 0.50 düzeyinde olması beklenilir.

11 Örnek

12

13 Madde varyansı/Standart sapması
Testin standart sapması

14

15

16

17 Madde ayırt ediciliği (rjx)
Bir test maddesinin ve çeldiricilerin bilen ile bilmeyen öğrenciyi ayırt edebilme düzeyidir. Yani, bir maddenin gruptaki başarı düzeyi yüksek öğrencileri, başarısı düşük öğrencilerden ayırıp ayırmadığını belirlemede kullanılan ölçüttür. Bir teste yer alan soruların ayırt edicilik güçlerinin yüksek olması beklenir. Ayırt edicilik gücü çok zayıf olan maddelerin testten çıkartılması gerekmektedir.

18 Madde ayırt edicilik gücü şu şekilde hesaplanır;
Sınava katılanların kâğıtları puanlanır ve en yüksekten en düşüğe doğru sıralanır. Bu sıralamada öğrencilerin yukarıdan aşağıya doğru ilk %27’si üst grup ve aşağıdan yukarı ilk %27’si de alt grup olarak belirlenir. D üst: Üst gruptan soruya doğru cevap verenlerin sayısı D alt: Alt gruptan soruya doğru cevap verenlerin sayısı olmak üzere;

19 Madde ayırt edicilik gücü
Bir maddenin ayırt ediciliği de -1 < rjx (di) < 1 arasında değişir. Madde Ayırt Edicilik Endeksi (r) Maddenin Değerlendirilmesi 0.40 ve daha büyük Çok iyi bir madde (Ayırt etme gücü yüksek) 0.30 – 0.39 arası Oldukça iyi bir madde 0.20 – 0.29 arası Üzerinde çalışılması ve düzeltilmesi gereken madde 0.19 ve daha küçük Çok zayıf madde (Ayırt etme gücü düşük)

20 Bir sorunun madde güçlüğünü farklı bir yoldan da hesaplayabiliriz.
(Koşul: Öğrenci sayısı veya soru sayısının fazla olması durumunda!) D üst : %27 üst gruptaki doğru cevap sayısı D alt : %27 alt gruptaki doğru cevap sayısı M : Alt ve üst gruptaki öğrencilerin toplam sayısı olmak üzere; Madde güçlüğü;

21 Her bir sorunun madde güçlüğü ve madde ayırt ediciliği hakkında ne söyleyebiliriz?
P2=0,63 ve r2x (d2)= 0,6 P3=0,4 ve r3x (d3)= 0,2 P4=0,75 ve r4x (d4)= -0,1

22

23

24 Testin güvenirliği (KR-20 formülü)
K: Testteki madde sayısı pi: i. maddenin güçlük indeksi qi: 1-pi S2x: Test puanlarına ait varyans Madde güvenirliği KR-21 formülü, madde güçlükleri indekslerinin eşit olduğu varsayımına dayandığından, madde güçlükleri arasındaki farklılıklara duyarlı değildir. Eğer testteki maddeler güçlük indeksi bakımından birbirinden farklı, yani heterojen bir dağılım gösteriyor ise KR-21 formülü ile hesaplanan güvenirlik katsayısı, KR-20 formülü ile hesaplanandan daha düşük çıkacaktır.

25

26 Test Maddeleri Hazırlayanlara Yönelik Öneriler
Daha sonra bir kısmı eleneceği için ihtiyaç duyduğunuzdan daha fazla test maddesi yazınız. Sorular kolaydan zora sıralayınız. Herhangi bir madde sayfa sonuna geliyorsa seçenekleri ile aynı sayfaya gelecek şekilde düzenleme yapınız. Test bölümlerden oluşuyorsa her bir bölüme bir açıklama yazınız Aynı konu ile ilgili sorular alt alta gelecek şekilde bir düzenleme yapınız. Basit ve anlaşılır bir dil kullanınız.

27 Test Maddeleri Hazırlayanlara Yönelik Öneriler
Diğer soruların cevabı için ipucu teşkil edecek ifadelerden kaçınınız. Her bir maddenin uzmanlar tarafından hemfikir olunan tek bir doğru cevabının olmasına dikkat ediniz. Ayırt ediciliği yüksek orta güçlükte sorular hazırlamaya çalışınız. Yazdığınız maddenin gerçekten ölçmek istediğiniz özelliği ölçüp ölçmediğine emin olunuz. Soru hazırlama profesyonel bir iştir, mutlaka uzman desteği alınız.

28 1. Yukarıda analizi verilen maddede doğru cevap hangi seçenekte olursa ayırt edicilik en yüksek olur? (KPSS-2006) A) A B) B C) C D) D E) E 2. Yukarıda analizi verilen maddenin doğru cevabı E ise, madde ayırıcılık gücü indeksi kaç olur? (KPSS-2006) A) 0,00 B) 0, C) 0,16 D) 0,20 E) 1,00

29 3. Yukarıdaki madde analizi tablosunda verilen bilgilere dayanarak, bu madde hakkında aşağıdaki yargılardan hangisine ulaşılabilir? (KPSS-2006) A) A seçeneği çeldirici ise, beklenen yönde çalışmıştır. B) Maddeyi üst ve alt gruplardan eşit sayıda aday cevaplamıştır. C) B seçeneği çeldirici ise, çok az kişiyi çeldirmiştir. D) Doğru cevap C ise, soru negatif ayırıcıdır. E) Seçeneklerin tümü dengeli bir şekilde çalışmıştır.

30 4. Tabloda verilen bilgilere göre hangi maddenin güvenirlik katkısı en yüksektir?
A) I B) II C) III D) IV E) V 5. Yapılandırılacak bir testte bu maddeleri kullanma zorunluluğu olsaydı, en köklü değişikliğin hangi maddede yapılması gerekirdi? A) I B) II C) III D) IV E) V