Mevlana Üniversitesi Tıp Fakültesi Soru Kalitesi Geçerlik, Güvenilirlik, Zorluk, Ayırıcılık Endeksleri ve Çeldirici Kalitesi Mevlana Üniversitesi Tıp Fakültesi Eğitici Eğitimi Kursu 27-31 Mayıs 2013

Amaç Amaç: Bu sunumun sonunda katılımcıların sınav sorularının kalitesini değerlendirme konusunda bilgi sahibi olmaları amaçlanmıştır.

Hedefler: Bu sunumun sonunda katılımcılar; Soru kalitesiyle ilişkili faktörleri sayabilmeli Geçerlilik ve güvenilirlik terimlerini açıklayabilmeli Zorluk ve ayırıcılık endekslerinin nasıl hesaplandığını belirtebilmeli Çeldirici analizinin nasıl yapılacağını açıklayabilmeli Geçerlik, güvenilirlik, zorluk, ayırıcılık endeksleri ve çeldirici kalitesinin soru seçimine etkisini tartışabilmeli Soru kalitesini değerlendirmenin sınavlardaki önemini savunmalı

Soru Kalitesi Geçerlilik Güvenirlirlik Ayırıcılık İndeksi Neyi ölçüyoruz? Güvenirlirlik Doğru mu ölçüyoruz Ayırıcılık İndeksi Başarılı/başarısız öğrencileri ne kadar ayırıyor? Zorluk derecesi Soru ne kadar zor? Çeldirici kalitesi -Çeldirici şıklar işe yarıyor mu?

Geçersiz – Güvenilmez Kuder-Richardson 20 (KR20) ve Alfa katsayısı Range 0-1 Higher value indicates a strong relationship between items and test Lower value indicates a weaker relationship between test item and test r = n / n-1[s2 + Σp1q1 / s2 ] n = number of items on test s= standard deviation p1= proportion of correct responses q1= 1- p1

Güvenilir ama Geçersiz Geçerlilik. Norm-referenced or Criterion-referenced Norm-referenced – defines the performance of test-takers in relation to one another. Use the frequency distribution and can rank students. Often used to predict success like GRE or GMAT. Criterion-referenced – defines the performance of each test taker without regard to the performance of others. The success is being able to perform a specific task or set of competencies. Uses a mastery curve.

Geçerli ve Güvenilir Güvenilirlik: Test-retest reliability (measure of an individual score is consistent over time) Inter-rater reliability (consistency of individual judges’ ratings of a performance)

p= Zorluk derecesi + Hd Ld N Hd= en başarılı (%27) grup içerisinde soruyu doğru yapanlar Ld= en başarısız (%27) grup içerisinde soruyu doğru yapanlar N= en başarılı (%27) birey sayısı + en başarısız (%27) birey sayısı

Zorluk derecesi Önerilen: % 50-60 Kabul edilebilir: % 30-70 Kullanılmamalı (Çok kolay): %> 70 Kullanılmamalı (Çok zor): %< 30

Ayırt edicilik indeksi Hd - Ld q= N Hd= en başarılı (%27) grup içerisinde soruyu doğru yapanlar Ld= en başarısız (%27) grup içerisinde soruyu doğru yapanlar N= en başarılı (%27) birey sayısı

Ayırt edicilik > 0,35 : Mükemmel 0,34 – 0,25 : İyi 0,24 – 0,15 : Düzeltilmeli < 0,15 : Kullanılmamalı

Zorluk – Ayırt edicilik Ayırt edicilik (q) Zorluk (p) Zor <%30 Orta %30-70 Kolay >%70 ≤ 0,15 X 0,15 – 0,24  ≥ 0,25 Oosterhof, A. (1990). Classroom Applications of Educational Measurements. Merrill, Columbus, OH.

Ayırt edicilik endeksi Örnek 100 Öğrenciye Uygulanan Test Soru 1 Doğru Cevap Verenler Soru 2 Üst Grup (İlk %27) 25 20 Alt Grup (Son %27) 15 Güçlük endeksi (p) Ayırt edicilik endeksi (q)

Çeldiriciler Soru 1 A* B C D E Boş Soru 2 A B C D* E Boş Üst ¼’deki öğrenciler 20 5 Ortadaki öğrenciler 15 10 Alt ¼’deki öğrenciler Soru 2 A B C D* E Boş Üst ¼’deki öğrenciler 5 15 Ortadaki öğrenciler 10 20 Alt ¼’deki öğrenciler İyi bir çeldirici nasıl olmalıdır? Hangi çeldiricileri değiştirmeyi düşünürsünüz? Compare the performance of the highest- and lowest-scoring 25% of the students on the distracter options (i.e. the incorrect answers presented on the exam.) Fewer of the top performers should choose each of the distracters as their answer compared to the bottom performers. (*) doğru cevap

Özet Soru kalitesini belirleyen faktörler nelerdir? Geçerlilik nedir? Güvenilirlik nedir Zorluk ve ayırıcılık endeksleri nasıl hesaplanır? İyi bir çeldirici nasıl olmalı? Geçerlik, Güvenilirlik, Zorluk, Ayırıcılık Endeksleri ve Çeldirici Kalitesine göre iyi bir soru nasıl seçilmeli?