Şans Başarısı Çoktan seçmeli maddeler (iki ve daha çok seçenekli)

... konulu sunumlar: "Şans Başarısı Çoktan seçmeli maddeler (iki ve daha çok seçenekli)"— Sunum transkripti:

1 Şans Başarısı Çoktan seçmeli maddeler (iki ve daha çok seçenekli)
puanlamasındaki nesnellik ve kolaylık, tekniğine uygun yazılmaları durumunda bilişsel alanın pek çok düzeyindeki davranışları ölçmek için kullanılabilmesi, makine ile puanlamaya olanak tanıması, çok sayıda öğrenciye aynı anda uygulanabilmesi, Dr. Nükhet Ç. Demirtaşlı

2 Bununla birlikte bu tür maddelerin en önemli dezavantajları:
doğru yanıtların tahmine giderek/şansla bulunma olasılığı. Şansla doğru yanıtlamanın testin geçerliliğine ve güvenilirliğine olumsuz katkıda bulunması (Baykul, 2000). Dr. Nükhet Ç. Demirtaşlı

3 Tahminde bulunmayı ilgilenilmesi gereken bir problem olarak görenler, yanlış tahminde bulunanları cezalandırma yoluyla tahminde bulunmaktan vazgeçirmeyi bir çözüm olarak düşünmüşlerdir (Mehrens ve Lehmann,1984,s.339). Dr. Nükhet Ç. Demirtaşlı

4 Tahmini önlemek için; test yönergesine, "Yanıtını kesin olarak bilmediğiniz maddeleri yanıtsız bırakınız. Yanlış yanıtlarınızın bir kısmı doğru yanıtlarınızdan çıkartılacaktır." gibi bir açıklama koymak (Tekin, 1996, s.104). Dr. Nükhet Ç. Demirtaşlı

5 Test puanlarını şans puanından arındırmak (Düzeltme formülü uygulaması; Thurstone, 1919 ve Holzinger, 1924 (aktaran: Budescu ve Bar-Hillel, 1993)): DTP=D- Y/(a-1) DTP: düzeltilmiş test puanını D: doğru yanıtlanan soru sayısı Y: yanlış yanıtlanan soru sayısı a : seçenek sayısı Dr. Nükhet Ç. Demirtaşlı

6 Formülün dayandığı varsayımlar: 1) bütün sorularda şansla puan kazanma olasılığı aynı ve bu olasılık 1/a kadardır. Örneğin 5 seçenekli bir maddenin doğru yanıtını şansla bulma olasılığı 1/5 'tir. 2) Yanlış yanıtlama tahmine gitmekten kaynaklanır Puanı gereğinden eksik veya fazla düzeltme Dr. Nükhet Ç. Demirtaşlı

7 Düzeltme formülü uygulamanın etkisine ilişkin bazı bulgular
Düzeltilmiş ve düzeltilmemiş test puanları arasındaki ilişki yüksek (Ebel, 1965). Düzeltilmiş puanlar testi alanlar hakkında düzeltilmemiş puanlarla benzer (sırada) bilgi verir (Lord, 1975). Düzeltme puanının dayandığı varsayımlar pratikte her zaman karşılanmadığı için düzeltme girişimleri amacına ulaşmaz (Grounland, 1976; Remmers, Gage ve Rummel, 1965). Düzeltme formülü uygulaması düşük başarılı öğrenci grubunda puan ortalamalarını daha fazla düşürmekte ve düzeltilmiş puanlardan hesaplanan iç tutarlık katsayıları düzeltilmemiş puanlardan hesaplanan katsayılara göre daha yüksektir (Çelen ve Demirtaşlı, 2006) Dr. Nükhet Ç. Demirtaşlı

8 MADDE YANLILIĞI Testin yapı geçerliğine ilişkin kanıtlar toplama
Maddelerin yansızlığına ilişkin kanıtlar elde etme Neden Önemli? Testlerin geçerlik ve güvenirliği düşürür (Sistematik hata; hata kaynağı: puanlayıcı/ölçme aracı/ölçme yöntemi) bireylerin belli bir yetenek ölçüsünde sıralamalarında adil olmayan, yanlış, kararlar alınmasına yol açar. Dr. Nükhet Ç. Demirtaşlı

9 MADDE YANLILIĞI İstenen
test maddelerinin, aynı yetenek seviyesinde olup, farklı gruplara/alt örneklere mensup bireyler için daha zor ya da daha kolay cevaplanabilir olmamalı. Gözlenen ? Maddenin alt gruplarda farklı işlev gösterip göstermediğini (Madde İşlev farklılığı-MİF(Differential item functioning) test etme (İstatistiksel yöntemler) Farklı işlev gösteriyorsa, olası yanlılık kaynaklarını sorgulayan nitel çalışmalar Dr. Nükhet Ç. Demirtaşlı

10 MADDE YANLILIĞI Madde İşlev Farklılığını (MİF) Belirleme Yöntemleri
iki grupta ele alınır; KTK’ya dayalı yöntemler (Mantel-Haenszel-MH; Lojistik Regresyon) Genellikle madde istatistiklerinin alt gruplara göre karşılaştırılması Ki-kare teknikleri: İlgilenilen gruplarda bir maddeye doğru cevap verme oranlarının toplam test puanları kategorilerine göre hesaplanmasıdır (Adams ve Rowe, 1988; akt: Doğan ve Öğretmen, 2005) MTK’ya dayalı yöntemler (Lord’un Ki-kare yönt., Raju alan indeksleri yönt., Madde parametre değerlerinin farklarının sınanması) Dr. Nükhet Ç. Demirtaşlı

11 MADDE YANLILIĞI Olası yanlılık kaynakları;
1) Cinsiyet, kültürel, etnik, sınıf ve dini faktörler 2) Test içeriği 3) Testin dili 4) Madde yapısı ve formatı 5) Sınırlı test süresi (Hambleton ve Rogers, 1996). Dr. Nükhet Ç. Demirtaşlı

12 Yanlılıktan kaçınmak için Hambleton, Ronald & Rodgers, Jane (1995)
Yanlılıktan kaçınmak için Hambleton, Ronald & Rodgers, Jane (1995). Item bias review. Practical Assessment, Research & Evaluation, 4(6). Retrieved December 10, 2013 from . İçerik/kapsam yanlılığı madde ilgilenilen alt gruplar için farklı veya alışılmadık bir içerik taşıyor mu? ilgilenilen alt gruplar haksız bir nedenle doğru veya yanlış yanıtlar mı? maddenin kapsamı tüm yanıtlayıcıların eğitimsel geçmişlerinde edinmeleri beklenmeyecek türde bilgi veya beceriyi içeriyor mu? Dil yanlılığı Maddenin kapsamında kullanılan dil/sözcükler ilgilenilen alt grup için farklı veya alışılmadık bir anlama gelebilir mi? Maddede kullanılan sözcük dağarcığı anlamada güçlük yaratıyor mu Madde belli bir dil, sözcük dağarcığı veya dilbilgisi kurallarının etkisinden uzak mı? Madde yapısı ve format yanlılığı Madde bir grubu diğerine üstün kılacak ip uçları barındırıyor mu? Testin açıklamasında/yönergesinde, madde kökünde, anahtar yanıtta ve çeldiricilerde belirsizlik, uygunsuzluk var mı? Maddenin başarılı bir biçimde yanıtlanması/onaylanması için gereken görevin yapısına ilişkin, ilgilenilen grup üyelerini farklı biçimde düşünmesine yol açacak bir özellik gösteriyor mu? Dr. Nükhet Ç. Demirtaşlı

13 TEST PUANLARINI YORUMLAMA
Test sonuçlarını(puanları) yorumlamada daima bir ölçüte ihtiyaç duyulur. Eğitim ve psikolojide kullanılan testlerin sonuçları için sıklıkla iki ölçüt kullanılır; Mutlak ölçüt (Ölçüt dayanaklı testler) Bağıl ölçüt (Norm dayanaklı testler) Eğitim ve psikolojide kullanılan testlerin önemli bir kısmı, sonuçları norm dayanaklı biçimde yorumlanan testlerdir. Dr. Nükhet Ç. Demirtaşlı

14 Ham puan: Bir testi, bir gruba ya da
bireye uyguladığımızda, tipik tepkilerin/doğru yanıtların sayılmasıyla elde edeceğimiz ilk sonuçtur. Ham puan, tek başına çok az bilgi verir. Ör: Ahmet sınavda 15 doğru yanıt vermiştir. Ör: Ahmet’in 15 doğru yanıtının olduğu bir sınavda, gruptaki öğrencilerin ancak %10’u 15 ve üzerinde puan almıştır. Dr. Nükhet Ç. Demirtaşlı

15 Bir bireyin puanını, kendi grubundaki diğer bireylerin
puanlarına dayalı olarak karşılaştırma durumu bize “test normu” kavramını verir. Dr. Nükhet Ç. Demirtaşlı

16 Norm: Evreni temsil eden örneklemin, o testteki puanlarıdır
Norm: Evreni temsil eden örneklemin, o testteki puanlarıdır. Standardizasyon örneklemi kullanılarak elde edilirler. Dr. Nükhet Ç. Demirtaşlı

17 Norm Hesaplama Yöntemleri
Bir standardizasyon işleminde, öncelikle hedaf kitleyi temsil edecek bir standardizasyon örneklemi seçilir. Testin norm örneklemine uygulanmasından sonra elde edilen puanları özetleyecek merkezi eğilim, dağılım ve ilişki ölçüleri hesaplanır. Bu ölçüler, puanları yorumlamada kullanılır ve norm çıkarmaya temel oluşturur. Dr. Nükhet Ç. Demirtaşlı

18 Norm Hesaplama Yöntemleri
Yüzdelikler: Normlara ilişkin referans çerçevesi yaratmada sık kullanılan bir yöntem, olası her puan için yüzdelik aralıkları hesaplamaktır. Yüzdelik, standardizasyon örnekleminde belli bir puanın altında puan alan bireylerin oranını gösterir. Ör: Aldığı puan bakımından 75. yüzdelik dilimde olan birey, grubun %75inden daha başarılıdır. Dr. Nükhet Ç. Demirtaşlı

19 Norm Hesaplama Yöntemleri
Yüzdelik dilim hesaplamasında “yığmalı frekans” kullanılır. Her puanın yüzdelik dilimi , o puan ve altında kalan bireylerin oranına bakılarak hesaplanır. Medyan (ortanca) değer, 50.yüzdelik dilimde yer alacaktır. 25. ve 75.yüzdelikler 1. ve 3. çeyreğe karşılık gelir. Yüksek yüzdelikler yüksek, düşük yüzdelikler düşük başarıyı gösterir. Dr. Nükhet Ç. Demirtaşlı

20 Dr. Nükhet

21 Yüzdelik puan, hem hesaplaması hem
Norm Hesaplama Yöntemleri Yüzdelik puan, hem hesaplaması hem de anlaşılması diğer yöntemlere göre daha kolay olan bir norm hesaplama yöntemidir. Dezavantajı: Puanlar bir ortalama etrafında dağılır, ortalama ve civarındaki puanların arasındaki fark az iken, yüzdelikleri arasındaki fark çok; uç puanlar arasındaki fark çok iken yüzdelik değerleri arasındaki fark azdır. Bu yüzden uç puanlar, bireylerarası farkları yansıtmada zayıf kalır. Dr. Nükhet Ç. Demirtaşlı

22 Norm Hesaplama Yöntemleri
Örnek: 50 ve 60 puan alan bireyler 51. ve 84. yüzdeliktedir, puanları arasındaki fark 10 yüzdelikleri arasındaki fark 33’tür. 70 ve 80 puan alan bireyler 98. ve100. yüzdelikte yer alıyorsa puanları arasındaki fark yine 10 iken yüzdelikleri arasındaki fark 2’dir. Dr. Nükhet Ç. Demirtaşlı

23 Norm Hesaplama Yöntemleri
2) Standart Puanlar: En sık kullanılan standart puanlar z ve T puanlardır. z puanı: Ortalaması 0.00 standart sapması 1.00 olan puandır. Bireyin testten aldığı ham puana göre z puanı, en az -3 ve en fazla +3 arasında değişir. X: Bireyin puanı X: Grubun puanlarının ortalaması S: Grup puanlarının standart sapması X-X z= S Dr. Nükhet Ç. Demirtaşlı

24 Norm Hesaplama Yöntemleri
T puanı: Ortalaması 50, standart sapması 10 olan puanlardır. (X-X) T= T=50+10.z S St 9 (Standart 9 ya da Stanine): Ortalaması 5 standart sapması 2 olan puanlardır. 1 ve 9 arasında değer alır. ABD’de orduda ve endüstrideki, yetenek ve başarı testlerinin sonuçlarını yorumlamada kullanılır. Dr. Nükhet Ç. Demirtaşlı

25 Test Sonuçlarını Yorumlama
Başlıca norm değişkenleri Yaş Cinsiyet Sınıf Bölge Etnik grup SED Meslek grupları (beyaz ve mavi yakalılar) Dr. Nükhet Ç. Demirtaşlı