Şans Başarısı Çoktan seçmeli maddeler (iki ve daha çok seçenekli) puanlamasındaki nesnellik ve kolaylık, tekniğine uygun yazılmaları durumunda bilişsel alanın pek çok düzeyindeki davranışları ölçmek için kullanılabilmesi, makine ile puanlamaya olanak tanıması, çok sayıda öğrenciye aynı anda uygulanabilmesi, Dr. Nükhet Ç. Demirtaşlı

Bununla birlikte bu tür maddelerin en önemli dezavantajları: doğru yanıtların tahmine giderek/şansla bulunma olasılığı. Şansla doğru yanıtlamanın testin geçerliliğine ve güvenilirliğine olumsuz katkıda bulunması (Baykul, 2000). Dr. Nükhet Ç. Demirtaşlı

Tahminde bulunmayı ilgilenilmesi gereken bir problem olarak görenler, yanlış tahminde bulunanları cezalandırma yoluyla tahminde bulunmaktan vazgeçirmeyi bir çözüm olarak düşünmüşlerdir (Mehrens ve Lehmann,1984,s.339). Dr. Nükhet Ç. Demirtaşlı

Tahmini önlemek için; test yönergesine, "Yanıtını kesin olarak bilmediğiniz maddeleri yanıtsız bırakınız. Yanlış yanıtlarınızın bir kısmı doğru yanıtlarınızdan çıkartılacaktır." gibi bir açıklama koymak (Tekin, 1996, s.104). Dr. Nükhet Ç. Demirtaşlı

Test puanlarını şans puanından arındırmak (Düzeltme formülü uygulaması; Thurstone, 1919 ve Holzinger, 1924 (aktaran: Budescu ve Bar-Hillel, 1993)): DTP=D- Y/(a-1) DTP: düzeltilmiş test puanını D: doğru yanıtlanan soru sayısı Y: yanlış yanıtlanan soru sayısı a : seçenek sayısı Dr. Nükhet Ç. Demirtaşlı

Formülün dayandığı varsayımlar: 1) bütün sorularda şansla puan kazanma olasılığı aynı ve bu olasılık 1/a kadardır. Örneğin 5 seçenekli bir maddenin doğru yanıtını şansla bulma olasılığı 1/5 'tir. 2) Yanlış yanıtlama tahmine gitmekten kaynaklanır Puanı gereğinden eksik veya fazla düzeltme Dr. Nükhet Ç. Demirtaşlı

Düzeltme formülü uygulamanın etkisine ilişkin bazı bulgular Düzeltilmiş ve düzeltilmemiş test puanları arasındaki ilişki yüksek (Ebel, 1965). Düzeltilmiş puanlar testi alanlar hakkında düzeltilmemiş puanlarla benzer (sırada) bilgi verir (Lord, 1975). Düzeltme puanının dayandığı varsayımlar pratikte her zaman karşılanmadığı için düzeltme girişimleri amacına ulaşmaz (Grounland, 1976; Remmers, Gage ve Rummel, 1965). Düzeltme formülü uygulaması düşük başarılı öğrenci grubunda puan ortalamalarını daha fazla düşürmekte ve düzeltilmiş puanlardan hesaplanan iç tutarlık katsayıları düzeltilmemiş puanlardan hesaplanan katsayılara göre daha yüksektir (Çelen ve Demirtaşlı, 2006) Dr. Nükhet Ç. Demirtaşlı

MADDE YANLILIĞI Testin yapı geçerliğine ilişkin kanıtlar toplama Maddelerin yansızlığına ilişkin kanıtlar elde etme Neden Önemli? Testlerin geçerlik ve güvenirliği düşürür (Sistematik hata; hata kaynağı: puanlayıcı/ölçme aracı/ölçme yöntemi) bireylerin belli bir yetenek ölçüsünde sıralamalarında adil olmayan, yanlış, kararlar alınmasına yol açar. Dr. Nükhet Ç. Demirtaşlı

MADDE YANLILIĞI İstenen test maddelerinin, aynı yetenek seviyesinde olup, farklı gruplara/alt örneklere mensup bireyler için daha zor ya da daha kolay cevaplanabilir olmamalı. Gözlenen ? Maddenin alt gruplarda farklı işlev gösterip göstermediğini (Madde İşlev farklılığı-MİF(Differential item functioning) test etme (İstatistiksel yöntemler) Farklı işlev gösteriyorsa, olası yanlılık kaynaklarını sorgulayan nitel çalışmalar Dr. Nükhet Ç. Demirtaşlı

MADDE YANLILIĞI Madde İşlev Farklılığını (MİF) Belirleme Yöntemleri iki grupta ele alınır; KTK’ya dayalı yöntemler (Mantel-Haenszel-MH; Lojistik Regresyon) Genellikle madde istatistiklerinin alt gruplara göre karşılaştırılması Ki-kare teknikleri: İlgilenilen gruplarda bir maddeye doğru cevap verme oranlarının toplam test puanları kategorilerine göre hesaplanmasıdır (Adams ve Rowe, 1988; akt: Doğan ve Öğretmen, 2005) MTK’ya dayalı yöntemler (Lord’un Ki-kare yönt., Raju alan indeksleri yönt., Madde parametre değerlerinin farklarının sınanması) Dr. Nükhet Ç. Demirtaşlı

MADDE YANLILIĞI Olası yanlılık kaynakları; 1) Cinsiyet, kültürel, etnik, sınıf ve dini faktörler 2) Test içeriği 3) Testin dili 4) Madde yapısı ve formatı 5) Sınırlı test süresi (Hambleton ve Rogers, 1996). Dr. Nükhet Ç. Demirtaşlı

Yanlılıktan kaçınmak için Hambleton, Ronald & Rodgers, Jane (1995) Yanlılıktan kaçınmak için Hambleton, Ronald & Rodgers, Jane (1995). Item bias review. Practical Assessment, Research & Evaluation, 4(6). Retrieved December 10, 2013 from http://PAREonline.net/getvn.asp?v=4&n=6 . İçerik/kapsam yanlılığı madde ilgilenilen alt gruplar için farklı veya alışılmadık bir içerik taşıyor mu? ilgilenilen alt gruplar haksız bir nedenle doğru veya yanlış yanıtlar mı? maddenin kapsamı tüm yanıtlayıcıların eğitimsel geçmişlerinde edinmeleri beklenmeyecek türde bilgi veya beceriyi içeriyor mu? Dil yanlılığı Maddenin kapsamında kullanılan dil/sözcükler ilgilenilen alt grup için farklı veya alışılmadık bir anlama gelebilir mi? Maddede kullanılan sözcük dağarcığı anlamada güçlük yaratıyor mu Madde belli bir dil, sözcük dağarcığı veya dilbilgisi kurallarının etkisinden uzak mı? Madde yapısı ve format yanlılığı Madde bir grubu diğerine üstün kılacak ip uçları barındırıyor mu? Testin açıklamasında/yönergesinde, madde kökünde, anahtar yanıtta ve çeldiricilerde belirsizlik, uygunsuzluk var mı? Maddenin başarılı bir biçimde yanıtlanması/onaylanması için gereken görevin yapısına ilişkin, ilgilenilen grup üyelerini farklı biçimde düşünmesine yol açacak bir özellik gösteriyor mu? Dr. Nükhet Ç. Demirtaşlı

TEST PUANLARINI YORUMLAMA Test sonuçlarını(puanları) yorumlamada daima bir ölçüte ihtiyaç duyulur. Eğitim ve psikolojide kullanılan testlerin sonuçları için sıklıkla iki ölçüt kullanılır; Mutlak ölçüt (Ölçüt dayanaklı testler) Bağıl ölçüt (Norm dayanaklı testler) Eğitim ve psikolojide kullanılan testlerin önemli bir kısmı, sonuçları norm dayanaklı biçimde yorumlanan testlerdir. Dr. Nükhet Ç. Demirtaşlı

Ham puan: Bir testi, bir gruba ya da bireye uyguladığımızda, tipik tepkilerin/doğru yanıtların sayılmasıyla elde edeceğimiz ilk sonuçtur. Ham puan, tek başına çok az bilgi verir. Ör: Ahmet sınavda 15 doğru yanıt vermiştir. Ör: Ahmet’in 15 doğru yanıtının olduğu bir sınavda, gruptaki öğrencilerin ancak %10’u 15 ve üzerinde puan almıştır. Dr. Nükhet Ç. Demirtaşlı

Bir bireyin puanını, kendi grubundaki diğer bireylerin puanlarına dayalı olarak karşılaştırma durumu bize “test normu” kavramını verir. Dr. Nükhet Ç. Demirtaşlı

Norm: Evreni temsil eden örneklemin, o testteki puanlarıdır Norm: Evreni temsil eden örneklemin, o testteki puanlarıdır. Standardizasyon örneklemi kullanılarak elde edilirler. Dr. Nükhet Ç. Demirtaşlı

Norm Hesaplama Yöntemleri Bir standardizasyon işleminde, öncelikle hedaf kitleyi temsil edecek bir standardizasyon örneklemi seçilir. Testin norm örneklemine uygulanmasından sonra elde edilen puanları özetleyecek merkezi eğilim, dağılım ve ilişki ölçüleri hesaplanır. Bu ölçüler, puanları yorumlamada kullanılır ve norm çıkarmaya temel oluşturur. Dr. Nükhet Ç. Demirtaşlı

Norm Hesaplama Yöntemleri Yüzdelikler: Normlara ilişkin referans çerçevesi yaratmada sık kullanılan bir yöntem, olası her puan için yüzdelik aralıkları hesaplamaktır. Yüzdelik, standardizasyon örnekleminde belli bir puanın altında puan alan bireylerin oranını gösterir. Ör: Aldığı puan bakımından 75. yüzdelik dilimde olan birey, grubun %75inden daha başarılıdır. Dr. Nükhet Ç. Demirtaşlı

Norm Hesaplama Yöntemleri Yüzdelik dilim hesaplamasında “yığmalı frekans” kullanılır. Her puanın yüzdelik dilimi , o puan ve altında kalan bireylerin oranına bakılarak hesaplanır. Medyan (ortanca) değer, 50.yüzdelik dilimde yer alacaktır. 25. ve 75.yüzdelikler 1. ve 3. çeyreğe karşılık gelir. Yüksek yüzdelikler yüksek, düşük yüzdelikler düşük başarıyı gösterir. Dr. Nükhet Ç. Demirtaşlı

Dr. Nükhet

Yüzdelik puan, hem hesaplaması hem Norm Hesaplama Yöntemleri Yüzdelik puan, hem hesaplaması hem de anlaşılması diğer yöntemlere göre daha kolay olan bir norm hesaplama yöntemidir. Dezavantajı: Puanlar bir ortalama etrafında dağılır, ortalama ve civarındaki puanların arasındaki fark az iken, yüzdelikleri arasındaki fark çok; uç puanlar arasındaki fark çok iken yüzdelik değerleri arasındaki fark azdır. Bu yüzden uç puanlar, bireylerarası farkları yansıtmada zayıf kalır. Dr. Nükhet Ç. Demirtaşlı

Norm Hesaplama Yöntemleri Örnek: 50 ve 60 puan alan bireyler 51. ve 84. yüzdeliktedir, puanları arasındaki fark 10 yüzdelikleri arasındaki fark 33’tür. 70 ve 80 puan alan bireyler 98. ve100. yüzdelikte yer alıyorsa puanları arasındaki fark yine 10 iken yüzdelikleri arasındaki fark 2’dir. Dr. Nükhet Ç. Demirtaşlı

Norm Hesaplama Yöntemleri 2) Standart Puanlar: En sık kullanılan standart puanlar z ve T puanlardır. z puanı: Ortalaması 0.00 standart sapması 1.00 olan puandır. Bireyin testten aldığı ham puana göre z puanı, en az -3 ve en fazla +3 arasında değişir. X: Bireyin puanı X: Grubun puanlarının ortalaması S: Grup puanlarının standart sapması X-X z= S Dr. Nükhet Ç. Demirtaşlı

Norm Hesaplama Yöntemleri T puanı: Ortalaması 50, standart sapması 10 olan puanlardır. (X-X) T=50+10. ----------- T=50+10.z S St 9 (Standart 9 ya da Stanine): Ortalaması 5 standart sapması 2 olan puanlardır. 1 ve 9 arasında değer alır. ABD’de orduda ve endüstrideki, yetenek ve başarı testlerinin sonuçlarını yorumlamada kullanılır. Dr. Nükhet Ç. Demirtaşlı

Test Sonuçlarını Yorumlama Başlıca norm değişkenleri Yaş Cinsiyet Sınıf Bölge Etnik grup SED Meslek grupları (beyaz ve mavi yakalılar) Dr. Nükhet Ç. Demirtaşlı