Samuel A. Livingston ve Michael J. Zieky Educational Testing Service Applied Measurement in Education.

... konulu sunumlar: "Samuel A. Livingston ve Michael J. Zieky Educational Testing Service Applied Measurement in Education."— Sunum transkripti:

1 Samuel A. Livingston ve Michael J. Zieky Educational Testing Service Applied Measurement in Education

2

3 Geçme puanı: Herhangi bir amaç için yeterli olduğu düşünülen bilgi veya yetenek düzeyini gösterir. 1. Angoff’un Yöntemi 2. Nedelsky’nin Yöntemi 3. Sınır Grup Yöntemi 4. Karşıt Gruplar Yöntemi

4

5 Sınır: Test tarafından ölçülen bilgi veya yetenek seviyesi yeterli ile yetersiz arasındaki çizgide olan kişidir. Angoff ve Nedelsky yöntemleri testteki sorulara ilişkin yargılara dayanırken, Sınır ve Karşıt Gruplar yöntemleri testi alan bireyler üzerinden yapılan yargılara dayanmaktadır. Angoff, Nedelsky ve Sınır Grup Yöntemleri Sınır yetenek seviyesindeki kişiler üzerinden, Karşıt Gruplar yöntemi ise uzman ve uzman olmayan kişiler üzerinden yargıda bulunmaktadır.

6 “Geçme puanı, Sınır kişinin testten alacağı puan dikkate alınarak bulunmalıdır.” önermesine dayanmaktadır. Uygulama Süreci: Uzman, Sınır bir kişinin testteki her bir maddeyi doğru cevaplama olasılığına karar vermektedir. Her bir maddenin söz konusu olasılıkları toplanarak geçme puanı bulunmaktadır.

7 “Geçme puanı, Sınır kişinin testten alacağı puan dikkate alınarak bulunmalıdır.” önermesine dayanmaktadır. Sadece çoktan seçmeli testlerde uygulanmaktadır. Uygulama Süreci: Uzman, Sınır bir kişinin testteki her bir maddede yer alan her bir yanlış seçeneği yanlış olarak tanımlayabilip tanımlayamamasına bakmaktadır. Bunun üzerinden Sınır kişinin her bir maddeyi doğru cevaplayabilme olasılığı hesaplanmaktadır. Her bir maddenin söz konusu olasılıkları toplanarak geçme puanı bulunmaktadır.

8 “Geçme puanı, Sınır kişinin testten alacağı puan dikkate alınarak bulunmalıdır.” önermesine dayanmaktadır. Uygulama Süreci: Uzman, testte ölçülen amacı dikkate alarak Sınır kişiler belirlemekte ve söz konusu kişilerin test puanları üzerinden geçme puanı hesaplanmaktadır. Genellikle geçme puanı, söz konusu kişilerin puanlarının ortancası olmaktadır.

9 İlk olarak uzman kişiler, teste giren bireyleri testte ölçülen amacı dikkate alarak o alanda uzman ve uzman olmayan şeklinde iki gruba ayırmaktadır. Test uygulandıktan sonra geçme puanı, hatalı kararları en aza indirecek şekilde belirlenmektedir. Yani test puanları ile uzman kararlarının en çok benzediği sınır geçme puanı kabul edilmektedir.

10

11 1. Aynı teste ilişkin aynı uzmanların kararları doğrultusunda uygulanan farklı standart belirleme yöntemleri, benzer geçme puanları veriyor mu? 2. Yöntemler arasındaki geçme puanı farklılıkları sistematik mi ve yordanabilir mi?

12 Kullanılan Araçlar: Educational Testing Service tarafından geliştirilen “Basic Skills Assessment Tests” isimli test kullanılarak matematik ve okuma becerisi ölçülmüştür. Bu test, Amerika’daki yetişkinler için günlük hayatlarında ihtiyaç duyulan matematik ve okuma yeteneği düzeyini ölçmeyi amaçlamaktadır. Bu test için uzman tanımı: Günlük yaşamda ihtiyaç duyulan matematik ve okuma becerisine yeterince sahip olma şeklinde tanımlanmaktadır. Okuma testi 65 soru ve matematik testi 70 soru içermektedir.

13 Örneklem: Altıncı, yedinci ve sekizinci sınıf öğrencileri Testte ölçülen özellikler bakımından yeterince kişiye ulaşmak için bu grup seçilmiştir. Çünkü ölçülen yeteneklere ilişkin hem uzman hem de uzman olmayan öğrenciler, en çok bu grupta bulunmaktadır. Farklı sosyo ekonomik düzeylerden 8 okul araştırmaya katılmıştır.

14 Örneklem: Okul Sosyo-Ekonomik Düzey Öğrencilerin Sınıf Seviyeleri 1Kentsel6, 7, 8 2Kırsal7, 8 3Kentsel7, 8, 9 4Kırsal8 5Kentsel6, 7, 8 6Kentsel7, 8 7Kentsel7, 8 8Kırsal7, 8

15 Uzmanlar: Okuma Testi: Bu test için araştırmanın yapıldığı okuldaki İngilizce öğretmenleri uzman olarak kabul edilmiştir. Matematik Testi: Bu test için araştırmanın yapıldığı okuldaki Matematik öğretmenleri uzman olarak kabul edilmiştir. Bir okulda ayrıca iki Fen Bilgisi öğretmeni bu test için uzman seçilmiştir. Her bir test için her bir okulda 3 ile 5 arası uzman seçilmiştir.

16 Her bir okul için üç farklı standart belirleme yöntemi uygulanmıştır. Çünkü tarz olarak Angoff ve Nedelsky yöntemleri birbirine benzemektedir ve uzmanların bir yöntemdeki görüşünün diğerine yansıması istenmemektedir. OkulBirinci Uygulamaİkinci Uygulama 1NedelskyGrup Yöntemleri 2NedelskyGrup Yöntemleri 3 Nedelsky 4Grup YöntemleriNedelsky 5AngoffGrup Yöntemleri 6AngoffGrup Yöntemleri 7 Angoff 8Grup YöntemleriAngoff

17 İlk olarak Angoff ve Nedelsky yöntemlerinin uygulandığı okullar: Öğretmenlerle araştırmacılar, yaklaşık 2 saat süren yalnızca bir görüşme yapmışlardır. İlk önce araştırma amacı paylaşılmıştır. Daha sonra öğrencilerin nasıl uzman, Sınır ve uzman olmayan şeklinde sınıflanacağı açıklanmıştır. Araştırma formu ayrıca “Kararlaştırılamadı” seçeneği içermiştir. Son olarak bir araştırmacı matematik öğretmenlerine Angoff ve Nedelsky yöntemlerini açıklarken diğer araştırmacı aynı seansı İngilizce öğretmenlerine uygulamıştır. Görüşme sonrası öğretmenler testleri öğrencilere uygulamıştır ve cevap formlarını mail ile araştırmacılara göndermiştir.

18 İlk olarak grup yöntemlerinin uygulandığı okullar: Öğretmenlerle araştırmacılar, iki defa görüşmüşlerdir. İlk Görüşme: İlk önce araştırma amacı paylaşılmış ve öğrencilerin nasıl sınıflandırılacağı açıklanmıştır. Formlar ve test materyali paylaşılmıştır. İkinci Görüşme: Yaklaşık bir hafta sonra yapılmıştır. Bu görüşmede karar formları toplanmıştır. Ayrıca Angoff ve Nedelsky yöntemlerinin uygulanma süreçleri paylaşılmıştır.

19 Angoff Standart Belirleme Seansı: İlk olarak öğretmenlere testlerin cevaplarının bulunduğu birer koyaları ve kararlarını yazmaları için birer form verilmiştir. Seansı yöneten araştırmacı yöntemin mantığını, ayrıca uzman ve Sınır öğrenci tanımlarını açıklamıştır. Daha sonra öğretmenlerden soruları tartışarak değerlendirmeleri istenmiştir. Bu süreç sonunda her bir öğretmen bireysel olarak her bir sorunun çözülme olasılıklarını belirlemiştir. Yaklaşık 30 dakika sonra veriler toplanmıştır. Herhangi iki öğretmenin kararları arasında %20 ve üzeri farklılık varsa söz konusu iki öğretmenin gerekçeleri alınmıştır. Bunun sonunda öğretmenlerin tamamına kararlarını değiştirme fırsatı verilmiştir.

20 Nedelsky Standart Belirleme Seansı: Angoff yöntemine ilişkin seans ile benzerlik göstermiştir. Tek farkı test cevapları test üzerinde değil, öğretmenlere verilen karar formlarında yer almıştır. Seansı yöneten kişi öğretmenlerin soruları tartışıp tartışmamalarına ilişkin bir kural oluşturmamıştır. Sadece iki durumda öğretmenlerin tartışmaları istenmiştir. İlki, eğer bir öğretmen bir soruya ilişkin yanlış seçeneklerin tamamını elerse ve başka bir öğretmen tamamını elemezse. İkincisi, eğer bir öğretmen yanlış seçeneklerin ikisini elerken bir başka öğretmen hiçbirini elemezse.

21 “Geçme puanları her bir okul bazında hesaplanmıştır.” Angoff Yöntemi: Tüm maddelerin olasılıklarının toplamı Nedelsky Yöntemi: Tüm maddelerin olasılıklarının toplamı Sınır Grup Yöntemi: Sınır kişilerin test puanlarının ortancası Karşıt Gruplar Yöntemi: Kişinin uzman olma olasılığının 0.50 olduğu seviye (Decision Theory’ye göre hesaplanmıştır)

22

23 Geçme Puanı OkulKarşıt GruplarSınır GrupNedelskyAngoffOrtalamaSS Okuma Testi 143,94738,1---45,511,1 237,15136,5---548,3 3--- 46---39,18,9 450,45846,7---58,47,1 533,432---25,939,811,8 644,245---32,944,112,9 72444---43,24710,5 834,448,5---37,653,88,5 Matematik Testi 141,42925---28,69,4 252,34527,7---3912,5 315,32229,8---22,76,6 443,74642,2---50,910,9 524,823---24,624,78,9 630,825---34,728,39,7 731,631---33,934,910,6 827,635,5---48,639,411,9

24 Öğretmenler ve okullar bazında test sonuçları ve geçme puanları dikkate alındığında test sonuçları yüksek olan grupların öğretmenleri ve okulları yüksek geçme puanı belirleme eğiliminde olmuştur. 3 nolu okulda okuma testi için Sınır kişiler belirlenemediği için geçme puanı tüm yöntemler için hesaplanamamıştır.

25 Okuma Testi: Okul 4 Okul 2 Okul 8Okul 7Okul 1Okul 6Okul 5Okul 3

26 Matematik Testi: Okul 4 Okul 2 Okul 8Okul 7Okul 1Okul 6Okul 5Okul 3

27 Her bir yöntem tarafından belirlenen geçme puanları okuldan okula değişmektedir. Yöntemler bazı okullarda benzer sonuçlar verirken, bazı okullarda çok farklı geçme puanları hesaplanmıştır. Genel dikkate alındığında hiçbir yöntem diğer yöntemlerle tutarlı sonuçlar vermemiştir.

28 Angoff Yöntemi: Okuma testinde düşük geçme puanları belirlerken, matematik testinde böyle bir durum söz konusu olmamıştır. Nedelsky Yöntemi: 1, 2 ve 4 nolu okullarda hem matematik hem de okuma testlerinde düşük geçme puanları belirlerken, 3 nolu okulda her iki testte de yüksek geçme puanları belirlemiştir. Sınır Grup Yöntemi: Okuma testinde en yüksek geçme puanlarını belirlerken, matematik testinde böyle bir durum söz konusu olmamıştır. Karşıt Gruplar Yöntemi: En fazla dağılım gösteren yöntem olmuştur.

29 Karşıt Gruplar Yöntemi: Bu çalışmada söz konusu yöntem uygulanırken dikkate alınan iki etken olmuştur. Bunlardan ilki uzman olanların ve uzman olmayanların test puanları, ikincisi ise bu gruplara dahil olan kişi sayılarıdır. Gruptaki öğrencilerin çoğunluğu uzman olursa, söz konusu yöntem düşük geçme puanı belirlemektedir. Gruptaki öğrencilerin çoğunluğu uzman olmayan kişilerden oluşursa, söz konusu yöntem yüksek geçme puanı belirlemektedir. Bu nedenle uzman olanları ve uzman olmayanları eşitlemek daha gerçekçi sonuçlar verecektir.

30 Karşıt Gruplar Yöntemi: Uzman olan ve uzman olmayan kişilerin eşit veya en az birbirinin %75’i olduğu okullar: Okuma Testi: 1, 3 ve 6 nolu okullar Matematik Testi: 5, 6 ve 7 nolu okullar Söz konusu okullardan 3 nolu okulda okuma testi için Karşıt Gruplar Yöntemi hesaplanamamıştır. Diğer 5 okul için Sınır ve Karşıt Gruplar Yöntemleri benzer sonuçlar vermiştir. Bu nedenle eğer uzman olanların ve uzman olmayanların sayıları eşit olması durumunda söz konusu iki yöntem benzer sonuçlar veriyor denilebilir.

31 Kişilerin gerçekten uzman grubunda mı yoksa uzman olmayan grupta mı oldukları sorgulanıyor. Her bir kişinin puanı uzman olan kişilerin ve uzman olmayan kişilerin ortalamaları ile karşılaştırılıyor. Grupların ortalamalarına standart sapma cinsinden yakın olan kişiler o gruba giriyor. Örnek: Bir öğrencinin test puanı uzmanların test ortalamasının 0,7 standart sapma altında ve uzman olmayanların test ortalamasının 0,8 standart sapma üzerinde ise, o kişi uzman olarak kabul ediliyor.

32 Sınır Grup Geçme Puanı Matematik Testi Okuma Testi

33 1. Aynı teste ilişkin aynı uzmanların kararları doğrultusunda uygulanan farklı standart belirleme yöntemleri, benzer geçme puanları veriyor mu? Angoff ve Nedelsky yöntemleri farklı geçme puanları belirlerken, grup yöntemleri benzer geçme puanları vermiştir. 2. Yöntemler arasındaki geçme puanı farklılıkları sistematik mi ve yordanabilir mi? Uzman olanların sayıları ve uzman olmayanların sayıları eşitlenmesi ile birlikte grup yöntemleri benzer geçme puanları vermişlerdir.

34