Ölçme ve değerlendirme ölçme aracI GELİŞTİRME: ÇOKTAN SEÇMELİ TESTLER

... konulu sunumlar: "Ölçme ve değerlendirme ölçme aracI GELİŞTİRME: ÇOKTAN SEÇMELİ TESTLER"— Sunum transkripti:

1 Ölçme ve değerlendirme ölçme aracI GELİŞTİRME: ÇOKTAN SEÇMELİ TESTLER
BAŞAKLAR GRUBU REYHAN TANIN KORKMAZ BÜŞRA NUR YILMAZ

2 BAŞKA ÇALIŞMALAR; Çalıştığımız konu ders içerikli olduğu için yüzlerce kaynak ve çalışma mevcuttur.
Eğitimde ölçme ve değerlendirme dersinin birinci ünitesi olan ölçme ve değerlendirme ile ilgili temel kavramlar ve ikinci ünitesi olan ölçme araçlarının temel özellikleri: geçerlik,güvenirlik ve kullanışlık konularının anlaşılıp anlaşılmadığını ölçmeye yönelik kapsam geçerliliği olan test maddeleri oluşturuldu. Amaç; hedeflenen davranış veya kazanıma ulaşanla hiç ulaşmayanı ayırt etme olduğundan çeldirici seçenekler konuya hakim olanları değil,o konuda yeterli bilgisi olmayanların doğru yanıta ulaşmasına engel olmalı. Bu testin uygulanmasıyla birlikte konuların iyice kavranılıp buna benzer bir sınavda daha yüksek başarı elde edilmesi. Testin kapsamı ; ölçme ve değerlendirme dersinin Ünite 1 ve Ünite 2 konuları.

3 YÖNTEM ÖRNEKLEM: VERİ TOPLAMA SÜRECİ:
Üniversitemizin 3.sınıf psikoloji öğrencilerinden oluşan 32 kişiyi kapsamaktadır. VERİ TOPLAMA SÜRECİ: Hazırladığımız 40 soruluk ölçme aracı çoklu oturumlarla öğrencilere uygulanmıştır. Kağıt üzerinden gruba uygulatılmıştır. Ölçme aracını ilk bitiren öğrencinin süresi : 15 dakika. Son bitiren öğrencinin süresi ise 20 dakika olarak not edilmiştir.

4 Veri Toplama Aracı Testin ideal formu : Başarı testi ve puanlama bakımından objektif bir testtir. Testin birden fazla formu geliştirilebilir. Testi uygulama ve değerlendirme aşamasında testi kullananlara eğitime ihtiyaç yoktur. Testin uygulanması; ölçme ve değerlendirme dersinden kaygı duyan psikoloji 3.sınıf öğrencilerine yarar sağlayacaktır. Test sonuçları kümülatif puanlama ile yorumlanacaktır ve SPSS programı kullanılacaktır. Anlaşılan konular, üniteler ile ilgili kazanımlar, anlaşılmayan konular,karıştırılan kavramlar. Doğru cevaplanan maddelere 1, yanlış cevaplanan boş bırakılan veya birden fazla cevap verilen maddelere 0 puan verilerek puanlama işlemini tamamlamaktır.

5 Veri toplama aracı geliştirme evrelerimiz:
ÖLÇEKLEME Madde yazımıseçmeli cevap formatıçoktan seçmeli ÇOKTAN SEÇMELİ TEST YAPISI: MADDE KÖKÜ TEST MADDESİ SEÇENEKLER ÇELDİRİCİLER ANAHTARLANMIŞ DOĞRU YANIT

6 Örnek soru : Bir matematik öğretmeni, değerlendirme sürecinde öğrencilerin eleştirel düşünme düzeylerini de…. Verilen bilgilere göre , öğretmenin eleştirel düşünme düzeylerini değerlendirme sürecine katılabilmesi için yapması gereken ilk işlem aşağıdakilerden hangisidir? A)Ölçme yapma B)Ölçüt saptama C)Karşılaştırma D)Karar verme E)Ölçek geliştirme DOĞRU CEVAP M K A Ö D K D Ü E T E S M A D İ S E Ç N K L R ÇELDİRİCİLER

7 Ölçekleme aşamasından sonra; ünitelerin konularını kapsayan Belirtke Tablosu hazırlanmıştır. (EKTE). Soruların sorulacağı ilk 2 ünitenin konularının kazanımları ve bu kazanımlardan oluşturulacak soru adedi belirtilmiştir. 40 soru olarak belirlenmiştir. Süre 20 dakikadır. Her doğru cevap için 1 puan , yanlış cevap için 0 puan olarak belirlenmiştir. Sorular hazırlanırken çoktan seçmeli testlerin sınıflandırılması da dikkate alınmıştır. 1)DOĞRU CEVABA GÖRE SINIFLANDIRMAK 2)MADDE KÖKÜNE GÖRE SINIFLAMA 3)MADDELERİN GRUPLANIŞINA GÖRE SINIFLAMA Çok sayıda ölçme ve değerlendirme ders kitapları, KPSS kitapları ölçme ve değerlendirme bölümleri ve en başta ders slaytları incelenerek soru yapıları,çeşitleri oluşturulmuştur.

8 Çoktan seçmeli test hazırlama, test geliştirme aşamalarından pilot uygulama kısmını kapsamadığı için pilot uygulama yapılmamıştır.

9 VERİ ANALİZİ 1) Basit Yöntem ile Madde Analizi MADDE
İlk olarak bütün öğrencilerin cevapları puanlandı, cevap kağıtlarının üzerine yazıldı ve en yüksek puandan en düşük puana doğru sıralandı. Öğrenci sayımız 32 kişi olduğu için % 50’si ( ilk 16 kişi ) üst grup % 50’si (son 16 kişi) alt grup olarak kodlanmıştır. MADDE Doğru cevaplayan öğrenci sayısı Yanlış cevaplayan öğrenci sayısı Boş 1 Üst grup Alt grup 13 12 3 4 - 2 7 9 14

10 4 Üst grup Alt grup 13 10 3 5 - 16 12 6 11 7 9 8 15 1

11 14 Üst grup Alt grup 5 2 11 - 15 16 13 3 17 1 18 12 4 19 20 9 6 7 10 21 22 23

12 24 Üst grup Alt grup 15 11 1 5 - 25 10 8 6 26 3 13 16 27 2 14 28 29 9 7 30 31 32 33 12 4

13 34 Üst grup Alt grup 8 - 35 15 6 1 10 36 16 37 7 9 38 14 2 39 13 4 3 12 40

14 Elde ettiğimiz bu verilerle
1) Madde Güçlük İndeksi (p) 2) Madde ayırıcılık gücü indeksi (d) bulunur. Madde güçlük indeksi (p) Maddeyi üst grupta doğru cevaplayan sayısı + Maddeyi alt grupta doğru cevaplayan sayısı/ üst grup öğrenci sayısı + alt gruptaki öğrenci sayısı Maddenin Zorluk Gücü İndeksi Maddenin Değerlendirmesi 0,29 ve Altında Bulunan Maddeler Zor 0,30 ve 0,49 Arasında Bulunan Maddeler Orta Güçlükte 0,50 ve 0,69 Arasında Bulunan Maddeler Kolay 0,70 ve 1,00 Arasında Bulunan Maddeler Çok Kolay

15 GENELİN GÜÇLÜK DERECESİ İSE
%15 ÇOK KOLAY 6 SORU %35 KOLAY 14 SORU ORTA GÜÇLÜK ÇOK ZOR

16 2) Madde ayırıcılık indeksi (d)
Maddeyi üst grupta doğru cevaplayan sayısı - Maddeyi alt grupta doğru cevaplayan sayısı/ Grupların herhangi birisindeki öğrenci sayısı Maddenin Ayırıcılık Gücü İndeksi Maddenin Değerlendirmesi 0,40 ve daha büyük Çok İyi Bir Madde, Teste Alınır. 0,30-0,39 Oldukça İyi Madde, Teste Alınır. 0,20-0,29 Düzeltilmesi ve Geliştirilmesi Gereken Bir Madde , Ancak Düzeltilerek Teste Alınabilir. 0,19 ve daha büyük Çok Zayıf Madde , Düzeltilip Geliştirilemiyorsa Kesinlikle Testten Çıkarılmalı, Testten çıkarılır.

17 SORULAR GÜÇLÜK (p) AYIRT EDİCİLİK (d) 1 0,79 0,06 2 0,32 0,25 3 0,82 0,12 4 0,72 0,20 5 0,87 6 0,5 0,37 7 0,56 8 0,75 9 0,97 - 0,06 10 11 0,28 12 -0,06 13 14 0,59 15 16 0,84 0.06 17

18 18 0,87 0,15 19 0,78 0,06 20 0,47 0,20 21 0,16 - 0.06 22 0,34 23 0,43 0,25 24 0,81 25 0,56 0,12 26 0,09 27 28 0,72 0,44 29 0,65 30 31 32 0,62 33 34 0,5 35 0,66

19 36 0,75 0,50 37 0,41 0,06 38 0,93 0,25 39 0,53 0,56 40 0,81 0,12

20 Geçerlik-güvenirlik GÜVENİRLİK Cronbach's Alpha N of Items ,664 40
SPSS programında yapılan analize göre; Analyze Scale  Reliability Analysis kısmından gelen tabloya 40 maddeyi eklediğimiz zaman çıkan sonuç : Reliability Statistics Scale Statistics Cronbach's Alpha N of Items ,664 40 Mean Variance Std. Deviation N of Items 25,47 20,967 4,579 40

21 EĞER; 0.00 < a <0.40 İSE ÖLÇEK GÜVENİLİR DEĞİL. 0.40 < a < İSE ÖLÇEK DÜŞÜK GÜVENİLİRLİKTE 0.60 < a < 0.80 İSE ÖLÇEK OLDUKÇA GÜVENİLİR 0.80 < a < İSE ÖLÇEK YÜKSEK GÜVENİLİRLİKTE  Bu koşullara göre ölçeğimiz ,664 değeriyle oldukça güvenilir bir ölçek .

22 GEÇERLİK Kapsam Geçerliği
Belirtke tablosu kapsam geçerliğini destekler yapıdadır. Görünüş Geçerliği Ölçme ve Değerlendirme Hocamız Yrd.Dç.Meryem Yılmaz Soylu tarafından onay bekliyoruz.

23 SONUÇLAR,Bulgular,değerlendirme
Öncelikle ayırt edicilik , güçlülük, ve belirtke tablosundaki kazanımlar kriter olarak kabul edilerek bu ölçüm sonuçları değerlendirmeye alınarak 40 soruluk ölçeğimiz SPSS analizinin kolaylığı bilinmeksizin kendi çabalarımızla 20 soruya düşürülmüştür.  Aldığımız soru numaraları: 2,6,7,14,16,18,23,26,28,29,30,31,33,35,37,39 Daha sonra SPSS yardımıyla 40 sorumuzun güvenirlik katsayısı hesaplanmıştır ve ,664 bulunmuştur. 20 sorumuzun güvenirliği hesaplandığında ise ilk başta güvenirlik ,557 çıktı ve baştaki duruma göre daha düşüktü. Daha sonra tablo incelendiğinde hangi sorular çıkarıldığında güvenirliğin düştüğünü ve yükseldiği tespit edildi ve uğraşlar sonucu 37. soru yerine 8. soru alınarak başarı sağlanıldı. Güvenirlik ,685 e çıkarıldı.

24 Reliability Statistics
Cronbach's Alpha N of Items ,685 20

25 Bu şekilde 20 soru son hali oluşturuldu.
Belirtke tablosu ( EKTE) Güvenilirliğini yüksek tutmak için ilk başta planladığımız kazanımlarda ufak değişiklikler yapılmıştır. Ancak kapsam geçerliliğinde dikkate değer bir değişiklik olmamıştır.

26 ÖNERİLER Çoktan seçmeli ölçme aracı geliştirme oldukça kapsamlı bir süreç gerektirir. Geçerliliği ve güvenirliği yüksek bir test hazırlamak için öncelikle tüm kazanımların gösterildiği bir belirtke tablosu hazırlanması şarttır. Daha sonra kazanımlar doğrultusunda hazırlanması planlanan test maddesinin iki katı madde oluşturulması ve uygulanması daha sonra yapılacak madde güçlüğü ve ayırt edicilik hesaplamaları sonucu öngörülen maddelerin çıkarılabilmesi açısından önemlidir.

27 KAYNAKÇA Küçük,M. ve Geçit, Y. ( 2012).Eğitimde Ölçme ve Değerlendirme. Ankara:Nobel Atılgan,H. ve Kan, A. ve Doğan, N.( 2011).Eğitimde Ölçme ve Değerlendirme. Ankara:Anı 2005 KPSS Eğitim Bilimleri Konu Anlatımlı Temel Kaynak.(2005).Ankara Karacan Yrd.Doc.Dr.Meryem YILMAZ SOYLU( ).Ölçme ve Değerlendirme dersi notları.