Test Geliştirme.

... konulu sunumlar: "Test Geliştirme."— Sunum transkripti:

1 Test Geliştirme

2 Test Geliştirmenin Aşamaları
Testin amacının belirlenmesi Belirtke tablosu hazırlama Bilişsel, duyuşsal ve devinişsel öğrenmelerin ölçülmesi Madde yazımı Maddelerin gözden geçirilmesi (Redaksiyon) Test formunun hazırlanması Uygulama Puanlama Madde ve test istatistiklerinin belirlenmesi

3 Testin amacının belirlenmesi

4 Testlerin Öğretim Açısından Amaçları
Öğretim programını hazırlama, Öğrenme ürünlerinin, öğretimin, öğretim programının değerlendirilmesi, Öğrenmenin tanımlanması, Öğrencilerin öğrenme zorluklarının teşhisi, Öğrencilere not verme ve güdüleme,

5 Testlerin Öğretim Açısından Amaçları
Öğrenciler hakkında eğitim kararları verilmesi, Yönetsel açıdan seçme, sınıflama ve yerleştirme, Mesleki, eğitimsel ve kişisel rehberlik hizmetleri, Araştırma, Halkla ilişkiler, Dış kurumlara bilgi sağlama

6 Testin Amacının Belirlenmesi
Öğrencilerin bir konu veya alandaki yeterlilik ve yetersizliklerini belirleme ve gerekli düzeltmeleri yapma, Konu veya genel başarıyı ölçmek Belli bir seviye veya yaş grubundaki öğrenciler arasından birinciyi seçmek

7 Belirtke tablosu hazırlama

8 Belirtke Tablosu Hazırlama
Geliştirilecek testin kimlere, niçin uygulanacağı ve uygulamadan elde edilen puanların hangi amaç ya da amaçlarla kullanılacağı saptandıktan sonra, bu amaca ulaşmak için test ile hangi özelliklerin ölçüleceği açık olarak belirlenmelidir.

9 Belirtke Tablosu Hazırlamanın Yararları
Hedeflerin konu ve öğrenme alanları açısından toplam sayılarını belirleyebilme, Kapsam geçerliğini sağlayacak şekilde soru sayısı belirleyebilme, Evreni temsil etme gücü yüksek ve geçerli soruların seçebilme, Kritik davranışlara göre soru hazırlayabilme.

10 Bilişsel, duyuşsal ve devinişsel öğrenmelerin ölçülmesi

11 Davranış Alanları ve Alt Basamakları
Bilişsel Davranış Alanı Duyuşsal Davranış Alanı Devinişsel Davranış Alanı Algılama Bilgi Alma Uyarılma Kavrama Tepkide bulunma Kılavuz denetiminde yapma Uygulama Değer verme Beceri haline getirme Analiz Örgütleme Duruma uydurma Sentez Kişilik haline getirme Yaratma Değerlendirme

12 Bilişsel Öğrenmelerin Ölçülmesi
Bilişsel öğrenmeleri doğrudan gözlemek zordur. Bunun yerine öğrencilere sorulan sorular ve bu sorulara verilen cevaplarla bilişsel öğrenmeler ölçülmeye çalışılır. Bunun için doğru-yanlış, çoktan seçmeli, eşleştirme, yorum ve boşluk doldurma tipi sorular kullanılabilir. Etkili bir ölçüm yapabilmek için; değişik soru çeşitleri kullanılmalı, yazılı cevap gerektiren yoruma dayalı sorulara önem verilmelidir.

13 Bilişsel davranışları ölçmede kullanılacak sınav maddelerinin özellikleri
Öğrencilerden beklenenler açık, kolay, anlaşılır bir biçimde ve doğrudan belirtilmelidir. Soru maddelerinin geçerlik ve güvenirlikleri denenmeli ve elverişlilik dereceleri saptanmalıdır. Soruların amacı, dersin / ünitenin içeriği ve hedef davranışları ile tutarlılık göstermelidir. Öğrencilere kazandırılması hedeflenmeyen bir bilişsel davranış ölçülmeye çalışılmamalıdır. Soru maddeleri, dersin / ünitenin hedefleri doğrultusunda Bloom Taksonomisinin değişik seviyelerine göre hazırlanmalıdır. Soruların zorluk dereceleri iyi belirlenmelidir. Kolaydan zora, basitten karmaşığa bir soru dağılımı yapılmalıdır.

14 Duyuşsal Öğrenmelerin Ölçülmesi
Bireyin belli durumlar karşısında hangi tutumlar sergilediğine bakılarak kişinin duyuşsal öğrenmeleri belirlenmeye çalışılır. Uzun süreli gözlemler yapılır ve doğal ortamlarda gerçekleştirilir. Uzun süreli gözlemlerin çok fazla kullanışlı olmaması nedeniyle her konu alanı için tutum ölçekleri hazırlama yoluna gidilmektedir. Ancak tutum ölçeklerinin tamamen doğru sonuçlar vermemesi nedeniyle bu veriler sınırlı da olsa bazı gözlemlerle desteklenmelidir.

15 Devinişsel Öğrenmelerin Ölçülmesi
Yoklanacak davranışlar ne ise bireyi, o davranışları kullanacağı duruma getiren düzen ya da ortam düşünülür. Düşünülen düzen ya da ortam, bireyin her zaman aynı davranışları kullanmasını gerektiren bir düzen ya da ortam olmalıdır. Gerçekleştirilen düzen ya da ortam bilen ve bilmeyen öğrenciyi birbirinden ayırt edebilecek şekilde tasarlanmalıdır.

16 Madde yazımı

17 Test Maddelerinin Yazılmasında Nelere Dikkat Edilmelidir?
Testte kullanılacak madde tipi ölçülecek özelliğe uygun olmalıdır. Maddeler belirtke tablosunda yer alan davranışları ölçmelidir. Alt konulara göre madde sayıları, önceden saptanan ağırlığa uygun olmalıdır. Maddeler hangi ölçme araç yöntemi için hazırlanırsa hazırlansın aracın güvenirlik ve geçerliğini artırarak şekilde yazılmalıdır. Hangi ölçme araç ve yöntemi kullanılacaksa, o araç için öngörülen madde yazımı ilkelerine uyulmalıdır.

18 Test Hazırlarken Uyulması Gereken Esaslar
Her madde önemli bir davranışı ölçmelidir. Madde kökü, seçenekleri okumadan tek ve temel bir fikir vermelidir. Madde kökünde yoruma açık ifadeler bulunmamalıdır. Madde kökü açık ve basit bir dille yazılmalıdır. Mümkünse madde kökü sorunun büyük bir kısmını kapsamalıdır. Testteki her madde bir diğerine ipucu olmayacak bir problemi içermelidir. Seçenekler ifade, dil bilgisi ve konu bakımından tutarlı olmalıdır. Madde kökü ile seçenekler arasında ifade, dil biligisi, ibare birliği sağlanmalıdır. Doğru cevap seçeneği bir materyalden aynen alınmamalıdır.

19 Test Hazırlarken Uyulması Gereken Esaslar
Doğru cevapların sayısı her seçeneğe eşit sayıda dağılmalıdır. “Yukarıdakilerin hepsi”, “Hiçbiri” ifadelerinin kullanımında dikkatli olunmalıdır. Bunların ikisi aynı maddenin seçeneği olmamalı “Hiçbiri” seçeneği “En Doğru” cevabı seçtiren maddelerde kullanılmaz. Kesin bir doğru varsa “Hiçbiri” doğru cevap olabilir. Sayısal seçenekler belli bir büyüklük sırasına göre verilmelidir. Madde kökü ve seçeneklerin yazımında ergonomik esaslar dikkate alınmalıdır. Seçeneklerin ikisi ya da üçü aynı anlamda olmamalıdır.

20 Test Hazırlarken Uyulması Gereken Esaslar
Olumsuz madde formu kullanılmak durumunda ise, olumsuz ifadenin dikkat çekecek şekilde belirtilmesi uygun olur. Bunun için koyu yazım, BÜYÜK HARF ve alt çizmekle olumsuzluk belirgin hale getirilebilir. Maddenin noktalama ve yazım kurallarına uygun olarak yazılması farklı şekillerde algılanmasını önler. Bir maddenin yarısı bir, diğer yarısı ise başka sayfada olmamalıdır. Bir testte birden fazla madde tipi kullanılması halinde test içerisinde maddelerin, tiplerine göre gruplandırılması gerekir. Örneğin, bütün çoktan seçmeli maddeler bir grupta, doğru-yanlış maddeler başka bir grupta düzenlenmelidir.

21 Test Hazırlarken Uyulması Gereken Esaslar
Bir testteki seçenek sayısı cevaplayıcıların düzeyine göre ayarlanmalıdır. İlköğretim okullarının ilk kısımlarında iki ve üç seçenekli maddeler kullanılması, ikinci kısımda dört seçeneğe çıkartılması ve ortaöğretim ve daha üstünde beş seçenekli madde kullanılması daha uygundur, Doğru cevaplar seçeneklere yaklaşık olarak eşit dağıtılmalıdır. Dört seçenekli bir testi tamamen tahminle cevaplandıran bir öğrencinin alması beklenen başarı düzeyi %25 olmalıdır.

22 Çeldiriciler Çeldiriciler, bilmeyen öğrenciye ipucu vermemelidir.
Çeldiriciler konuyu bilenleri değil, bilmeyenleri yanıltmalıdır. Çeldiriciler bilgisiz cevaplayıcılara çekici gelmelidir. Çeldiricilerin uzunlukları birbirine yakın olmalıdır. Çeldiriciler madde kökündeki konuya ilgisiz olmamalıdır. Çeldiricilerin doğru cevaba yakınlığı arttıkça madde zor bir madde olur ve bilenle bilmeyeni ayırt etme gücü artar. Olumsuz özellikler ile ilgili çeldirici bulmakta zorlanıldığında, madde kökü olumsuz cümle formatı kullanılmalıdır.

23 Maddelerin gözden geçirilmesi (Redaksiyon)

24 Maddelerin Gözden Geçirilmesi (Redaksiyon)
Maddeler yazıldıktan sonra; Her bir test maddesinin ölçülmek istenen davranışı ölçüp ölçmediği, Bilimsel yönden bir yanlışı bulunup bulunmadığı, Dil yönünden anlaşılır olup olmadığı, Dilbilgisi hatası içerip içermediği, Teknik bakımdan kusurlu olup olmadığı yönlerinden bilimsel, psikometrik ve dil denetiminden geçirilmesi gerekir.

25 Maddelerin Gözden Geçirilmesi (Redaksiyon)
Soru yazarı Türk dili uzmanı Ölçme ve değerlendirme uzmanı Program geliştirme uzmanı Psikolog ve Konu alanı uzmanı bulunmalıdır.

26 Test formunun hazırlanması

27 Test Formunun Oluşturulması ve Çoğaltma
Soruların test formuna dönüştürülmesinde, cevaplamayı kolaylaştırılacak şekilde düzenleme yapılmalıdır. Soruların kolayca okunması ve cevapların yine kolayca verilmesine fırsat sağlayıcı olması gerekir.

28 Test Yönergelerinin Hazırlanması
Bir testi alan öğrencilerin testi cevaplandırırken uymaları gereken kuralları belirten açıklamalara test yönergesi adı verilir. Yönergelerde genellikle; Sınavın amacı, Soruların cevaplanma şekli, Cevapların nereye işaretleneceği ya da yazılacağı, Cevaplama için verilen süre, Şans puanı ile ilgili bir düzeltme yapılıp yapılmayacağı, Soruların puan değerleri, Madde sayısı, Seçimlik madde bulunup bulunmadığı gibi bilgilere yer verilmektedir.

29 Uygulama

30 Uygulama Sınavın bütün öğrencilere standart şekilde yapılmasına dikkat edilmelidir. Sınav anında uyulması gereken davranışlar, Sınav süresi, Soru sayısı gibi bazı bilgilerin sınav başlamadan önce herkese duyurulmalıdır.

31 Testin Uygulanması “İyi bir test uygulaması”nda amaç; bütün öğrencilerin başarılarını en üst düzeyde sergileyebilecekleri şartları sağlamaktır. Öğrenciler, sınavın uygulandığı ortam ve şartların başarıları üzerine olumsuz bir etkisinin olduğu düşüncesine kapılmamalıdır. Uzmanlar bilgilerin hatırlanmasının o bilgilerin öğrenildiği ortamda daha kolay gerçekleştiğini belirtmektedir. Bu nedenle testlerin, dersin yapıldığı sınıfta uygulanması önerilmektedir.

32 Testlerin Uygulanmasında Dikkat Edilmesi Gereken Diğer Hususlar
Öğrencilerden gelebilecek sorular için öğretmenin sınav yerinde bulunması, Öğretmenin sınav saatinden önce sınav yerine gelerek ortamı düzenlemesi, Işıklandırma, havalandırma, sıcaklık gibi fiziksel koşulların uygun hale getirilmesi, Sınav başladıktan sonra sessizliğin sağlanması ve dikkat dağıtıcı unsurların engellenmesi, Kalan sürenin zaman zaman öğrencilere hatırlatılması.

33 Puanlama

34 Testin Puanlanması Ölçme işleminde gözlenen niteliklerin sayılarla ifade edilmesine puanlama denilmektedir. Bir ölçme aracı ile elde edilen ve üzerinde herhangi bir dönüştürme işlemi yapılmamış sayılara ham puan denilmektedir. Ham puanlar daha sonra yapılacak işlem ve kararlara temel teşkil edeceğinden, puanlamanın hatasız yapılması son derece önemlidir. Güvenirliği ve geçerliği yüksek olan bir ölçme, puanlamanın hatasız yapılmasıyla yakından ilişkilidir.

35 Testin Puanlanması Ölçme işleminde kullanılan bir aracın tipi, puanlama işleminin yapılışını da belirlemektedir. Örneğin çoktan seçmeli maddeler daha objektif, yazılı testlerdeki maddeler ise daha subjektif olarak değerlendirilmektedir. Objektif testler, optik okuyucular ya da elle puanlanabilmektedir. Her ikisinde de bir cevap anahtarı kullanılmaktadır. Test uygulanmadan önce cevap anahtarının hazırlanması öğretmene, testte bulunan hataları önceden fark etme ve bu hataları zamanında düzeltme olanağı vermektedir.

36 Testin Puanlanması Objektif testlerin puanlamasında genellikle doğru cevaba “1” yanlış cevaba “0” puan verilir. Buna karşılık bazı öğretmenler, önemli gördükleri maddelere fazla puan verme eğilimi gösterebilir. İçeriğin bir kısmının diğer kısımlara göre daha önemli görülmesi durumunda, bu kısma yönelik daha fazla sorunun sorulması ve her doğru cevaba “1” puan verilmesi daha uygun olacaktır. Böylece puanlamadaki hata olasılığı en aza indirilebilir.

37 Testin Puanlanması Bazı durumlarda çoktan seçmeli testlerdeki seçenekleri ağırlıklandırma yoluna gidilebilir. Bu uygulamada doğru seçeneğe en yüksek puan verilirken, diğer seçeneklere hatanın derecesine göre farklı puanlar verilmektedir. Ağırlıklandırılmış test maddelerinin yazımı oldukça zordur ve zaman kaybına neden olmaktadır. Bu uygulamanın test sonuçlarının geçerlik ve güvenirliğine herhangi bir katkı sağlamadığı belirtilmektedir. Bu uygulamanın yazılı testlerde uygulanmasının daha işlevsel olduğu belirtilmektedir.

38 Testin Puanlanması Test puanlamada yapılan diğer bir uygulama; cevaplayıcıdan seçtiği cevaba gerekçe yazmasının istenmesidir. Yanlış cevaba iyi bir açıklama getiren öğrenci puan alırken, doğru cevabı yetersiz açıklayan öğrenci puan kaybetmektedir. Doğru cevabın şansla bulunmasının önünü kesen bu uygulama ile öğretmen anlaşılmayan soruları ayıklayabilmektedir. Bu uygulamada puanlama zaman almaktadır.

39 Testin Puanlanması Çoktan seçmeli bir test maddesinde doğru cevabın şansla (kör tahminle) işaretlenmesi mümkündür. Test puanını şans puanından arındırmak için düzeltme formülü kullanılır. S = D – [Y / (k-1)] S: Düzeltilmiş puan D: Doğru cevapların sayısı Y: Yanlış cevapların sayısı K: Her bir maddenin seçenek sayısı

40 İKİ AŞAMALI TESTLER

41 Neden İki Aşamalı Testler
Çoktan seçmeli testler, öğrencilerin muhakeme yapmasına yönelik herhangi bir içeriğe sahip olmaması, analizlerindeki zorluklar, zaman alıcı olmaları gibi çeşitli dezavantajları bulunmaktadır. Öğrencinin verdiği cevabın nedenini sorgulayamayan bir test üst düzey bilişsel becerileri (analiz, sentez ve değerlendirme) tespit edebilme yönünden de başarısızdır. Bu durum çoktan seçmeli testler için şans başarısına sahip olunması ve öğrencinin verdiği cevabı niçin verdiğinin belirlenememesi gibi dezavantajlar oluşturmaktadır. Bu gibi durumların önüne geçebilmek için iki aşamalı testler kullanılır. Çünkü iki aşamalı testlerle öğrencilerden cevap verdiği durumun gerekçesini açıklaması istenir.

42 İki Aşamalı Testler İki aşamalı testler, adından da anlaşılacağı üzere iki kısımdan oluşan testlerdir. Genellikle bu testlerin ilk kısmı bilinen çoktan seçmeli ve sınıflama gerektiren testlerle aynıdır. Yani, kök denilen bir soru maddesi ya da bilgi önermesi, onu takip eden çeşitli adette cevap seçenekleri ve bu seçenekler arasında çeldiriciler ile doğru cevap şıkkı bulunmaktadır. İki aşamalı testleri çoktan seçmeli testlerden farklı kılan onun ikinci kısmıdır. Bu bölümde, öğrencinin ilk aşamada işaretlediği seçeneği, işaretleme gerekçesini belirtmesi istenmektedir.

43 İki aşamalı testlerin türleri ve içerikleri
II. Aşama 1. Çoktan seçmeli iki aşamalı testler Çoktan seçmeli (+Açık Uçlu) 2. Sınıflama gerektiren iki aşamalı testler Doğru-yanlış 3. Açık uçlu iki aşamalı testler Açık uçlu

44 İki Aşamalı Test Nasıl Geliştirilir?

45 İki aşamalı test geliştirmek için yapılması gerekenler üç ana başlık altında toplanabilir:
İçeriğin belirlenmesi Öğrencilerin yanlış anlamaları hakkında bilgi edinilmesi Teşhis testinin geliştirilmesi

46 İçeriğin Belirlenmesi 1
İçeriğin Belirlenmesi 1. Adım: Konu ile ilgili bilgi önermelerinin belirlenmesi Bu adımda konuyla ilgili, ders kitaplarında, yardımcı kitaplarda ve müfredatta var olan bilgilere bağlı olarak çok sayıda önerme yazılır. Bu önermeler ilgili konu veya kavramın bütün yönlerini içermelidir.

47 2. Adım: Konu içeriğiyle ilgili kavram haritasının geliştirilmesi Konuyla ilgili Novak ve Gowin’in (1984) ifade ettiği şekilde, bütün kavramlar ve onların birbirleriyle ilişkilerini gösteren kapsamlı bir kavram haritası hazırlanır.

48 3. Adım: Bilgi önermelerinin kavram haritalarıyla ilişkilendirilip, haritaya dahil edilmesi Kavram haritası ve bilgi önermeleri birbiriyle doğrudan ilişkilidir. Bu nedenle, bu iki yapının birbiriyle örtüşmesi, hazırlanacak testin iç tutarlığı için bir nevi kontrol mekanizması görevi görür.

49 4. Adım: Kapsam geçerliğinin sağlanması, Bu aşamada bilgi önermeleri ve hazırlanan kavram haritası fen eğitimcileri, alan uzmanları ve ders öğretmenlerinden oluşan bir komisyona gösterilerek düzensizlikler ya da çelişkilerden ayıklanır, önermelerin bilimsel doğruluğu kanıtlanır, kavram haritası ve bilgi önermeleri yeniden düzenlenir. Yapılan bu incelemelerle konuyla ve kavramlarla doğrudan ilişkili olmayan önermeler çıkarılıp, listede yer almayan önerme ve kavramlar eklenerek kapsam geçerliği sağlanmış olur.

50 Öğrencilerin Yanlış Anlamaları Hakkında Bilgi Edinilmesi 5
Öğrencilerin Yanlış Anlamaları Hakkında Bilgi Edinilmesi 5. Adım: İlgili literatürün incelenmesi Bu adımda konuyla ilgili literatür incelenerek öğrencilerde var olan kavram yanılgılarının belirlenmesi sağlanır. Yapılan incelemeden elde edilen veriler, hem testin geliştirilmesinde hem de bir sonraki adımda yürütülecek yarı yapılandırılmış ya da yapılandırılmamış mülakat sorularının oluşturulmasında kullanılır.

51 6. Adım: Yapılandırılmamış öğrenci mülakatlarının gerçekleştirilmesi Bu adımda öğrenci anlamaları hakkında kapsamlı bir bakış açısı kazanmak ve spesifik öğrenci kavramlarını belirlemek için konu veya kavramların işlendiği öğrencilerle yapılandırılmamış mülakatlar yapılmalıdır. Yapılan bu mülakatların teyp yardımıyla kaydedilmesi daha sağlıklı sonuçların elde edilmesini sağlayabilir. Bu aşamada öğrencilerdeki yaygın kavram yanılgılarını ortaya çıkarmak için açık uçlu sorularından oluşan bir test de kullanılabilir.

52 7. Adım: Gerekçe kısmı açık uçlu olan çoktan seçmeli test maddelerinin geliştirilmesi
Yapılan literatür taramasının, yapılandırılmamış mülakatların ve/veya uygulanan açık uçlu soruların analizleri sonucunda tespit edilen yaygın ve spesifik kavram yanılgılarından çoktan seçmeli sorular ve çeldiriciler geliştirilir. Konuyla ilgili çoktan seçmeli sorular, rastlanan yanılgıları ortaya çıkarmak amacıyla, her bir soruya bir kısım önermenin yerleştirilmesiyle oluşturulur. Ayrıca çeldirici seçeneklerine o önerme ile ilgili rastlanan yaygın yanılgılar yerleştirilir. Her bir çoktan seçmeli sorudan sonra “çünkü” veya “sebebini açıklayınız” şeklinde bir ifade yazılarak öğrencilerin seçtikleri şıkkın gerekçelerini vermeleri için bir boşluk bırakılır. Daha sonra test bu haliyle öğrencilere dağıtılır.

53 Teşhis Testinin Geliştirilmesi
8. Adım: İki aşamalı teşhis testinin geliştirilmesi Gerekçe kısmının açık uçlu yapıda olduğu testlerin uygulanması sonucu belirlenen öğrenci açıklamalarından da yararlanılarak testin ikinci aşaması da çoktan seçmeli olarak düzenlenir. İkinci aşamadaki her bir gerekçe seçeneği, doğru cevap yanında, öğrencilerin sahip oldukları yaygın kavram yanılgılarını içermelidir. Yapılan çalışmanın amacına ve öğrencilerde bulunma yüzdelerine bağlı olarak, gerekçe şıklarının sayısı değiştirilebilmekle birlikte çoğu araştırmada 4-5 gerekçeye yer verilmektedir. Öğrencilerin testin ikinci aşamasında verilen seçeneklerden daha farklı düşüncelerini belirtmeleri için ayrıca boş bir seçenek bırakılması tavsiye edilmektedir.

54 9. Adım: Belirtke tablosunun oluşturulması Geliştirilen iki aşamalı testi oluşturan soruların her birinin hangi bilgi önermelerini ve kavram haritasındaki hangi kavramları içerdiğini gösteren bir belirtke tablosu oluşturulması gerekir. Böylece açıkta kalan bilgi önermeleri veya kavramların olup olmadığı ve sorular içine düzenli bir şekilde dağıtılıp dağıtılmadıkları kontrol edilmiş olur.

55 10. Adım: Düzenlemelerin devam ettirilmesi Bu haliyle geliştirilen test spesifik ve yaygın kavram yanılgılarının belirlenmesi için kullanılmadan önce fen eğitimcilerine, alan uzmanlarına ve branş öğretmenlerine incelettirilip, pilot çalışmanın uygulanmasına geçilir. Yapılan pilot çalışmayla testin madde analizi gerçekleştirilip güvenirliği hesaplanır. Elde edilen bu sonuçlardan yararlanılarak test üzerinde gerekli düzenlemeler yapılır. Son hali verilen test farklı gruplara uygulanarak sürekli geliştirilir ve herkesin kullanımı için standart bir hale dönüştürülür.

56 Yrd. Doç. Dr. Mustafa ÇAKIR
Örnek Çalışma İKİ AŞAMALI GENETİK KAVRAMLAR TANI TESTİ GELİŞTİRME VE GEÇERLİK ÇALIŞMASI Yrd. Doç. Dr. Mustafa ÇAKIR Begüm ALDEMİR Marmara Üniversitesi Atatürk Eğitim Fakültesi Ortaöğretim Fen ve Matematik Alanları Eğitimi Bölümü Mustafa Kemal Üniversitesi Sosyal Bilimler Enstitüsü Dergisi Yıl: Cilt: 8 Sayı: 16, s

57 Çalışmanın Amacı Bu çalışmanın amacı üniversite ve başarılı lise sınıflarında kullanılmak üzere iki aşamalı genetik kavram tanı testi (GKTT) geliştirmek ve bu testin geçerlik ve güvenirlik çalışmasını yapmaktır.

58 Test Geliştirme Süreci

59 Test Geliştirme Süreci 1.Konu İçeriğinin Saptanması
Önerme Cümlelerinin Belirlenmesi; Bu araştırmada toplam 27 önerme cümlesi kullanılmıştır.Test maddeleri ile önerme cümlelerinin ilişkisi ve soruların Bloom taksonomisine göre bilişsel seviyeleri tablo ’da verilmiştir.

60 Kavram Haritasının Geliştirilmesi Kavram haritası geliştirilecek olan testin içeriğinin belirlenmesine kılavuzluk yapması amacıyla oluşturmuştur. İki aşamalı test geliştirme sürecinde kavram haritası, araştırmacıya etraflı düşünme ve konunun doğasını anlama fırsatı verir. Yukarıdaki gerekçeyle araştırmada kavram haritası geliştirilmiştir. Fakat araştırmada kavram haritası örneğine yer verilmemiştir.

61 2.Öğrencilerin Mevcut Kavram Yanılgılarının Belirlenmesi
Öğretmen adaylarında, alan yazın araştırmaları, yapılandırılmamış mülakatlar ve açık uçlu sorular yardımıyla belirlenen kavram yanılgıları ise yapılandırılan Genetik Kavramlar Tanı Testi’ne (GKTT) kaynaklık etmiştir. Öncelikle gerekçe kısmı açık uçlu formda hazırlanan çoktan seçmeli sorulara, tespit edilmiş yaygın ve belirli kavram yanılgılarından yararlanılarak, gerekçe bildiren ve çünkü şeklinde ifade edilen ikinci aşamalar eklenmiştir.

62 3. Tanı Testinin Geliştirilmesi
İki aşamalı Teşhis Testinin Geliştirilmesi Genetik öğrenme ile ilgili literatür taramasının ve yapılandırılmış mülakatların analizleri sonucunda tespit edilen kavram yanılgılarından yararlanılarak gerekçe kısmı açık uçlu olan çoktan seçmeli sorular ve çeldiriciler geliştirilmiştir. Daha sonra çoktan seçmeli test maddesine literatürde tespit edilmiş yaygın ve spesifik kavram yanılgılarından yararlanılarak, gerekçe bildiren ve çünkü şeklinde ifade edilen ikinci aşamalar eklenmiştir.

63 Belirtke Tablosunun Oluşturulması

64 Düzenlemenin Devam Ettirilmesi
Geliştirilen test taslağı uygulamadan önce konu alanı uzmanı hocalar tarafından kontrol edilmiştir. Atatürk Eğitim Fakültesi tezsiz yüksek lisans bölümünde öğrenim görmekte olan 44 öğretmen adayı ile yapılan pilot çalışma verileri (16 maddeden oluşan testin ilk formu) üzerinde madde analizi gerçekleştirilerek, testin güvenirliği hesaplanmıştır. Elde edilen bu sonuçlardan hareketle test üzerinde gerekli düzenlemelere gidilerek, 6, 8, 14 ve 16 numaralı maddeler testten çıkarılmıştır. Genetik Kavram Tanı Testi son şekliyle 12 iki aşamalı maddeden oluşmuştur.

65 Örnek Soru

66 Üç Aşamalı Testler Çoktan seçmeli testlerde öğrencinin cevabı bilerek mi yoksa tahmin ederek mi seçtiğinin tam anlaşılmaması nedeniyle, çoktan seçmeli testlere alternatif test olarak üç aşamalı testler geliştirilmiştir. Üç aşamalı test tekniği de öğrencilerin kavramsal düzeylerini belirlemede kullanılan araçlardan biridir. Bu teknikte sorular üç aşamadan oluşur. Birinci aşamada normal çoktan seçmeli sorular sorulduktan sonra, ikinci aşamada birinci kısımda verilen seçeneklere göre her bir cevabın nedenini belirten bir seçenek yer alır. Üçüncü aşamada ise verdikleri cevaptan ne kadar emin oldukları sorulur. Üç aşamalı testlerin geliştirilmesinde de iki aşamalı testlerin geliştirilmesinde izlenen yöntem kullanılır ve iki aşamalı test geliştirme adımlarına ilave olarak öğrencilere verdikleri yanıttan ne kadar emin oldukları sorulur.

67 Üç aşamalı testlere bir örnek verecek olursak;
1."Boş bir odanın tavanına ipler ve iplerin ucuna da çanlar asılmıştır. Bu oda da uçan bir yarasanın, hiçbir ipe ve çana çarpmadığı, bu yüzden de çanlardan hiç ses çıkmadığı gözlenmiştir." І. Sesin yüksekliği ІІ. Sesin yankısı ІІІ. Sesin şiddeti ІV. Sesin tınısı Yapılan bu gözlem, yarasanın hiçbir yere çarpmadan uçabilmesi için yukarıda verilen ifadelerin hangisinden yararlandığını gösterir ? a) І b) ІІ c) ІІІ d) ІV 2.Bir önceki soruda seçtiğiniz cevabın nedeni aşağıdakilerden hangisidir ? a) Yarasaların gözleri görmediği için, sesin şiddetinden yararlanırlar. b) Çanların birbirine çarpmasıyla oluşan tını, yarasaların yollarını bulmasını sağlar. c) Yarasalar, çıkardıkları seslerle zillere yaklaşıp yaklaşmadıklarını sesin yüksekliği ile algılarlar. d) Yarasalar önlerindeki nesneyi, çıkardıkları sesin o nesneye çarpıp geri dönmesi ile e) Bunların dışında;…………………………………………………………………………………………………. 3. Bir önceki soruda verdiğiniz cevaptan ne kadar eminsiniz ? a) Eminim b) Emin değilim c) Tahmin ettim

68 İki aşamalı ve üç aşamalı testlerin en büyük ortak avantajı, öğrencilerin anlamalarını ve varsa kavram yanılgılarını tespit etmeye imkan sağlamasıdır. Bu testlerin öğretmen ve araştırmacıların kullanımları açısından bir diğer olumlu yönü ise şekillendirici (formative) ve tamamlayıcı (summative) değerlendirmeye elverişli oluşudur. Bu yönüyle test, konu işlendikten hemen sonra öğrencilere dağıtılarak onların anlama düzeyleri belirlenebilir ve böylelikle yeni düzenlemelere gidilebilir. Ya da testler sayesinde ders esnasında öğrenme ve öğretme amacıyla kullanılan yöntem ve tekniklerin etkililiği araştırılabilir. Ayrıca bu tip testler konu sonunda verilebileceği gibi ders işlenişi esnasında dağıtılıp öğrencilerden 3-4’ lü gruplar halinde soruların gerekçeleri üzerinde tartışmaları istenerek kendi bilgilerini yapılandırmaları sağlanabilir.

69 Madde ve test istatistiklerinin belirlenmesi

70 Madde Analizi İle Test Maddelerinin Geliştirilmesi
Öğrenci cevaplarının incelenmesiyle test maddelerinin kalitesi hakkında karar verme işlemine madde analizi denir. Madde analizi sonuçları; Yüksek ve düşük başarılı öğrenciler arasında en iyi ayırımı yapabilen, İstenen güçlük düzeyine sahip maddelerin seçiminde kullanılır.

71 Nihai Teste Madde Seçimi
Ön uygulama sonuçlarına dayalı olarak hesaplanan madde istatistikleri arasından istendik test özelliklerine sahip olan maddelerin seçimi yapılır. Madde seçiminde daha çok, Güçlük indeksi (p) Ayırıcılık gücü indeksi (d) dikkate alınır.

72 Madde Analizi İle Test Maddelerinin Geliştirilmesi
Madde analizi ile ilgili veriler, test sonuçlarının sınıfta etkili bir şekilde tartışılması için uygun bir zemin oluşturur. Madde analizi verileri, öğrencilerin zayıf yönlerinin iyileştirilmesi çalışmalarına katkı yapar. Madde analizi verileri, öğretim sürecinin iyileştirilmesi için bir zemin oluşturur. Madde analiz işlemleri, test oluşturma becerisini geliştirebilir.

73 Objektif (Nesnel) Testler İçin Madde Analizi
Madde analizinde izlenecek basamaklar: Geliştirilecek test bir öğrenci grubuna uygulanır. Bütün öğrencilerin cevap kağıtları puanlandırılır. Cevap kağıtları en yüksek puanlıdan en düşük puanlıya doğru sıralanır. Üst grup (en yüksek puan alan %27’lik dilim) ve alt grup (en düşük puan alan %27’lik dilim) belirlenir. Öğrenci sayısı az ise %50 - %50 şeklinde üst ve alt gruplar belirlenir. Bir tablo hazırlanarak testin her bir maddesi için öğrencilerin cevaplandırma sıklıkları belirlenir.

74 Objektif (Nesnel) Testler İçin Madde Analizi
Madde analizinde izlenecek basamaklar: Testteki bütün maddeler için “madde güçlük indeksi (p)” ve “madde ayırtedicilik indeksi (d)” hesaplanır. p (Madde Güçlüğü) d (Ayırt Etme İndeksi) p = (Dü +Da ) / 2n d = (Dü - Da ) / n p: Madde güçlüğü d: Ayırt etme indeksi Dü: Üst grupta soruya doğru cevap veren öğrenci sayısı Da: Alt grupta soruya doğru cevap veren öğrenci sayısı nü = na: Üst ve alt gruptaki öğrenci sayısı 7. Her bir maddenin işlerliği belirlenir.

75 Objektif (Nesnel) Testler İçin Madde Analizi
Maddenin Güçlük İndeksi (p) Üst ve alt gruplarda maddeyi doğru cevaplayan öğrencilerin toplam sayısının, gruplardaki toplam öğrenci sayısına oranıdır. Maddenin güçlük indeksi, her maddenin doğru cevaplanma oranını gösterir. p değeri 0,0 ile 1,0 arasında değişebilir. Değer sıfıra yakınsa madde zor, bire yakınsa madde kolaydır. Genelde madde güçlük indeksinin 0,50 civarında olması arzu edilir.

76 Nesnel Testler İçin Madde Analizi
Madde Ayırtedicilik İndeksi (d) Bir maddenin, başarı düzeyi yüksek öğrencilerle başarı düzeyi düşük öğrencileri ayırt etme derecesidir. Ayırtedicilik indeksi hesaplanarak, ilgili maddenin başarılı ve başarısız öğrencileri birbirinden ayırt edip edemediği belirlenmiş olur. Beklenti; bir maddenin başarılı öğrenciler tarafından yüksek oranda, başarısız öğrenciler tarafından düşük oranda cevaplandırılmasıdır.

77 Nesnel Testler İçin Madde Analizi
Madde Ayırtedicilik İndeksi (d) Madde ayırtedicilik indeksi -1,0 ile +1,0 arasında değişir. İndeksin 0,0’a yaklaşması; maddenin ayırtediciliğinin düşük olduğunu; +1,0’a yaklaşması ayırtediciliğinin yüksek olduğunu gösterir. İndeksin negatif değer alması maddenin alt gruptaki öğrenciler tarafından daha yüksek oranda cevaplandırıldığını gösterir. Bu tür maddeler testten çıkarılır. Maddenin ayırt etme indeksi 0,19 ve altında olduğunda test maddesinin düzeltilmesi ya da testten çıkarılması gereklidir. Ayırt etme indeksi 0,40 ve üzerinde hesaplanan maddeler ise “çok iyi” olarak nitelendirilir.

78 Madde Varyansı ve Madde Standart Sapması
Test ve maddeden elde edilen sonuçların güvenirliklerinin kestirilmesinde kullanılan istatistiklerdir. Madde varyansı (sj2); bir maddenin güçlük indeksi (p) ile güçlük indeksinin tersinin (q=1-p) çarpımı ile hesaplanır (sj2 = p*q) Maddenin standart sapması (sj); o maddenin varyansının karekökü alınarak hesaplanır.

79 Madde Güvenirlik Katsayısı (rj)
Madde güvenirlik katsayısı; madde ayırt edicilik indeksi ve madde standart sapmasına bağlı olarak değişir. Madde ayırtedicilik indeksi ve madde standart sapması büyüdükçe, madde güvenirlik indeksi büyür. Bir testin maddelerinin güvenirliği arttıkça, testin bütününün güvenirliği de artar. Dolayısıyla güvenilir bir test oluşturmak için; ayırt edici ve standart sapması büyük maddeler seçilmelidir.

80 Yazılı Yoklamalar İçin Madde Analizi
Madde analizi genellikle objektif (nesnel) testler için ve özellikle çoktan seçmeliler için uygulanmaktadır. Ancak yazılı testlerdeki maddeler için de güçlük ve ayırtedicilik indeksi hesaplanabilir. Yazılı yoklamaların madde analizinde objektif testler için izlenen işlem basamakları izlenir.

81 Yazılı Yoklamalar İçin Madde Analizi

82 KAYNAKÇA Aldemir, B. &Çakır, M.(2011).İki Aşamalı Genetik Kavramlar Tanı Testi Geliştirme Ve Geçerlilik Çalışması. Mustafa Kemal Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 8(16), Karataş, F., Köse, S. &Coştu, B.(2003). Öğrenci Yanılgıları ve Anlama Düzeylerini Belirlemede Kullanılan İki Aşamalı Testler. Pamukkale Üniversitesi Dergisi,Sayı:13,54-69. Efe, S. (2007). Üç Aşamalı Soru Tipi Geliştirilerek İlköğretim 5. Sınıf Öğrencilerinin Ses Konusundaki Kavram Yanılgılarının Belirlenmesi, Yüksek Lisans Tezi, Balıkesir Üniversitesi, Fen Bilimleri Enstitüsü, Balıkesir.