Sunum yükleniyor. Lütfen bekleyiniz

Sunum yükleniyor. Lütfen bekleyiniz

ADEM YILMAZ 087126002 İSMAİL BAL 087126016 Fen Eğitimi Araştırmalarında Ölçme Verilerinin Analizi - I.

Benzer bir sunumlar


... konulu sunumlar: "ADEM YILMAZ 087126002 İSMAİL BAL 087126016 Fen Eğitimi Araştırmalarında Ölçme Verilerinin Analizi - I."— Sunum transkripti:

1 ADEM YILMAZ İSMAİL BAL Fen Eğitimi Araştırmalarında Ölçme Verilerinin Analizi - I

2 İNDEX  TEST MADDELERİ VE ÇEŞİTLERİ  BELİRTKE TABLOSU  MADDE AYIRT EDİCİLİK İNDEKSİ  GÜVENİRLİK VE GEÇERLİK  MADDE GÜÇLÜK İNDEKSİ

3 Belirtke Tablosu  Bir eğitim programında yer alan hedef ve hedef davranışlarla, program içeriğinin iki boyutlu bir çizelge üzerinde gösterilmesine belirtke tablosu, diğer bir tanımla Hedef-İçerik Çizelgesi adı verilmektedir (Demirel, 2006: 131).  Belirtke tablolarının hazırlanmasındaki temel amaç daha önceden belirlenmiş olan hedef davranışları öğretebilmek için uygun içeriğin hangi bilişsel alan basamağında hangi düzeyde kullanılabileceğini görmektir.  Kapsam geçerliliğinin tespit edilmesinde; testi oluşturan davranışların iyi belirlenmesi için belirtke tablosunun hazırlması uygun görülmektedir. (Bloom, Hasting ve Madaus :1971)

4 Belirtke Tablosu  Belirtke tablosunun oluşturulmasında bir takım aşamalar bulunmaktadır. Bunlar: Öğretim hedeflerini belirleme Ders içeriğini belirleme İki boyutlu çizelgeyi hazırlamadır.

5 Belirtke Tablosu Hedef-içerik çizelgesi hazırlanırken genelde üst tarafta yer alan yatay boyuta önce hedefler ve bu hedefleri gerçekleştirici davranışlar yazılır. Dikey boyuta da içerik yazılır. İçerik boyutuna konu, ünite ve yıllık ders programında yer alan konu başlıkları ile alt başlıklar yazılır. Programın hedef-içerik ilişkisini kurmak için ilgili davranışlarla konu başlıklarının kesiştiği yere çarpı (x) işareti konulur.

6 Belirtke Tablosu Bu çarpı konulan yerler eğitim ihtiyacı bakımından önemli davranışları, boş bırakılan yerlerde önemsizleri işaret etmektedir. Bu şekilde hem öğrenme yaşantılarının seçimi, hem de ölçme aracı için uygun test maddelerinin geliştirilmesi sağlanmış olur. Hedef-içerik çizelgesi, her konu alanı için hazırlanmalıdır. Bu çizelgeler, yıllık ve ünite bazında hazırlanacağı gibi her öğrenim birimi için ayrı bir çizelge de geliştirilebilir (Ertürk, 1982: 62)

7 Belirtke Tablosu 1.Her sınav öncesi o sınava ait bir belirtke tablosu oluşturulmalıdır. 2.Belirtke tablosuna her konu ayrı ayrı yazılmalıdır. 3.Konulara eşit bir şekilde soru sayıları tespit edilmelidir. 4.Belirtke tablosunda belirlenen kazanım sayılarına göre sorular hazırlanır. 5.Belirtke tablosuna göre tespit edilen sorular fazla ise kritik sorular seçilmelidir.

8 Değerle ndirme Sentez Analiz Uygulama Kavrama Bilgi BİLİŞSEL ALAN BASAMAKLARI

9 BELİRTKE TABLOSU TEST 1SORU SAYISIBİLGİKAVRAMAUYGULAMAANALİZSENTEZDEĞERLENDİRME TÜRKÇE TARİH COĞRAFYA FELSEFE MATEMATİK GEOMETRİ FİZİK KİMYA BİYOLOJİ TOPLAM

10 BELİRTKE TABLOSU TEST 2SORU SAYISIBİLGİKAVRAMAUYGULAMAANALİZSENTEZDEĞERLENDİRME EDEBİYAT COĞRAFYA PSİKOLOJİ TARİH SOSYOLOJİ MANTIK MATEMATİK GEOMETRİ FİZİK KİMYA BİYOLOJİ TOPLAM

11 HEDEFLER HEDEFLERKONULARKavramlar Bilgisi BilgisiSınıflamaBilgisi Kümeler İle İlgili İlkeler Bilgisi İlkeleriKavramaUygulama Küme ve ElemanKavramıX KümelerinGösterilişiXXX KümeninElemanSayısıXXX X Boş Küme XXX Kümelerin Karşılaştırılma sı XXX X Alt Küme ve Özalt Küme Sayısı XXXX X

12 ANALİZ Düzeyi Dış ölçütlerle değerlendirebilme X X X X DEĞERLEN- DİRME Düzeyi İç ölçütlerle değerlendirebilme X Bir öğrenme durumundaki öğeler arasındaki ilişkileri görebilme X X X X X Karmaşık bir öğrenme durumunu ya da öğrenmeye ilişkin bir bilgi bütününü öğelerine ayırabilme X X X X X UYGULAMA Düzeyi İlke ve genellemeleri özel durumlara uygulayabilme X X X X X X Özel bir durumu ya da bir bilgi bütününü yorumlayabilme X X X X X X KAVRAMA Düzeyi Öğrenmeye ilişkin bilgi, ilke ve genellemeleri bir formdan başka bir forma çevirebilme X X Öğrenme kuramlarının bilgisi X X X Öğrenmeye ilişkin ilke ve genellemelerin bilgisi X X X X Öğrenme yöntemlerinin bilgisi X X Önemli olguların bilgisi X X BİLGİ Düzeyi Temel kavramların bilgisi X X X X Konular Yeterlikler Öğrenme Öğrenme Kuramları Öğrenme Yolları Güdülenme ve Öğrenme Transfer Hatırlama ve Unutma Etkili Öğrenmede Öğretmen Faktörü Başarının Ölçülmesi ve Değerlendirilmesi

13 TEST KAVRAMI VE TEST TÜRLERİ  TEST: Bireylerin çeşitli niteliklerini ölçmek amacıyla hazırlanıp kullanılan araçlara denir. Test Hazırlarken; * Amaç belirlenmeli, * Çeşitli ölçütlere göre toplam soru sayısı kararlaştırılmalı, * Davranışlar ve içeriği belirlenmeli * Kullanılacak soru tipi kararlaştırılmalı * Testin güçlüğü ve dağılımı kararlaştırılmalı * Puanlama biçimi kararlaştırılmalı

14 1.Yazılı Yoklamalar 2.Kısa Cevap Gerektiren Testler 3.Doğru Yanlış Testleri 4.Çoktan Seçmeli Testler 5.Eşleştirme Türü Testler TEST KAVRAMI VE TEST TÜRLERİ

15 YAZILI YOKLAMALAR 1.YAZILI YOKALAMALAR (Essey-Kompozisyon tipi sınavlar): Hazırlanmasının kolay olması, uzun zaman almaması ve öğretmenlerce iyi biliniyor olmasından dolayı sık tercih edilen bir sınavdır.  Yazılı yoklamaların en önemli tarafı (avantajı) bilgi düzeyinin üstündeki üst düzey zihinsel işlemler (uygulama, analiz, sentez, değerlendirme, organize etme, bilgileri değişik durumlarda uygulama, orijinal görüş ve ürünler ortaya koyabilme) gerektiren türdeki hedefleri ölçebilmesidir.

16 Özellikleri:  Cevaplayıcı kendisi düşünüp yazmalı.  Cevaplar sınırlı olmayabilir.  Tamamen doğru, tamamen yanlış diye sınıflamak zordur.  Puanlama güçlükleri ve fazla zaman ihtiyacı vardır.  Güçlük düzeyini belirlemek zordur.  Gelişigüzel cevaplar güvenirliği düşürür.

17 Özellikleri:  Az sayıda soru sorulur. Bu nedenle geçerlik ve güvenirlik düşüktür.  Öğrenciye cevap özgürlüğü tanınır. Öğrenci istediği cevabı vermede özgürdür.  Hazırlanması kolay ancak puanlanması güç ve zaman alır.  Şans başarısı düşüktür.  Puanlanması sübjektiftir. Çoğu kez değerlendirmeye puanlayıcı yanlılığı karışır.  Üst düzey zihinsel hedef alanlarını ölçebilir.

18  Hangi Durumlarda Kullanılmalı:  Sınava girecek öğrenci sayısının az ise kullanılmalı.  Öğrencilerin gelecekleri ile ilgili kritik kararlar güvenilir sınavlara dayandırılmalıdır. Soru sayısının az, puanlama güvenirliğinin düşük olması nedeni ile yazılı yoklama bu amaç için kullanılmamalıdır.  Öğrencinin yazılı ifade gücü, noktalama işaretlerini doğru kullanabilme, dilbilgisi gibi özelliklerini ölçmede kullanılabilir.  Sentez ve değerlendirme gibi üst düzey zihinsel davranışları ölçmede kullanılabilir.

19 Test Hazırlarken Uyulması Gereken Esaslar:  Belirli bir plan içinde yapılmalı  Sorular açık, anlaşılır, sınırları iyi belirlenmiş olmalı  Uzun cevaplı az soru yerine, kısa cevaplı çok soru tercih edilmeli  Ezberlenebilir soru yerine, bilginin yorumuna dayalı soru sorulmalı, birbirinden bağımsız sorular olmalı  Çok zorunlu değilse seçimlik soru bulundurulmamalı  Puanlarken soru soru okunmalı  Açık kitap türü sınav ise, analiz, sentez, değerlendirme basamaklarında içermesi uygun olur.

20 KISA CEVAP GEREKTİREN TESTLER  Öğrencinin bir tarih, rakam, sözcük, en çok bir cümle ile cevaplayabileceği maddelerden oluşur. *Genel olarak iki biçimi vardır: Örnek Soru: Bir çoktan seçmeli maddedeki yanlış cevaplara ne ad verilir? __________________________________ Bir çoktan seçmeli maddedeki yanlış cevaplara______________adı verilir.

21 KISA CEVAP GEREKTİREN TESTLER

22 Test Hazırlarken Uyulması Gereken Esaslar:  Cevaplandırılabilecek açıklıkta olmalı Örnek Soru: 4a. Atatürk____________de doğdu? (Hatalı) 4b. Atatürk ____________tarihinde doğdu *Soruda ipucu ifadeleri olmamalı Örnek Soru: 5a. “Şair Evlenmesi” eserinin yazarı________________ dir. (Hatalı) 5b. “Şair Evlenmesi”_______________tarafından yazılmıştır. *Boşlukların uzunlukları eşit olmalı *Biri diğerinin cevabı olacak maddeler bulunmamalı

23 DOĞRU YANLIŞ TESTLERİ Bazıları yanlış, bazıları doğru önermeler halinde verilen ve cevaplayıcıların sınıflaması istenen testlerdir. Özellikleri: *Cevaplayıcılar zamanlarını daha çok düşünmeye ayırabilirler *Puanlaması kolay ve objektiftir *Çok soru hazırlanabileceği için geçerlik ve güvenirliği yüksektir *Yönergesi basittir, alt eğitim basamaklarında kullanılabilir *Şans başarısı yüzde 50 olduğu için bu durum geçerlik ve güvenirliği düşürür

24 DOĞRU - YANLIŞ TESTLERİNDE YAPILAN HATALAR (D) (Y) Foklar kutup bölgelerinde yaşarlar ve diğer balıklar gibi yumurtlayarak ürerler. Soruda iki ana fikir var. Hele bu fikirlerden biri doğru diğeri yanlış olursa durum daha da karışır. Her soruda tek bir ana fikir olması gerekir. (D) (Y) Birinci Dünya Savaşı, Avrupa ve Afrika'da yapılmıştır. Bu soru bir taraftan doğru, ama Savaşın olduğu bütün kıtaları göstermemesi bakımından da yanlıştır. (D) (Y) Pi sayısının değeri yaklaşık olarak 3 kabul edilir. (D) (Y) Pi sayısı 22/7'dir. Pi sayısının tam değeri çok küsürlüdür (3.1416). Burada 3.14 da yaklaşık değerdir, 3 de kabul edilebilir. Burada yeteri kadar ayrıntı verilememekte ve hangi düzeyde bilgi ölçüldüğü belli olmamaktadır. (D) (Y) Kuşların göç nedenleri bugün kesin açıklanabilmektedir. (D) (Y) Işık, çok hızlı hareket eden çok küçük madde tanecikleri selinden ibarettir. Bu sorularda henüz kesinleşmemiş bilimsel teorilerden bahsedilmektedir. (D) (Y) Bir dairenin içine bir kare ve bir eşkenar dörtgen çizilirse, karenin kenarı üçgeninkinden büyük olur. Burada karışık ve doğru yazıldığı kuşkulu olan bir soru vardır.

25 DOĞRU YANLIŞ TESTLERİ

26 ÇOKTAN SEÇMELİ TESTLER  ÇOKTAN SEÇMELİ TESTLER: Öğrencilere bir soru kökü ile birlikte bu sorunun cevabı ve onun cevabı sanılabilecek olan ifadeler verilen ve öğrencinin bu seçeneklerden hangisinin sorunun cevabı olduğunu belirlemesini gerektiren madde türleridir.  Soru kökünde doğrudan soru cümlesi kullanılarak öğrenciye soru yöneltilebileceği gibi; bir konu, olay, durum, sorun, haber, düşünce vb verilerek buna ilişkin bir soru da sorulabilir  Bir çoktan seçmeli madde;  Sorunun sorulduğu kök,  Kökteki seçeneğin doğru cevabı olan doğru ya da anahtar cevap,  Kökteki sorunun cevabı olmayan çeldirici kısımlarında oluşur.

27 ÇOKTAN SEÇMELİ TESTLER Aklın hataya düşmeksizin hakikate ulaşabileceğini kabul eden görüşe ne ad verilir? A ) DogmatizmDOĞRU CEVAP B) Pozitivizm SEÇENEKLER MADDE KÖKÜ C) Rasyonalizm D) Septisizm ÇELDİRİCİLER E) Sofizm

28 Özellikleri: *Fazla soru sorma imkanı verir. *Belirtke tablosu hazırlanırsa kapsam geçerliği artırılabilir. *Puanlama objektiftir. *Cevap anahtarı hazırlanırsa, uzman olmayanlar bile cevaplayabilir. *Şans başarısı mümkündür. *Cevaplayıcıların okuma nitelikleri ve hızları sonucu etkileyebilir. *Maddenin güçlük derecesini belirlemek mümkündür. *Cevaplayıcının düşüncelerini ifade etme niteliklerini ölçebilmesi açısından eleştirilmektedir. ÇOKTAN SEÇMELİ TESTLER

29 Özellikleri:  Hazırlaması çok uzun zaman gerektirir ve uzmanlık ister. Ancak puanlanması az zaman alır ve kolaydır. Bir defa hazırlandıktan aynı test gizliliği sağlanarak tekrar kullanılabilir.  Elde edilen puanlar üzerinde istatistikî işlemler ve madde analizi yapılabilir. Bu da amaca uygun istenilen soruların seçilmesini kolaylaştırır.  Çok iyi hazırlanırlarsa analiz basamağına kadar davranışları ölçebilir.  Cevaplama süresi kısadır. Bu nedenle belli bir süre içerisinde çok sayıda soru sorulabilir. Soru sayısının artması geçerlik ve güvenirliği arttırır.  Değerlendirmeleri objektiftir. Puanlamayı kim yaparsa yapsın aynı sonuca ulaşılır. ÇOKTAN SEÇMELİ TESTLER

30 Özellikleri:  Geçerliği ve güvenirliği en yüksek olan sınav türüdür.  Maddeleri kesinlikle doğru, kesinlikle yanlış diye ayırmak mümkündür.  Yazılı yoklamalarda olduğu gibi kısmi puanlama yapılamaz.  Şans başarısı vardır. Konuyu hiç bilmeyen öğrenci şansla doğru cevabı bulabilir.  Çeldiriciler, bilmeyen öğrenciye ipucu vermemelidir.  Çeldiriciler konuyu bilenleri değil bilmeyenleri yanıltmalıdır. ÇOKTAN SEÇMELİ TESTLER

31 Özellikleri:  Çeldiriciler madde kökündeki konuyla ilgisiz olmamalıdır.  Çeldiricilerin doğru cevaba yakınlığı arttıkça madde zor bir soru olur ve bilenle bilmeyeni ayırt etme gücü artar.  Cevaplayıcının okuma hızı ve okuduğunu anlama gücü, alacağı puan üzerinde etkilidir.  Test, hız testi değilse tüm sorulara yetecek süre verilmelidir. Okuduğunu anlama gücü ölçülmüyorsa da sorular açık ve anlaşılır olmalıdır. ÇOKTAN SEÇMELİ TESTLER

32 1. Doğru Yanıta Göre a) Kesin ve tek doğru yanıtı olan maddeler b) En doğru yanıtı olan maddeler c) Bileşik yanıt vermeyi gerektiren maddeler d) Doğru yanıtı gizlenen maddeler 2. Madde Köküne Göre a) Kökü soru kipinde olan maddeler b) Kökü eksik cümle tipinde olan maddeler c)Olumsuz köklü maddeler 3. Maddelerin Gruplanışına Göre a)Ortak köklü maddeler b)Ortak seçenekli maddeler ÇOKTAN SEÇMELİ TESTLER

33  Her madde önemli bir davranışı ölçmelidir.  Madde kökü, seçenekleri okumadan tek ve temel bir fikir vermelidir.  Madde kökünde yoruma açık ifadeler bulunmamalıdır.  Madde kökü açık ve basit bir dille yazılmalıdır.  Mümkünse madde kökü sorunun büyük bir kısmını kapsamalıdır.  Testteki her madde bir diğerine ipucu olmayacak bir problemi içermelidir.  Seçenekler ifade, gramer ve konu bakımından tutarlı olmalıdır. ÇOKTAN SEÇMELİ TESTLER

34 *Seçeneklerin ikisi ya da üçü aynı anlamda olmamalıdır. *Doğru cevap seçeneği bir materyalden aynen alınmamalıdır. *Madde kökü ile seçenekler arasında ifade, gramer, ibare birliği sağlanmalıdır. *Çeldiriciler bilgisiz cevaplayıcılara çekici gelmelidir. *Çeldiricilerin tümü konu ile ilgili olmalıdır. ÇOKTAN SEÇMELİ TESTLER

35  Çoktan seçmeli testlerin farklı bir şekli olarak yorumlanabilecek olan eşleştirme maddeleri, bir dizi öncül ile başka bir dizi yanıtla bire bir olarak istenilen şekilde eşlenmesini gerektiren maddelerdir.  Aslında, doğru-yanlış testleri ve çoktan seçmeli dersler bir bakıma eşleştirme maddelerinin bir çeşididir. (Aiken, 2000).  Eşleştirme maddelerinde yanıtı öğrenciler yazmaz. Yanıtlama işlemi iki set halinde verilen öncüller ve yanıtların eşlenmesine dayanır. EŞLEŞTİRME TÜRÜ TESTLER

36 Eşleştirme maddeleri okumaya ve eşlemeye dayandığı için kısa zamanda daha çok maddenin yanıtlanması mümkündür. Eşleştirme maddelerinde, yanıtlayıcılar yazarak yanıtlama yapmazlar. Eşleştirme maddeleri de, diğer bazı objektif test türleri gibi şans başarısı içerir. Fakat öncüller ve yanıtların sayısına göre, bu olasılık çoktan seçmeli testlerden daha düşük olabilir. EŞLEŞTİRME TÜRÜ TESTLER

37 Eşleştirme maddelerinde puanlama tamamen objektif olarak yapılabilir. Puanlama işlemine puanlayıcı hatası karışma olasılığı çok düşüktür. Eşleştirme maddelerinin uygulanması oldukça kolaydır. Yanıtlama işleminin basitliği ve açık yönergeleriyle kolayca uygulanabilir. Daha çok bilişsel basamağın alt düzeyindeki davranışların yoklanması için uygundur. EŞLEŞTİRME TÜRÜ TESTLER

38 Bir eşleştirme maddesinde, öncüller ve yanıtlar kendi aralarında benzeşik (homojen) olmalıdırlar( Wesman, 1971). Çok uzun bir yanıt listesi kullanılmamalıdır. Eğer her yanıt sadece bir öncül ile ilgiliyse, yanıt listesi öncüllerin listesinden iki veya üç daha fazla olmalıdır. Yanıtlar listesinin birden fazla öncül için kullanılması şans başarısını düşürebilir. EŞLEŞTİRME TÜRÜ TESTLER DİKKAT EDİLMESİ GEREKEN NOKTALAR

39 EŞLEŞTİRME TÜRÜ TESTLER Örnek: A sütununda verilen başkentlerin bulunduğu ülkelerin adlarını B sütununda bularak yanıt kâğıdında işaretleyiniz. A B 1. (…..) AtinaA. Almanya 2. (…..) BükreşB. Finlandiya 3. (…..) HelsinkiC. Fransa 4. (…..) LizbonD. İngiltere 5. (…..) RomaE. İtalya F. Lüksemburg G. Polonya H. Portekiz I. Romanya J. Yunanistan

40 ÖLÇME VERİLERİNİN ANALİZİNDE GÜVENİRLİK VE GEÇERLİK

41 Yapısal Nitelikler Ölçme araçlarının nitelikleri değişik kaynaklarda farklı biçimlerde ele alınmasına rağmen, nitelikler başlıca üç başlık altında ele alınmaktadır. Güvenirlik Geçerlik Kullanışlılık

42 GÜVENİRLİK 1-Tarihsel gelişimi 2- Güvenirlik Tanımı 3- Güvenirlik Bileşenleri 4- Güvenirlikte Hata Kaynakları 5- Güvenirlikte Hata Türleri 6- Güvenirliği Etkileyen Faktörler

43 1-Tarihsel gelişimi Konudaki ilk çalışmaları CHARLES SPEARMAN yapmış, 1920’li yıllarda C. Spearman ve arkadaşı W. Brown ile bir testin iki yarısı arasındaki korelâsyonun ölçeğin tamamını kapsaması için SPEARMAN- BROWN yöntemini geliştirmiş, Çalışmaların önemli dönüşüm noktası KUDER- RICHARDSON 20 formülünün geliştirilmesidir. KUDER ve RICHARDSON’ un amacı, yarıya bölme Spearman- Brown yönteminde karşılaşılan güçlükleri yenmektir, LEE JOSEPH CRONBACH 1951’de KR- 20 formülünün hesaplamada güçlük yarattığını bildirmiş ve güvenirlik için ALFA formülünü tanıtmış, 2000’ li yıllarda LAURI TARKKONEN ve KIMMA VEHKALAHTI kendi yöntemlerini geliştirmişler. Croanbach alfa değerlerinin aksine Tarkkonen’in güvenirlik yaklaşımı çok boyutlu modeller için de geçerlidir. Bu model TARKKONEN ALFA DEĞERİ olarak isimlendirilmiştir.

44 2- Güvenirlik Tanımı Güvenirlik, aynı şeyin bağımsız ölçümleri arasındaki kararlılıktır; Ölçülmek istenen belli bir şeyin, sürekli olarak aynı sembolleri almasıdır; Aynı süreçlerin izlenmesi ve aynı ölçütlerin kullanılması ile aynı sonuçların alınmasıdır; Ölçmenin, tesadüfî yanılgılardan arınık olmasıdır.

45 3- Güvenirlik Bileşenleri İç tutarlılık: Ölçek veya testtin içindeki maddelerin belli bir kavramsal yapıya sahip olması. Yani ölçek maddelerinin birbirleriyle ilişkili olarak aynı yapıyı ölçmelidir. İstikrarlılık: Ölçüm sonuçlarının aynı ve farklı koşullarda kararlılık göstermesi ve değişmemesidir. Temsil Edicilik: Testin aynı ana kütleye ait farklı örneklemlerde uygulandığında benzer sonuçlar vermesidir. Eş değerlilik: Aynı zamanda uygulanan iki veya daha fazla testin benzer sonuçlar vermesidir. Nesnellik: Gözlemciler arasındaki değerlendirme güvenilirliğidir. Farklı değerlendiricilerin aynı kişilerle ilgili olarak benzer puanları vermeleridir.

46 4-Güvenirlikte Hata Kaynakları Yöntem Hatası: Araştırmacının uyguladığı metodun çok dikkatli şekilde tasarlanmamış olmasından kaynaklanır. Örneğin, Anketin gürültülü ortamda yapılması, anketin çalışanların stresli zamanlarında yapılması gibi. Özellik Hatası: Anket uygulayan bireylerin kişisel özelliklerinden kaynaklanır. Kendilerine test uygulanan kişilerin yorgun olması gibi. Sistematik Hata: Testin ölçmeyi amaçladığı alanın dışında başka bir şeyi daha ölçüyor olması durumunda ortaya çıkar. Tesadüfî Hata: Bilinmeyen kontrol edilmeyen faktörlerden kaynaklanır.

47 Denek hatası, Sözgelimi, çalışanların işlerine bağlılık ve istek derecelerini ölçmeye yönelik bir anket uygulanıyor olsun. Eğer, anket haftanın değişik günlerinde doldurulmuşsa farklı cevapların verileceği açıktır. Pazartesi sabahı ile Cuma öğlen sonrası verilecek cevaplar değişik olur. Böyle bir çalışma için araştırmacı, mümkün olduğunca nötr bir zaman seçmelidir. 4-Güvenirlikte Hata Kaynakları

48 Denek önyargısı, kendini güvende hissetmeyen denekler, sorulara genellikle gerçekte düşündükleri şekilde değil de üstünü memnun edecek şekilde cevap verme eğilimindedirler. Araştırmacı, bu riskin farkında olmalı ve bu tür bir önyargıyı en aza indirmek için deneklerin kimliklerini ortaya çıkaracak sorulardan kaçınmalıdır. 4-Güvenirlikte Hata Kaynakları

49 Gözlemci hatası, güvenilirliği tehdit eden bir diğer unsurdur. Örneğin, araştırmacı veri toplama metodu olarak mülakatı seçmiş olsun. Böyle bir çalışmada ne kadar değişik sayıda mülakatçı varsa o kadar değişik cevap almak mümkündür. Bu tehdidi ortadan kaldırmak için, ya mülakatçı sayısını en aza indirmek veya mülakatları mümkün olduğunca biçimselleştirmek gerekir. 4-Güvenirlikte Hata Kaynakları

50 Gözlemci önyargısı, araştırmacının elde ettiği cevapları deneğin kastettiğinden farklı şekilde yorumlamasından kaynaklanır 4-Güvenirlikte Hata Kaynakları

51 5-Güvenirlikte Hata Türleri Sabit Hatalar, Her bir ölçme için miktarı değişmeyen hatalara sabit hatalar denir. Sabit hatalar, bireysel ölçümleri ve o ölçümlerin ortalamasını gerçekte olduğundan büyük ya da küçük gösterebilir, fakat ölçümlerin dağılım ölçülerini değiştirici yönde bir etkiye sahip değillerdir.

52 Sistemli Hatalar, Öğretmenin, sadece kızlara ait cevap kâğıtlarına 5 puan fazla vermesi, yazılı yoklama kâğıtları puanlanırken; yazısı güzel, düzgün ve okunaklı olanlara fazla puan verilmesi de bir sistemli hatadır. Puanlayıcı yanlılıklarını yansıtan tüm hatalar sistemlidir. Rasgele Hatalar, Kaynakları iyi bilinmeyen ve ölçme sonuçlarına gelişigüzel karışan hatalardır 5-Güvenirlikte Hata Türleri

53 6-Güvenirliği Etkileyen Faktörler Testin Uzunluğu Bir testte kapsanan madde sayısı, testin güvenirliğiyle doğrudan ilgilidir. Eğer güvenirliği etkileyen diğer etkenlerin tümü kontrol edilmişse ve teste sonradan katılan sorular öncekiler gibi aynı davranışlarla ilgiliyse, soru sayısı artırılarak testin güvenirliği artırılabilir.

54 6-Güvenirliği Etkileyen Faktörler Test Yönergesinin Ve Testteki Maddelerin İfadesi Testin başında, cevaplayıcılar için bir yönerge bulunmalıdır. Cevaplama işleminin nasıl yapılacağı, testin nasıl puanlanacağı; Test, seçmeli maddelerden oluşuyorsa şans başarısı için düzeltme yapılıp yapılmayacağı; Testte kaç soru bulunduğu ve testin cevaplandırılması için ne kadar zaman verildiği Bu yönergede cevaplayıcıların anlayacağı açıklıkla belirtilmiş olmalıdır.

55 6-Güvenirliği Etkileyen Faktörler Test İçeriğinin Benzeşikliği Ölçtükleri davranış ve konu bakımından homojen maddelerden oluşan bir testten elde edilen puanlar heterojen bir testten elde edilen puanlardan daha güvenilir olur. 100 maddelik bir sosyoloji testi 100 maddelik bir sosyal bilimler testinden daha güvenilirdir.

56 6-Güvenirliği Etkileyen Faktörler Puanlamadaki Nesnellik Bir testin güvenirliğini, onun puanlanmasının nesnel olup olmayışı büyük ölçüde etkiler. Bir testin değişik kişilerce ya da aynı kişi tarafından değişik zamanlarda puanlanmasından elde edilen puanlar arasındaki tutarlılığa o testin puanlama güvenirliği denir.

57

58

59 Güvenirlilik aynı zamanda ölçme aracının kararlı ölçme yapma karakterinde olması anlamını da taşır. Güvenirlik:”Bir ölçme aracında bütün soruların birbiri ile tutarlılığını, ele alınan oluşumu ölçmede türdeşliğini ortaya koyan bir kavramdır”(Özdamar, 1999, s.512)

60  Kararlılık: Farklı ölçümlerde yine aynı sonuçları verebilmesidir.  Tutarlılık: Yakın zaman aralıklarında birkaç defa yapılan ölçümlerin birbirine yakın değerler vermesidir.  Duyarlılık:Ölçme aracının veya ölçme sonuçları biriminin büyüklüğüyle ilgilidir. Birim küçüldükçe hata payı azalır ve daha hassas ölçüm yapılır.

61 Güvenirli ğ i Etkileyen Faktörler Testin uzunluğu: Soru sayısı arttıkça güvenirlik artar Ölçülen niteliğin genişliği (Ranj): Gruptaki değişiklik ne kadar fazla ise güvenirlik o kadar yüksek olur. Bu nedenle birkaç sınıfta uygulanan testin güvenirliği bir sınıfta uygulanan testin güvenirliğinden daha yüksektir Test uygulama şartları: Sınav süresi, öğrencileri güdülenme düzeyleri, dikkatsizlik, gürültü, ölçmeyi yapan kişinin sınav anındaki davranışları

62  Soru sayısının fazla olması güvenirliği arttırır.  Test sorularının ayırt edicilik güçleri yükseldikçe testin güvenirliği artar.  Testin yönergesinin olması güvenirliği arttırır.  Gereğinden fazla zaman verilmesi güvenirliği düşürür.  Testin uygulandığı ortamın koşulları uygun ise güvenirlik artar.

63  Sınava giren öğrenci sayısı arttıkça güvenirlik artar.  Test maddelerinin homojenliği arttıkça güvenirlik artar.  Puanlamadaki nesnellik güvenirliği arttırır.  Soruların teste konuş sırası güvenirliği etkiler.

64 GÜVENİRLİĞİ ARTTIRMA YÖNTEMLERİ  Soru sayısı az olmamalı  Sorular açık, anlaşılır ve kesin cevaplı olmalı.  Sınav süresi, bilen bütün öğrencilerin bütün soruları cevaplandırmalarına yetmeli.  Bir soru, sınava katılanların en az yarısı tarafından doğru olarak cevaplandırılabilmeli.  Puanlama objektif olmalı. Çeşitli uzmanlar aynı cevaplara aynı puanı verebilmeli.  Ölçme hatalarından mümkün olduğunca kaçınılmalı.

65 Bir Ölçme Aracının Güvenirliğini Belirleme Yöntemleri  Ölçümlerin güvenirliğini kestirmede ve yorumlama da iki istatistiki yöntemden faydalanılır: 1.Güvenirlik katsayısı. 2.Ölçmenin standart hatası

66 Güvenirlik Katsayısı  Bir ölçme aracının güvenirliğini belirlemek için güvenirlik katsayısı bulunur.  Güvenirlik katsayısı gerçek ölçümlerin sonucunun gözlenen puanların sonucuna oranıdır.  Güvenirlik katsayısı 0-1 arasındadır. Katsayı 1.00’a yaklaştıkça güvenirlik artar, 0.00’a yaklaştıkça güvenirlik azalır.

67 Güvenirlik Katsayısını Belirleme Yöntemleri  Güvenirlik katsayısının belirlenmesinde başlıca genellikle üç yöntem kullanılır. 1.Test-Tekrar-Test Yöntemi 2.Paralel Testler Yöntemi 3.Testi Yarılama Yöntemi

68 Test-Tekrar-Test Yöntemi  Bir testin aynı gruba aralıklı olarak farklı zamanlarda iki defa uygulanışı sonucu elde edilen sonuçların korelasyonu bulunur.  Bu yaklaşım iki uygulama arasında geçen zaman içerisinde ölçülen özellikte önemli değişikliğin olmadığı sayıltısını kabul eder.  Süre ne kadar kısalırsa korelasyon o denli yüksek, süre ne kadar uzarsa korelasyon o denli düşük çıkar.

69 Test-Tekrar-Test Yöntemi  Yapılan ölçümler arasında zaman, unutma, değişme, cevapların sonradan çalışılarak öğrenilmesi ve hatırlama etkileri uygulamaya karıştırılmadan belirlenmelidir.  Bu yöntem sonucunda elde edilen korelasyona bağlı olarak testin kararlılığının ve tuturlılığının hakkında yorum yapılır.  Güvenirlik belirlemede elde edilen korelasyon 0,70 üzerinde ise güvenirliği yüksektir denilebilir.

70 Paralel Testler Yöntemi Bir testin iki eşdeğer formunun aynı gruba yakın zaman aralıklarında farklı zamanlarda uygulanması ile elde edilen sonuçların korelasyonu bulunur. Eşdeğer form, geliştirilen iki testin maddelerinin kapsamı, sayısı, güçlüğü ve niteliği bakımından denk olması anlamına gelir. Paralel test yöntemi ile elde edilen güvenirlik katsayısı 0.70 üzerinde ise ölçme aracı hatalardan arınıktır denilebilir.

71 Testi Yarılama Yöntemi  Ölçme aracının iki eşdeğer yarısı ile güvenirliği hesaplanır. Bir testi bir gruba bir defa uyguladıktan sonra, iki yarıya bölerek ayrılan yarıların puan dağılımlarının korelasyonuna bakılır.  Testi yarılama yöntemiyle elde edilen güvenirlik katsayısı genelde testin tekrarı yöntemiyle elde edilen güvenirlik katsayısından yüksek olur.  Test bir defa uygulandığı için daha pratiktir.

72 Ölçmenin Standart Hatası Ölçmenin standart hatası ölçülen özelliğin gerçek değeri ile ölçme sonucu gözlenen değeri arasındaki farkı ifade etmektedir. Bu değer, ölçme sonuçlarının güvenirliğinin değerlendirilmesinde güvenirlik katsayılarının yanı sıra kullanılan bir değeridir.

73 S e = Ölçmenin standart hatası S x = Test puanlarının standart sapması r x = Testin güvenirliği

74 Geçerliğin Tarihsel Gelişimi 1- Konuda ilk çalışmaları L. CRONBACH yapmış ve Cronbach geçerliliği deneysel ve mantıksal olarak iki grupta değerlendirmiştir. 2-Amerikan Psikoloji Derneği (APA ) 1954 yılında 4 tür geçerlik standardı belirlemiş. a) içerik geçerliliğ, b) tahmin geçerliliğ, c) Birlikte Vuku Bulma- eş zamanlılık geçerliliği, d) Yapısal geçerlilik yılında, THAMPSON ve DANIEL, test ve ölçeklerin geçerliliğini test etmeye yönelik olarak birleşme ve ayrılma analizlerinin yapılmasını önermişlerdir yıllarında test ve ölçüm konusunda önde gelen bilim adamlarından SAM MESSICK geçerlilik analizlerinin içerik, kriter ve yapısal geçerlilik şeklinde sınıflandırılmasına karşı çıkmış. Messick kendi geçerlilik anlayışını yön yaklaşımı olarak isimlendirmiş. Messick geçerlilikte yön yaklaşımını iki boyut üzerinde temellendirmiş. Amaç, sonuçlar.

75 İlk tanım 1937 yılında GARRET” tarafından yapılmıştır. Ona göre, geçerlilik, “ölçülmek istenen özelliğin amaca uygun olarak ölçülme derecesidir”. Son yıllarda HAMMERSLY tarafından yapılan tanıma göre, belli bir olguya ait ölçüm rakamları olguyu doğru bir biçimde yansıtıyor, doğru bir şekilde tanımlıyor veya doğru bir şekilde kavramsal açıklamalar getiriyorsa geçerlidir Geçerlik (Validity)

76

77  Geçerlik, bir testte bulunması gereken en önemli özelliktir. Geçerliğin iki temel öğesi bulunur: 1.Ölçme aracı ölçtüğü özellikle ilişkili olmalıdır. 2.Ölçme aracı güvenilir ölçme yapmalıdır.  Geçerlik bir ölçme aracının ölçmeyi amaçladığı özelliği başka değişkenlerle karıştırmadan ölçebilme derecesidir. (Turgut, 1986)  Geçerlik doğru karara ulaşmak için kanıt toplama sürecidir.

78 Geçerlik Türleri  Kapsam geçerliği  Ölçüt geçerliği  Yapı geçerliği  Görünüş geçerliği olmak üzere dört farkı tür geçerlik vardır.

79 Kapsam Geçerliği Bir ölçme aracının en önemli sayılabilecek geçerlik türüdür. kapsam geçerliği testi oluşturan maddelerin ölçülmesi istenen davranış bütününü ölçmede ne derece temsil edilebilirliği ve örneklendirilebildiği ile ilgilidir. Kapsam geçerliği bir testin bu testle ölçülmek istenen davranışları ne derece kapsadığıdır.

80 Ölçüt Geçerliği Geçerliği çalışılan bir ölçme aracı ile geçerli olduğu kabul edilen başka bir ölçme aracının aynı bireylere uygulanarak elde edilen ölçümler arasındaki korelasyondur. Ölçüt geçerliliğinin bir türünde yordama yapılır. Ölçüt geçerliği, ölçme aracının geçerli olduğu bilinen başka ölçütlerle uyumuna dayanır(Karaca, 2008:59).

81 Yapı Geçerliği Bir ölçme aracının teorik olarak ölçmek istediği yapıyı ölçmeye uygun olup olmadığına dair kanıt toplama çalışmasıdır. Yapı geçerliği çalışması genel olarak hem teori oluşturmada hem de teori test etmede kullanılabilir. Teorik yapı ile kastedilen yaratıcılık, zeka, kişilik gibi bireylerin doğasında var olan özelliklerdir. (Tan, 2005; 266).

82 Görünüş Geçerliği  Bir ölçme aracının, ölçmek istediği aracı ne derece ölçebilir göründüğüdür.  Genelde ölçme aracının görünüş geçerliği uzman incelemesiyle belirlenir.  Testin bütünü için gerekli olan görünüş geçerliği her bir soru içinde geçerlidir.  Testteki her bir soru ölçmek istediği özelliği ölçüyor görülmelidir.

83 Geçerlik ve Güvenirlik Kavramlarına yönelik bazı özellikler  Kredibilite (Credibility): Ortaya konulan kuramsal çerçevenin anlaşılır olduğunun sağlanması ve veriye dayalı üretilmesidir.  Yararlılık (Usefulness): Bir olguyu açıklamak için ortaya konulan son ürünün i şe yararlılığıdır.  İnandırıcılık (Trustworthiness): Okuyanları araştırma bulgularına inandırabilme durumudur. –Glaser and Strauss, 1967

84  Gerçeklik değeri: Gerçeğin çok yönlü yapılandırılmasının “doğru (adequate)” temsili (bunlar araştırmacının yeniden yapılandırmaları olduğunu kabul ederek)  U ygulanabilirlik (Applicability): Uygunluk ve aktarılabilirlik  Tutarlılık (Consistency): K ullanılan yöntemin başka araştırmacılar tarafından izlenerek uygulanabilmesi  Nesnellik (Neutrality): Nötr olmak –Lincoln & Guba (1985) –Sandelowski (1986) Geçerlik ve Güvenirlik Kavramlarına yönelik bazı özellikler

85  Karşılaştırılabilirlik: Araştırmacının çalışılan grubun özelliklerini ve ortaya çıkarılan kavramları açık bir biçimde betimlediğinde, benzer durumların farklı gruplarla da karşılaştırılabilirliği olası olacaktır.  Karşılaştırmalar için araştırma yönteminin, analitik kategorilerin ve çalışılan grubun özelliklerinin yeteri kadar anlatılması beklenir. »LeCompte & Goetz (1982) Geçerlik ve Güvenirlik Kavramlarına yönelik bazı özellikler

86 Kullanı ş lılık  Ekonomiklik  Hazırlama süresi  Uygulama süresi  Hazırlayıcı ve uygulayıcının nitelikleri  Cevaplayıcının nitelikleri  Uygulama kolaylığı  Puanlama kolaylığı  Puanların yorumlama kolaylığı

87 Madde Güçlük İndeksi  Bir test maddesinin güçlük derecesi, testin uygulandığı grup içerisinde doğru cevap verenlerin sayısının gruptaki toplam öğrenci sayısına oranıdır.  Madde güçlük indeksinin temel işlevi, sorunun zorluk ya da kolaylık derecesini göstermesidir (Başol, 2008: 139).

88 Madde Ayırt Edicilik İndeksi  Madde ayırt edicilik indeksi, maddenin iyi çalışıp çalışmadığını, ölçülen özelliğe sahip olanlar ile olmayanları ya da bilenler ile bilmeyenleri birbirinden ayırma derecesini gösterir (Karaca, 2008: 283).  Bunu yaparken üst gruptan doğru yapanlardan alt grupta doğru yapanlar çıkarılır ve iki gruptan herhangi birisinin kişi sayısına bölünerek bulunur.

89 Madde Analizi Örneği 100 Öğrenciye Uygulanan Test Soru 1 Doğru Cevap Verenler Soru 2 Doğru Cevap Verenler Üst Grup (İlk %27) (27) 2520 Alt Grup (Son %27) (27) 15 Madde Güçlük Endeksi (p) Madde Ayırt Edicilik Endeksi (r)

90

91 Madde Ayırt Edicilik Endeksi (r) Maddenin Değerlendirilmesi 0.40 ve daha büyük -Çok iyi bir madde (Ayırt etme gücü yüksek) 0.30 – 0.39 arası -Oldukça iyi bir madde 0.20 – 0.29 arası -Üzerinde çalışılması ve düzeltilmesi gereken madde (Ayırt etme gücü orta derece) 0.19 ve daha küçük -Çok zayıf madde (Ayırt etme gücü düşük)

92 Madde güçlük Endeksi (p) Madde ayırt edicilik endeksi (r) YORUM 0.90 dan fazla Değer yok- Eğer etkili bir öğretim varsa tercih edilir r>0.20- Tipik iyi bir madde r<0.20- Üzerinde çalışılması gereken madde p<0.60r>0.20-Zor fakat ayırt edici bir madde (Eğer yüksek standartlara sahipseniz bu soru iyidir) p<0.60r<0.20-Zor ve ayırt edici olmayan madde (Bu madde kullanılamaz) Madde Güçlük ve Ayırt edicilik İndekslerin Yorumu

93  American Association for the Advancement of Science. (1993). Benchmarks for science literacy  (Project 2061). New York: Oxford University Press.  Anderson, C. W., & Roth, K. J. (1989). Teaching for meaningful and self-regulated learning of science. In J. Brophy (Ed.), Advances in research on teaching (vol. 1, pp. 35–72) Greenwich, CT: JAI Press.  Bell, R. L., Blair, L. M., Crawford, B. A, & Lederman, N. G. (2003). Just do it? Impact of a science apprenticeship program on high school students’ understandings of the nature of science and scientific inquiry. Journal of Research in Science Teaching, 40(5), 487–509. KAYNAKÇA

94  Barab, S., & Hay, K. (2001). Doing science at the elbows of experts: Issues related to the science apprenticeship camp. Journal of Research in Science Teaching, 38(1), 70–102.  Bazler, J., Spokane, A., Ballard, R., & Fugate, M. (1993). The Jason Project experience and attitudes toward science as an enterprise and career. Journal of Career Development, 20, 101– 112 KAYNAKÇA

95

96

97


"ADEM YILMAZ 087126002 İSMAİL BAL 087126016 Fen Eğitimi Araştırmalarında Ölçme Verilerinin Analizi - I." indir ppt

Benzer bir sunumlar


Google Reklamları