GÜVENİRLİK ve GEÇERLİK

... konulu sunumlar: "GÜVENİRLİK ve GEÇERLİK"— Sunum transkripti:

1 GÜVENİRLİK ve GEÇERLİK
ÖZCAN PALAVAN

2 GÜVENİRLİK Bir ölçme aracının güvenirliği, aracın, ölçmek istediği değişkeni ne derece duyarlıkla ölçtüğü, ya da ölçme sonuçlarının hatalardan arınıklık derecesidir.

3 duyarlı sonuçlar veriyor olması.
GÜVENİRLİK Ölçme aracının kararlı, tutarlı ve duyarlı sonuçlar veriyor olması.

4

5 Duyarlılık Birim küçüldükçe duyarlılık artar.
Ölçme araçlarının birimiyle ilgili bir kavramdır. Birim küçüldükçe duyarlılık artar.

6

7 GÜVENİRLİK ÖLÇÜTLERİ:
Zamana göre değişmezlik (süreklilik) test-tekrar test ile sorgulanabilir. Bağımsız gözlemciler arası uyum: gözlemcilerin ortalaması alınarak bir çözümleme yapılır. Korelasyon hesaplanır İç tutarlılık 1..Madde istatistikleri KR 20 KR 21 2. Bölünmüş test çözümlemeleri 3. Eş (Paralel) formlu araçlardır.

8 GÜVENİRLİĞİ ETKİLEYEN ETKENLER
• Maddelerin Kalitesi • Testin Uzunluğu • Puanlayıcı güvenirliği • Örneklem büyüklüğü • Fiziki koşullar

9 GÜVENİRLİK ARTIRMA YOLLARI
1) Güvenirliği artırmada en etkili yol, soru sayısını artırmaktır. Böylece birimin değeri küçülerek duyarlılık artar. 2) Öğrencilerin sınava güdülenmesi, 3) Ölçme aracını oluşturan soruların açık ve anlaşılır yazılması, 4) Soruların uygun büyüklükte puntoyla yazılması, 5) Soruların test formu içerisine düzgün yerleştirilmesi, 6) Baskı hatalarının olmaması, okunaklı olması vb.

10

11 GÜVENİRLİK ARTIRMA YOLLARI
7) Sınav süresinin yeterli verilmesi, 8) Sınav ortamının temiz, yeterli düzeyde ısı, aydınlık olması, 9) Gürültülü bir ortamda olmaması 10) Öğrencinin kaygı düzeyinin belli bir düzeyde olması. 11) Puanlamanın objektifliği

12 GÜVENİRLİK KESTİRME YÖNTEMLERİ
1) Test-tekrar test yöntemiyle güvenirlik 2) Paralel formlarla hesaplanan güvenirlik 3) Eşdeğer iki yarıyla hesaplanan güvenirlik 4) Testi oluşturan maddelerin birbiriyle uyumuna bakılarak güvenirliğin kestirilmesi KR 20 KR 21

13

14

15 Test Tekrar Test Yöntemi
Bu yöntemle test güvenliğini belirlemek için bir test aynı gruba belli bir zaman aralığı ile iki kez uygulanır. İlk uygulamadan elde edilen puanlar ile ikinci uygulamadan elde edilen puanlar arasındaki korelasyona bakılır. Korelasyon katsayısı yüksek ise testin güvenirliği yüksek demektir.

16 Paralel Testler Yöntemi
Aynı özelliği ölçen iki test arasında korelasyona bakılır. Her iki test içindeki maddelerin sayısı, niteliği ve ölçtükleri davranışlar birbirine denk olmaları lazımdır. Testin her iki formu aynı anda aynı gruba uygulanır ve puanlar arasındaki korelasyon hesaplanır.

17

18 Bir Testi İki Yarıya Bölme Yöntemi
Test bir gruba uygulandıktan sonra iki yarıya bölünür. Deneklerin testin iki yarısından aldıkları puanlar arasındaki korelasyon hesaplanır. Hesaplanan korelasyon katsayısı testin yarısının güvenirliğini gösterir. Daha sonra “Sperman-Brown” formülüyle de testin tümünün güvenirliği bulunur.

19 Kuder-Richardson 20 ve 21 Formülleri
İçindeki her bir maddenin güçlük derecesi, yani her bir maddeye doğru cevap veren öğrencilerin oranı (p) hesaplanan bir testin güvenirliği için, duruma göre KR-20 veya KR-21 formüllerinden birisi kullanılabilir. Bu yöntem testteki her bir maddenin aynı değişkeni(örneğin; dil yeteneğini) ölçtüğü, testin ölçtüğü değişkenin homojen olduğu sayıtlısına dayanır.

20 KR 20 KR-20 sadece doğru cevaplandırılan maddelere bir puan vererek, yanlış cevaplandırılan ve boş bırakılan maddelere ise hiç puan vermeksizin puanlanan testlere Uygulanabilir.

21 KR 21 KR-21, testteki maddelerin güçlük dereceleri birbirinden önemli ölçüde farklı değilse, yani testteki tüm maddelerin güçlük derecelerinin eşit olduğu düşünülürse, o testin güvenirliğini tahmin için kullanılabilir. Eğer testteki maddeler güçlük bakımından birbirlerinden oldukça farklı ise, bu formül, güvenirlik katsayısının alt sınırını verir.

22 GEÇERLİK Geçerlik, bir ölçme aracının ölçmeyi amaçladığı özelliği, başka herhangi bir özellikle karıştırmadan, doğru olarak ölçebilme derecesidir. Bir ölçme aracının amaca hizmet edebilme derecesidir.

23

24 ÖRNEK Aracımız başarı ölçmede kullanılan bir sınav olsun.
Sınavın yapılış amacı, o derste kazandırılmaya çalışılan davranışları öğrencilerin kazanıp kazanmadıklarını belirlemektir. Eğer sınav öğrencilerin kazandıkları davranışları ölçmeye hizmet ediyorsa, ölçmek istediği davranışlar dışında başka özellikleri ölçmüyorsa, sınav amacını gerçekleştiriyor denilir.

25 Buna göre geçerlik, bir ölçme aracının ölçmek istediği değişkeni ölçüp ölçmediği, ölçüyorsa onu başka değişkenlerden ne derece arınık ölçtüğü şeklinde tanımlanabilir. Ölçme aracının geçerliliği, güvenirliğinden etkilenir. Ölçme aracının güvenirliği düşük ise, ölçme aracından alınan sonuçların geçerliliği de düşer. Bu nedenle, ölçme aracının geçerli olması için güvenilir olması bir ön şarttır.

26 • 1. Uygunluk ya da ilgililik
Ölçtüğü şeyle ilgili olan ve ölçtüğü şeyi tutarlı olarak ölçen bir test geçerlidir. Bu yargı, geçerliğin iki önemli ögesi olduğunu belirtir. • 1. Uygunluk ya da ilgililik • 2. Güvenirlik

27

28 Ne ölçülecek? Nasıl ölçülecek?
Bir başarı testinin niteliği, ölçülecek olanın ne olduğunun ve onun nasıl ölçüleceğinin açıkça belirlenmiş olmasına bağlıdır. Ne ölçülecek? Sorusunun cevabı, testin uygunluğu veya ilgililiğine aittir. Nasıl ölçülecek? Sorusunun cevabı da büyük ölçüde, testin güvenirliğini ilgilendirir.

29 GEÇERLİĞİ ETKİLEYECEK DURUMLAR
Soru Belirsizliği Ölçme aracında yer alan her bir soru, sormak istediği şeyi öğrencinin düzeyine uygun olarak açık, anlaşılır ve net bir biçimde soruyorsa, bu tür sorulardan oluşan araçların geçerliği yüksek olur.

30 GEÇERLİĞİ ETKİLEYECEK DURUMLAR
Madde Güçlüğü Testi oluşturan maddelerin güçlük düzeyi o testin geçerliğini etkileyebilir. Eğer test tümüyle kolay veya zor maddelerden oluşuyorsa, bilen öğrencilerle bilmeyen öğrenciler arasındaki farkı yeterince tanımlayamayabilir.

31

32 GEÇERLİĞİ ETKİLEYECEK DURUMLAR
Madde Ayırıcılık Gücü Madde ayırıcılık gücü, maddenin bilenler ile bilmeyenler veya eksik bilgili olanlar arasındaki farkı tanımlama gücüdür. Bir maddenin ayırıcılık gücü yüksek ise, toplam testin geçerlik düzeyine katkısı da yüksek olur.

33 GEÇERLİĞİ ETKİLEYECEK DURUMLAR
Puanlama Yanlılıkları Gelişigüzel puanlama, puanlama sırasında puanlayıcı isimlerine göre hareket etme, yazı güzelliğinden etkilenme, iyi bir yanıttan sonra gelen yanıtı olduğundan daha kötü veya tersi biçimde algılama öğrencinin dış görünümü, cinsiyeti, ifade biçimi gibi faktörlerden etkilenerek puanlama yapma puanların geçerliğini düşürebilir..

34

35 GEÇERLİĞİ ETKİLEYECEK DURUMLAR
Kopya Kalabalık ve birbirine çok yakın oturulan sınıflarda öğrencilerin kopya çekme olasılığı yüksektir. Kopya, bir öğrencinin alabileceğinden daha farklı puan almasına neden olabilir.

36

37

38

39 GEÇERLİĞİ ETKİLEYECEK DURUMLAR
Güvenirlik Bir ölçme aracının veya o araçla elde edilen puanların geçerliği için ön koşul onun güvenilir olmasıdır. Güvenirliği konusunda kanıt gösterilemeyen araçların geçerliğini tartışmak yeterince anlamlı değildir. O nedenle, aracın güvenirliği ile ilgili çalışmalar öncelikli olarak ele alınmalıdır.

40 GEÇERLİK TÜRLERİ İÇERİK (KAPSAM) GEÇERLİĞİ ÖLÇÜT GEÇERLİĞİ
YORDAMA GEÇERLİĞİ UYGUNLUK GEÇERLİĞİ YAPI GEÇERLİĞİ GÖRÜNÜŞ GEÇERLİĞİ

41 KAPSAM GEÇERLİĞİ Kapsam geçerliği, bir bütün olarak testin ve testteki her bir maddenin maksada ne derece hizmet ettiğidir Örneğin, öğrencinin basketbol uygulama durumu değerlendirildiğinde sadece pas çalışması ile değerlendirmenin yapılması diğer basketbol tekniklerinin durumunu anlamak için bilgi vermez.

42 ÖLÇÜT GEÇERLİĞİ Bir ölçme aracının geçerliği konusunda kanıt aramak amacıyla karşılaştırılacak ölçütün geçerli bir ölçüt olması zorunludur. Eğer ölçme aracı, geçerli olduğu bilinen bir ölçütle karşılaştırıldığında ölçütle uyumlu sonuçlar veriyorsa, aracın geçerliğinden söz edilebilir. Değilse, ölçme aracının geçerliği düşüktür.

43 Bir ölçüte dayalı Geçerlilik: İki türü vardır:
Yordama Geçerliliği: Puanların ileri performanslara ilişkin tahminlerde dayanak olarak kullanıldığı durumlarda kullanılır. Yordayıcı puanlar, ölçüt puanlardan önce edilir. ÖSS korelasyon Akademik başarı (yordayıcı) (ölçüt) İşe giriş sınavı korelasyon İş yerindeki performans (yordayıcı) (ölçüt)

44 Uygunluk (uyum) Geçerliliği: Ölçüt puanlar, yordayıcı puanlardan önce elde edilir.
Deneme sınavı korelasyon ÖSS (ölçüt) (yordayıcı)

45

46 YAPI GEÇERLİĞİ Birçok ölçme kitabında yapı geçerliği, sadece psikolojik ölçmelerle ilgili görülmüş, eğitimsel ölçmelerde bu tür geçerlik pek söz konusu edilmemiştir. Bazı yazarlar ise, daha önce sözü edilen geçerlik türlerinin bir maksada bağlı olduğunu bu yüzden yapı geçerliğinin, geçerliğin tamamı olarak görülebileceğini öne sürmüşlerdir

47

48 GÖRÜNÜŞ GEÇERLİĞİ Bir ölçme aracının ölçmek istediği niteliği, ölçüyor görünmesi olarak tanımlanabilir. Sözgelişi İngilizce dersinde okuduğunu anlama için hazırlanan bir testin bu niteliği ölçüyor görünmesi gerekir. Metinde, ana ve yardımcı düşüncelerin, olayın geçtiği yer, zaman ve kişilerin karakterleri vb. bilgilerin olması ile görünüş geçerliği vardır denilebilir

49

50 Geçerlik İle Güvenirlik Arasındaki İlişki
Bir test geçerli olmak için güvenilir olmak zorundadır. Güvenirlik geçerlik için gerekli koşuldur, fakat yeterli koşul değildir. Bir testin güvenirliği düşük ise geçerliği de düşüktür. Fakat güvenirliği yüksek olan bir testin geçerliği yüksek olmayabilir, hatta düşük olabilir. Güvenirliği düşük olan bir testin geçerliği ne denli uğraşılırsa uğraşılsın belli bir sınırın üstüne çıkarılamaz.

51 KULLANIŞLILIK Bir ölçme aracının sahip olması istenilen üçüncü nitelik, kullanışlılıktır. Bir testin kullanışlılığı, onun geliştirilmesi, çoğaltılması, uygulanması ve puanlanmasının kolay ve ekonomik olması demektir. Kullanışlı bir test, emek, para ve zaman yönünden ekonomiklik sağlayacak sınırlar içindedir.