BİR ÖLÇME ARACINDA BULUNMASI GEREKEN NİTELİKLER

... konulu sunumlar: "BİR ÖLÇME ARACINDA BULUNMASI GEREKEN NİTELİKLER"— Sunum transkripti:

1 BİR ÖLÇME ARACINDA BULUNMASI GEREKEN NİTELİKLER

2 BİR ÖLÇME ARACINDA BULUNMASI GEREKEN NİTELİKLER
* Geçerlik * Güvenirlik * Kullanışlılık

3 HATA KAYNAKLARI 1. Ölçmeciden kaynaklanan
2. Ölçme aracından kaynaklanan 3. Ölçülen özellikten kaynaklanan 4. Ölçmenin yapıldığı gruptan kaynaklanan 5. Ölçülen özellikten kaynaklanan

4 1. Ölçmeciden Kaynaklanan Hatalar
Ölçmeyi yapan kişinin kişisel özellikleri, Öznel puanlama eğilimi, dikkatsizliği, yorgunluğu vb. Puanlayıcının kendine ait yorumları, puanlayıcı kanıları, farklı bakış açıları, (Aynı kâğıtlar, değişik puanlayıcılar tarafından puanlandığında puanlayıcılar arasındaki görüş, bakış açısı ve yorumlama farklılıkları olabileceğinden dolayı, aynı kişi tarafından farklı zamanlarda yapılan puanlamalarda puanlayıcıların içinde bulunduğu koşullar ölçme sonuçlarına hata karışmasına sebep olabilir.)

5 1. Ölçmeciden Kaynaklanan Hatalar
Puanlamanın nesnel olmaması, öznel kanılara dayalı olması hata kaynağıdır. Bir testten elde edilen puanların, puanlayıcıya ve puanlama zamanına göre değişmemesi; puanlamadaki tesadüfi hataların azlığını yani, testin puanlama güvenirliğinin yüksekliğini gösterir.

6 2. Ölçme Aracından Kaynaklanan Hatalar
Ölçme aracının; Yeterli duyarlılıkta olmaması, bozuk ya da hatalı üretilmiş olması Ölçme aracının yapısından gelen hata kaynaklarından birisi testi oluşturan maddelerin örneklemidir. Ölçütleri davranış ve kapsam bakımından homojen maddelerden oluşan bir test, hetorojen maddelerden oluşan bir testten daha güvenilirdir. Hataya neden olan bir diğer faktör testte yer alan maddelerin kapsamı yeterince örnekleyememesidir.

7 3. Ölçme Ortamdan Kaynaklanan Hatalar
Testin uygulanışı sırasında sınavın uygulandığı dersliğin; sıcaklığı, ışık, havalandırma, gürültü düzeyi, sınav düzeninin kopya çekmeye uygun olması

8 4. Ölçmenin Yapıldığı Gruptan Kaynaklanan Hatalar
Ölçmenin yapıldığı gruba ait bireylerin; ölçme işlemi yaparken içinde bulundukları motivasyon, heyecan, stres, uykusuzluk, dikkat dağınıklığı, ölçme işlemi yapılmadan önce geçirilen kaza, şok, tartışma vb. olumsuz yaşantılar,

9 5. Ölçülen Özellikten Kaynaklanan Hatalar
Ölçülen özelliğin, ölçüm yapılan ortamın fiziki şartlarına uygun olmaması, ölçülen özelliğin tam olarak belirlenmemiş olması, bu özelliğin zamanla değişiyor olması vb.

10 ÖLÇMEDE HATA TÜRLERİ Sabit Hatalar Sistemli Hatalar Rastgele (Tesadüfi) Hatalar

11 Sabit Hatalar Bir ölçümden diğer ölçüme değişmeyen hatalardır. Başka bir ifade ile her bir ölçme için miktarı değişmeyen hatalara sabit hata denir. * Bakkal terazisinin her nesneyi gerçek ağırlığından her ölçümde 50 gr fazla göstermesi * Bir öğretmenin her okuduğu cevap kâğıdına 5 puan fazla vermesi * Hatalı üretim sonucu 1000 gr üretilmesi gereken bir ağırlık 999 gr olarak üretilmişse her yapılan tartımda 1/1000 oranında sabit hata verecektir. * 2 cm eksik üretilen bir cetvelin yapılan her ölçümde 2 cm eksik ölçüm yapması Sabit hata ölçme aracının geçerliğini etkileyen hata türüdür.

12 Sistematik Hatalar Ölçülen büyüklüğe, ölçmeciye veya ölçme koşullarına ve belli durumlara bağlı olarak miktarı değişen hatalardır. Kişi ölçme işinde yanlı davrandığında ortaya çıkan hata türüdür. Bu nedenle bu tür hatalara yanlılık da denir. * Bir öğretmen bayan öğrencilere, erkek öğrencilerden fazla puan veriyorsa bu sistematik hatadır. * Derse devam eden öğrencilere, devam etmeyenlerden daha fazla puan veriliyorsa sistematik hatadır. İki (2) cm eksik üretilmiş bir cetvel ölçüm içinde kullanılmışsa ve bu ölçüm birden fazla yapılmışsa hata miktarı ölçüm aracının kullanım sayısına bağlı olarak artacaktır. Eğer ölçüm aracı iki kez kullanılmışsa 2 x 2 = 4 cm 5 kez kullanılmışsa 5 x 2 = 10 cm hata verecektir.

13 Sistematik Hatalar + Ölçme aracından kaynaklanan ve miktarı değişen hatalar sistematik hatalardır. + Gerek sistematik gerek sabit hatalarda ölçme sonuçlarına karışan hatanın miktarı, yönü ve kaynağı bellidir. + Sistematik hata ölçme aracının geçerliliğini etkileyen hata türüdür. 2008 Bir sınavda her öğrenciye 5 puan fazla verilmesi hataya örnektir. Öğrencilerin puanlarını, aldıkları puanların yüzde 10'u kadar artırmak ise hataya örnek olabilir. Bu parçadaki boşluklara, aşağıdakilerin hangisindeki sözcükler sırasıyla getirilmelidir? A) rastgele - sabit B) rastgele-sistematik C) sabit-sistematik D) sabit - rastgele E) sistematik - sabit

14 Tesadüfi Hatalar Ölçme sonuçlarına tesadüfen karışan, kaynağı, miktarı ve yönü kesin olarak belli olmayan hatalardır. Ölçmenin yapıldığı ortam, ölçmeyi yapan kişinin dikkatsizliği, ölçme aracı vb. gibi birçok hata kaynağından gelen bir hata türüdür. * Öğretmenin sınav kâğıtlarını dikkatsizce okuyup öğrencilerine düşük ya da yüksek not vermesi * Tesadüfî hatalar ölçme sonuçlarına bazen pozitif, bazen negatif yönde karışabilir. Bu nedenle tesadüfî hatalar kontrol edilemez. * Tesadüfî hatalar ölçmenin güvenirliğini etkileyen hatalardır. * Ölçme sonucunda elde edilen veriler üç tür hatayı da içerebilir.

15 Hatanın Geçerlik ve Güvenirliğe Etkileri Tesadüfi (Rastgele) Hata
HATA TÜRÜ Hatanın Kaynağı Ve Yönü Hatanın Geçerlik ve Güvenirliğe Etkileri Temel Özellik Sabit Hata Hatanın kaynağı bilinir ve miktar aynıdır. Ölçme sonucuna karışan hata miktarı sabittir. Geçerliği doğrudan düşürür. Güvenilirliği etkilemez. Her ölçme işlemine hata aynı miktarda ve yönde karışmıştır. Sistematik Hata Ölçme sonucuna karışan hata miktarı değişiktir. Geçerliği doğrudan düşürür. Güvenirliği etkilemez. Hata miktarı ölçümden (Sistemli) ölçüme belli bir oranda artar ya da azalır. Tesadüfi (Rastgele) Hata Hatanın kaynağı bilinmez ve hata miktarı değişiktir. Geçerliği dolaylı düşürür. Güvenirliği doğrudan düşürür. Hatanın kaynağı, yönü ve miktarı bilinmez ve değişiktir. Hata miktarı kuralsız olarak artar ya da azalır. Hatanın sebebini kestirmek oldukça güçtür.

16 GEÇERLİK Bir ölçme aracının ölçmeyi amaçladığı özelliği
başka herhangi bir özellikle karşılaştırmadan, doğru olarak ölçebilme derecesidir. Başka bir deyişle, bir ölçme aracının geliştirilmiş bulunduğu konuda amaca hizmet etmesidir. Ölçme aracında bulunması gereken en önemli özelliktir. Geçerlik katsayısı ( 0.oo ) ile ( + 1.oo) arasında değerler alır. Geçerliğin iki önemli öğesi vardır: Uygunluk Güvenirlik

17 GEÇERLİK TÜRLERİ * Kapsam geçerliği * Ölçüt Geçerliği * Yapı geçerliği
Yordama geçerliği Uygunluk geçerliği Zamandaş geçerliği * Yapı geçerliği * Görünüş geçerliği

18 KAPSAM GEÇERLİĞİ Mantıksal ya da rasyonel yaklaşım
Bir bütün olarak testin ve testteki her bir maddenin amaca ne derece hizmet ettiğidir. Bir testin kapsam geçerliği; o testteki toplam maddelerin ölçülecek davranışları ve konu içeriğini örnekleme derecesine ve testteki her bir maddenin ölçmek istediği davranışı ne derece iyi ölçtüğüne bağlıdır. Bir testin kapsam geçerliği 2 ana yaklaşımla belirlenebilir : Mantıksal ya da rasyonel yaklaşım İstatistiksel yaklaşım

19 Mantıksal yaklaşım KAPSAM GEÇERLİĞİ
Mantıksal olarak kapsam geçerliğini belirlemede, testteki her bir maddenin ve bir bütün olarak testteki maddelerin dağılımının, testin ölçmeye yöneldiği davranışlarla konuları kapsayıp kapsamadığına bakılır. * Testteki maddelerin dağılımının belirtke tablosundaki dağılıma uygun olup olmadığına; * Her bir maddenin, diğer maddelerce ölçülenlerden farklı bir davranışı ölçmeye yönelip yönelmediğine ve * Ölçmeye yöneldiği davranışı ölçmedeki elverişliliğine bakılır. Bir bütün olarak testin ve testteki her bir maddenin ölçmek istenileni ölçüp ölçmediği hakkında bu kişilerce ileri sürülen görüşlere göre, test üzerinde bazı değişiklikler yapılabilir. * Test, aynı dersi okutan başka öğretmenlere, * Konuyu iyi bilen kişilere, * Ölçme değerlendirme uzmanlarına inceletilebilir.

20 İstatistiksel yaklaşım
KAPSAM GEÇERLİĞİ İstatistiksel yaklaşım İki farklı şekilde uygulanır: Bir alanda daha önce geliştirilmiş olan ve o alanın geçerlik ölçüsü olarak kabul edilen, eldeki öğrencilerin seviyesine uygun bir test seçilir. Aynı alanda sonradan geliştirilen yeni test, kapsamı geçerli olarak kabul edilen önceki testle kıyaslanır (Korelasyon Katsayısı). . b) Geliştirilmiş olan bir test; testin geliştirildiği konuda başarılı ve başarısız olarak ayrılan iki gruba uygulanır. O testten başarılı grubun aldığı puanların ortalaması başarısız grubun aldığı puanların ortalamasından anlamlı derecede büyükse test geçerlidir.

21 İstatistiksel yaklaşım
KAPSAM GEÇERLİĞİ İstatistiksel yaklaşım 2010 Bir öğretmen yılsonunda, sözlü sınav puanlarını da dikkate alarak öğrencileri değerlendirmektedir. Öğrencilerin sözlü sınav puanlarını ise her ders sonunda sorduğu sorulara verilen cevaplara birer puan vererek elde etmektedir. Bu öğretmenin, öğrencilere her ders sonundaki değerlendirmelerin toplamıyla sözlü sınav notu vermesinin en önemli nedeni aşağıdakilerden hangisidir? A) Öğrencileri ders çalışmaya teşvik etmek B) Öğrenciler arasında rekabet yaratmak C) Sınavın kapsam geçerliğini artırmaya çalışmak D) Sınava ilişkin kaygı düzeyini azaltmak E) Bireyler arası farkları ortaya koymak

22 YORDAMA GEÇERLİĞİ Yordama; istatistiksel teknikler kullanılarak ve bilinenlerden yararlanılarak, bilinmeyen durumlar hakkında yapılan geleceğe yönelik tahminlerde bulunma işlemidir. Eğitimsel anlamda yordama; genellikle bir testten alınan puanlara dayanılarak, bireylerin belli bir programdaki ya da işteki başarılarını önceden kestirme işlemidir.

23 YORDAMA GEÇERLİĞİ Bir testin yordama geçerliği;
o testten elde edilen puanlarla, testin yordamak için düzenlendiği değişkenin doğrudan ölçüsü olan ve daha sonradan elde edilen ölçüt arasındaki korelasyondur. Buradaki korelasyon katsayısı ise yordama geçerliği katsayısı olarak adlandırılır ve ne kadar büyükse, o oranda yüksek yordama geçerliğine işaret eder.

24 YORDAMA GEÇERLİĞİ 2007 Pazarlama elemanları seçiminde kullanılmak üzere bir test geliştirilmiş ve işe alımlarda bu test uygulanmıştır. Daha sonra, işe alınan elemanların ilk aydaki başarılı satış sayıları ile işe girişte aldıkları test puanları arasındaki uyum incelenmiştir. Yukarıda belirtilen inceleme, uygulanan testin hangi özelliği hakkında bilgi verir? A) Yordama geçerliği B) Yapı geçerliği C) Kapsam geçerliği D) İç tutarlığı E) Puanlayıcılar arası güvenirliği

25 B. Zamandaş (Uygunluk) Geçerliği
- Bir ölçüte dayalı geçerlik belirlenirken, ölçütten elde edilen puanlar, ölçme aracından elde edilen puanlarla (yordayıcı puan) aynı zamanda veya daha önceden elde edilmişse, bu puanlar arasındaki korelasyona dayalı geçerliğe; zamandaş geçerliği adı verilir. - Zamandaş geçerliğini belirlemek için kullanılacak ölçüt veya ölçüt takımları; yordayıcı (geçerliği belirlenecek ölçme aracı) ile aynı anda veya çok yakın zamanda verilen ve aynı veya benzer değişkenleri ölçtüğü bilinen bir testten alınan puanlar, öğretmen görüşleri veya notları, daha önceki yıllara ait okul başarısını temsil eden notlar olabilir. * yüksek öğretim geçiş sınavının (YGS) zamandaş geçerliğini belirleme (Bireylerin orta öğretim kurumlarındaki derslere ait başarı puanları ortalaması (OÖBP) ölçüt olarak kabul edilebilir. YGS'den elde edilen puanlarla, OÖBP (ölçüt puanlar) arasındaki korelasyon hesaplanarak zamandaş geçerliği belirlenebilir.

26 cevaplar arasındaki ilişkilerin analizine dayanır.
4. Yapı Geçerliği Yapı, birbiriyle ilgili olduğu düşünülen belli öğelerin ya da öğeler arasındaki ilişkilerin oluşturduğu bir örüntüdür. Bir testin yapısını geçerleme süreci; temelde, testin maddelerine verilen cevaplar arasındaki ilişkilerin analizine dayanır.

27 4. Görünüş geçerliği, bir testin gerçekten ne ölçtüğüyle değil, onun ne ölçüyor göründüğüyle ilgilidir. Bir testin görünüş geçerliği, o testin ölçmek istediği şeyi ölçüyor görünmesidir.

28 5. Sonuçsal Geçerlik * Yapılandırmacı bilgi felsefesinin öğrenme ve öğretme süreçleri üzerindeki etkisine bağlı olarak ortaya çıkmıştır. * Öğrencinin öğrenme ve öğretme sürecine etkin katılımını, kendi öğrenme düzeyini sorgulayarak yönetebilmesini, öğrenme ile değerlendirme etkinliklerinin iç içe kullanılmasını gerekli kılan alternatif değerlendirme yaklaşımlarıyla ilgilidir. * Geçerlik kavramı öz, akran, ortak ve biriktirim değerlendirme gibi alternatif değerlendirme yaklaşımlarının amaçlarını da içerecek şekilde genişletilmiştir.

29 (portfolyo, performans, rubrik, öz, akran değerlendirme vb)
+ Sonuçsal geçerlikle ilgili dikkat edilmesi gereken önemli bir nokta, daha çok değerlendirme işleminin geçerliğinin sorgulandığıdır. + Başarı testlerinde öncelikli olarak aranan geçerlik türü kapsam geçerliğidir. + Psikolojik testlerde yani ilgi, tutum, zekâ, yetenek vb. testlerde öncelikli olarak aranan geçerlilik türü yapı geçerliğidir. + Alternatif ölçme değerlendirme araçlarında (portfolyo, performans, rubrik, öz, akran değerlendirme vb) öncelikli olarak aranan geçerlik türü sonuçsal geçerliktir.

30 Kapsam geçerliği Bir ölçme aracının yoklanması gereken tüm davranışları kapsayıp kapsamadığı ile ilgilidir. Görünüş geçerliği Testin hangi davranışları ölçtüğünün görülmesi ile ilgilidir. Yordama geçerliği Puanların ileri performanslara ilişkin tahminlerde dayanak olarak kullanıldığı durumlarda kullanılır. Zamandaş (uygunluk) Ölçüt puanların ölçme aracından elde edilen puandan önce elde edilmesi durumunda kullanılır. Yapı geçerliği Psikolojik testlerde aranan bir özelliktir. Bir ölçme aracının ölçmek istediği bir yapıyı ölçebilmesiyle ilgilidir. Örneğin; zekâ, tutum, yetenek, ilgi vb... Sonuçsal geçerlik Değerlendirmenin öğrenme üzerindeki etkisine dayanır. Aktif öğrenme sürecinde kullanılan alternatif ölme araçları öğrenci üzerinde beklenen etkiyi sağlıyorsa bu ölçme aracının sonuçsal geçerliğinden söz edilebilir.

31 ÖLÇMEDE GEÇERLİLİĞİ ETKİLEYEN FAKTÖRLER
1. Testte yer alan bütün sorular ölçülmek istenen özellikle ilgili olmalıdır. 2. Test kapsam bakımından uygun olmalıdır. Çok dar veya geniş kapsamı olan testlerin geçerliliği düşüktür. 3. Ölçüm yaparken dış etkenlerden etkilenmeden işlemleri yürütmek geçerliliği yükseltir. 4. Testin çok kolay veya zor olması geçerliği düşürür. 5. Cevaplama için verilen süreye dikkat edilmelidir. 6. Şıklı soruların cevaplarının alt alta gelmesi geçerliği düşürür. 7. Ölçme işlemine karışan sabit ve sistematik hatalar geçerliği düşürür. 8. Sınavda ölçülecek davranışları uygun maddeler ile ölçmek geçerliği artırır.

32 ÖLÇMEDE GEÇERLİLİĞİ ETKİLEYEN FAKTÖRLER
9. Sınavın ölçmeyi hedeflediği özelliklerden başka özellikleri ölçmesi geçerliği düşürür. (Matematik sınavında yazı güzelliğine puan verilmesi) 10. Soru belirsizliği geçerliği düşürür. 11. Madde ayırt edicilik gücü arttıkça geçerlik artarken, ayırt edicilik gücü azaldıkça geçerlik düşer. 12. Puanlama yanlılığı geçerliği düşürür. 13. Sınavlarda kopya çekilmesi geçerliği düşürür. 14. Öğretmen tarafından aynı soruların farklı sınıflarda ve yıllarda kullanımı geçerliği düşürür.

33 BİR TESTİN GEÇERLİLİGİNİ ARTIRMA YOLLARI
*. Her soru ölçmek istediğimiz davranışlardan en az birini ortaya çıkarıcı ve ölçücü olacak biçimde hazırlanmalıdır. *. Her soru, ölçülen davranışa sahip olanlarla olmayanları ayırıcı biçimde hazırlanmalıdır. *. Geçerlilik özelliğini sağlamak için testi muhakkak güvenilir biçimde hazırlamak gerekir. Çünkü güvenilir olmayan test, zaten geçerli de değildir. * Test, ders programını hem kapsayıcı, hem de dengeli biçimde temsil edici nitelikte hazırlanmalıdır. *. Testin güçlük derecesi ile geçerlilik özelliği arasında yakın ilişki vardır. Testin zorluk derecesi puanların kullanılış amacına göre değişecektir. Genel olarak; soruların; % 10'u çok zor, % 20'si zor, % 40'ı vasat, % 20'si kolay ve % 10'u çok kolay olacak tarzda hazırlanırsa, sınavın geçerliliği yükselir.

34 * Aynı sorular hiç değişmeden yıllarca üst üste kullanılmamalıdır.
*. Öğrencilere sınavdan önce ipucu olabilecek bilgiler vermek ya da bir kısım soru yazdırıp içinden bazılarını sormak da geçerliliği düşürür. *. Cevap kâğıtlarının puanlanmasında ortaya çıkacak bir yanlışlık (Dikkatsizlik ya da yanlı davranma) da geçerliliği düşürür. * Sınavda kopya yapılması da geçerliliği düşürür. ********** 2009 Bir araştırmacı çoklu zekâ alanlarını ölçmek amacıyla geliştirdiği çok boyutlu testi, dil bilimi, matematik, resim, heykel, müzik, beden eğitimi, iletişim, psikoloji bölümlerindeki öğrencilere uygulamıştır. Uygulama sonucunda farklı bölümlerdeki öğrencilerin kendi alanıyla ilgili sorulardan yüksek, diğer alanlardaki sorulardan ise daha düşük puan aldıklarını saptamıştır. Buna göre, ölçme aracı için aşağıdakilerden hangisi söylenebilir? A) Amaca hizmet etme derecesi düşüktür. B) Hata düzeyi düşüktür. C) Geçerliği yüksektir. D) Kullanışlılığı yüksektir. E) Güvenirliği düşüktür.

35 GÜVENİRLİK Ölçüm sonuçlarının her ölçüm yapıldığında aynı olması,
ölçmenin hatadan arınık olması durumudur. Ölçme aracının, ölçmeyi amaçladığı özelliği ne kadar duyarlı ve tutarlı ölçtüğü ölçmede güvenirliği belirler. * Güvenilir bir ölçme aracı, aynı özellikle ilgili olarak arka arkaya yapılan ölçmelerde yaklaşık olarak aynı sayısal sonucu verir. * Güvenilir bir test aynı gruba iki ya da üç kez uygulandığında yaklaşık olarak gruptaki her kişi her uygulamada aynı puanı almalıdır. * Bir ölçme işlemine ne kadar fazla hata karışırsa, ölçmedeki tutarlılık ve kararlılık o oranda ortadan kalkacaktır. * Ölçme hatası ile ölçme aracının özelliklerinden biri olan güvenirlik arasında ters bir ilişki vardır. Hata miktarı arttıkça güvenirlik düşer.

36 GÜVENİRLİK * 100 cm olması gereken bir cetvel hatalı üretim sonucu 98 cm üretilmişse bu ölçüm aracı ile yapılan ölçüm güvenilir kabul edilir. Fakat bu ölçüm geçerli değildir. * Bir testin ölçmek istediği özelliği doğru olarak ölçebilmesi için, o testin, ilkin, söz konusu özelliği tutarlı olarak ölçmesi gerekir. * Güvenirlik geçerliğin tek güvencesi değildir. Son derece güvenilir bir test, kullanıldığı maksat için çok küçük bir geçerliğe sahip olabilir. Güvenirlik bir ölçme aracının kararlılığı ve tutarlılığı ile ilgilidir. 1. Bir ölçme sonucu, içindeki tesadüfî hataların azlığı oranında güvenilir sayılır. 2. Güvenirlik bir bakıma ölçme sonuçlarının tesadüfî hatalardan arınıklık derecesidir. 3. Güvenirlik ölçmelerin duyarlılık derecesini ifade eden kavramdır. 4. Güvenirlilik katsayısı hemen her zaman (O) ile (+1) arasında değişir.

37 Ölçmede güvenirliği belirleyen üç temel özellik
GÜVENİRLİK Ölçmede güvenirliği belirleyen üç temel özellik 1. Duyarlılık * Ne kadar az hata yapılırsa duyarlılık o kadar fazla olur. * Ölçme aracının birimi ne kadar küçük olursa o oranda hassas ölçüm yapar. * Altın tartarken kg yerine miligram kullanılması veya sınavda az soru yerine çok soru sorulması duyarlılığı arttırır. 2. Tutarlılık * Bir özellik, bir çok kez aynı ölçüm aracı ile ölçüldüğünde aynı veya çok yakın değerler veriyorsa o kadar tutarlıdır. 3. Kararlılık * Bir nitelik aynı araçlarla birden fazla ölçüldüğünde, birbirinden farklı olmayan sonuçlar çıkarsa, ölçme aracı kararlıdır.

38 GÜVENİRLİK KESTİRME YOLLARI
1. Test - Tekrar Test Yöntemi (Kararlılık Katsayısı) 2. Eşdeğer Formlar Yöntemi (Paralel Testler Yöntemi - Eşdeğerlik Katsayısı) 3. Eşdeğer Yarılama Yöntemi (Bir testin iki yarıya bölünmesi yöntemi-iç tutarlılık katsayısı) 4. İç Tutarlılık Yöntemi (Iç tutarlılık katsayısı) 5. Kuder - Rıchardson 20 Ve 21 Formülleri (KR-20 ve KR-21) 6. Cronbach Alfa

39 1. Test - Tekrar Test Yöntemi (Kararlılık Katsayısı)
Bir testin aynı cevaplayıcı grubuna belirli bir zaman aralığı bırakılarak iki defa uygulanmasıdır. Bu yaklaşım, "iki uygulama arasında geçen zaman içerisinde ölçülen özelikte önemli değişikliğin olmadığı" sayıltısına dayanır. Bu sayıltının karşılanabilmesi için iki ölçüm arsında geçen süre önemlidir. Yani, süre ne kadar kısalırsa korelasyon o kadar yüksek; süre ne kadar uzarsa korelasyon da o kadar düşük çıkabilir. İki uygulama arasında geçen süre, ne hatırlanacak kadar kısa ne de testle ölçülen özelikler bakımından öğrencilerin değişebileceği kadar uzun tutulmalıdır. Bu yöntem daha çok ilgi - tutum - yetenek testlerinde uygulanır. Çünkü ilgi - tutum - yetenek iki ölçümde değişmez.

40 2007 Lisedeki bir rehber öğretmen öğrencilerin mesleki ilgilerini belirlemek için mesleki ilgi envanteri geliştirmiştir. Güvenirliğini belirlemek için bu envanteri aynı öğrencilere altı hafta arayla iki kez uygulamış ve iki uygulamadan elde edilen ölçüler arasındaki ilişkiyi (korelasyon) 0,45 bulmuştur. Aşağıdakilerden hangisi, bu korelasyon değerinin düşüklüğü için gerekçe olarak gösterilemez? A) Ölçülen özellik kolay değişme gösteren bir yapıdadır. B) iki uygulamanın koşulları birbirinden oldukça farklıdır. C) Öğrenciler maddelere yanıt verirken gerçekçi davranmamışlardır. D) Sorular her okumada farklı anlamlara gelebilmektedir. E) iki uygulama arasında geçen süre çok kısadır.

41 2. Eşdeğer Formlar Yöntemi
(Paralel Testler Yöntemi - Eşdeğerlik Katsayısı) * İki eşdeğer formu aynı cevaplayıcı grubuna aynı anda veya kısa zaman aralığı bırakılarak uygulanır. * İki uygulama arasındaki korelasyon katsayısı hesaplanır. Bulunan katsayı "eşdeğerlik katsayısı" olarak bilinir. * Bulunan katsayının yüksek oluşu her iki formun da güvenilir olduğuna, düşük oluşu her iki formun da güvenirliğinin düşük olduğuna işaret eder.

42 3. Eşdeğer Yarılama (Testin iki yarıya bölünmesi)
3. Eşdeğer Yarılama (Testin iki yarıya bölünmesi) (İç Tutarlılık Katsayısı) Yöntemi Aynı testin iki ayrı formu (50 soruluk testin 1-25 numaralı soruların sonuçları ile numaralı soruların sonuçları) veya tek numaralı soruların (1,3,5,7, ...) sonuçları ile çift numaralı soruların (2, 4, 6, 8, ...) sonuçlarının korelasyonunun hesaplanarak güvenirliğin bulunmasıdır. Test güvenirliği tahmin işinde en çok kullanılan yöntemdir. Bu yöntem testin iç tutarlılık katsayısını verir.

43 5. Kuder - Rıchardson 20 Ve 21 Formülleri
İçindeki her bir maddenin güçlük derecesi, yani her bir maddeye doğru cevap veren öğrencilerin oranı (p) hesaplanan bir testin güvenirliğini tahmin için, duruma göre Kuder Richardson 20 ve 21 formüllerinden birisi kullanılabilir. Kuder-Richardson formülleri, testteki her bir maddenin aynı değişkeni ölçtüğü, yani testin ölçtüğü şeyin homojen olduğu sayıltısına dayanır.

44 KR-20 FORMÜLÜ * KR-20 iç tutarlılık güvenirliği teste yer alan her bir maddenin madde güçlük indekslerinin bilinmesi durumunda kullanılabilir. * KR-20 yöntemiyle bir testin bütün maddelerinin birbiriyle ne kadar tutarlı olduğu kestirilebilir. * Kuder-Richardson 20 formülü, sadece doğru cevaplandırılan maddelere (1) bir puan vererek, yanlış cevaplandırılan ve boş bırakılan maddelere ise (O) sıfır puan vererek puanlanan testlere uygulanabilir. * Eğer testteki maddeler farklı ağırlıklarla puanlanmışsa veya test puanları şans başarısı için düzeltilmişse KR-20 formülü kullanılmaz.

45 KR-20 FORMÜLÜ Elde edilen değer yüksekse (1.oo’e yakınsa),
Kuder-Richardson 20 formülü ile elde edilen değerlerle ilgili şu yorumlar yapılabilir: Elde edilen değer yüksekse (1.oo’e yakınsa), maddeler arasındaki iç tutarlılık oldukça yüksektir. Bu güvenirlik katsayısına göre, * Test puanlarının tesadüfî hatalardan arınık olduğu; * Test maddelerinin homojen olduğu; * Testle ölçülen değişkenin tek boyutlu olduğu; * Test maddelerinin birbiriyle uyumlu olduğu ve aynı değişkeni ölçtüğü; * Testin uygulandığı grubun heterojen olduğu; * Yapı geçerliliğinin yüksek olduğu yorumları yapılabilir.

46 KR - 21 FORMÜLÜ Bir testteki maddelerin güçlük dereceleri birbirinden
önemli ölçüde farklı değilse, yani testteki tüm maddelerin güçlük derecelerinin eşit olduğu düşünülürse, o testin güvenirliğini tahmin için KR-21 formülü kullanılabilir. Bu formülün bir sınırlılığı vardır: Eğer testteki maddeler güçlük bakımından birbirlerinden oldukça farklı ise, bu formül, güvenirlik katsayısının alt sınırını verir. Bu yüzden KR-21 formülüyle bulunan değeri iyi bir güvenirlik tahmini kabul edebilmek için testteki maddelerden bazılarının aşırı derecede güç olmaması gerekir.

47 Hız testlerinde iç tutarlılık katsayısı yanıltıcı sonuç verir.
Cevaplama hızı, testte önemli bir etkense, yani öğrencilerin çoğunluğu her bir maddeye cevaplama zamanı bulamamışsa, KR formülleriyle tahmin edilen güvenirlik katsayısı olduğundan büyük çıkar. * Bu formüller, testin bütünü öğrencilerin yüzde 90'ınca cevaplandırılmadıkça kullanılmamalıdır. * Testteki bütün maddelerin aynı güçlük derecesinde farz edilerek KR - 20 formülünden, onun özel hali olan KR - 21 simgesiyle bilinen formül çıkartılmıştır.

48 FORMÜLLERİ ARASINDAKİ İLİŞKİ
KR-20 ve KR-21 FORMÜLLERİ ARASINDAKİ İLİŞKİ * KR-21 ile hesaplanan güvenirlik katsayısı, KR20 ile hesaplanan güvenirlik katsayısından her zaman küçüktür. * KR-21 ile hesaplanan güvenirlik katsayısı KR20 ile hesaplanan güvenirlik katsayısından küçük çıktığı için; bir güvenirlik için KR-21 ile hesaplanan değer testin güvenirlik katsayısının alt sınırı olarak kabul edilir. * Bir testin güvenirlik katsayısı ister KR-20 ile ister KR-21 ile hesaplansın, yapılacak yorum değişmez. * KR-20= 0,95 ve KR-21 = 0,90 ise her iki sonuç için de testin iç tutarlılık katsayısının yani güvenirliğinin yüksek olduğu yorumu yapılır.

49 FORMÜLLERİ ARASINDAKİ İLİŞKİ
KR-20 ve KR-21 FORMÜLLERİ ARASINDAKİ İLİŞKİ KR-20 ve KR-21 güvenirlik katsayısı yüksek ise aşağıdaki yorumlar yapılabilir: * Uygulanan test tesadüfi hatalardan arınıktır. * Ölçülen değişken tek boyutludur. * Testin uygulandığı grup heterojen yapıdadır. * Testi oluşturan maddeler homojendir. * Testin yapı geçerliği yüksektir.

50 Ölçmede güvenirliği artırmak için dikkat edilecek hususlar
1. Test sorularının sayısı arttıkça güvenirlilik artar. SORU 50 maddelik ölçme testinin güvenirlik katsayısı r = 0,75 olarak bulunmuştur. Bu teste aynı güçlük düzeyinde 25 madde daha eklenirse madde eklenmiş testin güvenirlik katsayısı ( r ) kaça çıkmış olur? N = 75 / 50 = 1,5 Sperman Brown 23: r = n . r 1 + (n – 1) . r Sperman Brown 23: r = ,5 . 0, = 0,81 1 + (1,5 – 1) . 0,75 2. Test uygulanacak kişilerin seviyesine ne kadar uygunsa güvenirlilik o kadar yüksektir. 3. Sınav soruları yönergesi ne kadar açık ve anlaşılır olursa güvenirlik o kadar artar.

51 Ölçmede güvenirliği artırmak için dikkat edilecek hususlar
4. Sınav süresinin iyi ayarlanması güvenirliği artırır. 5. Sınavın zorluk derecesinin orta seviyede olması güvenirliği artırır. 6. Yazılı sınavlarda cevap anahtarının önceden hazırlanması güvenirliği artırır. 7. Öğrencilerin kopya çekmelerine müsaade edilmemeli ve uygun sınıf ortamı hazırlanmalıdır. 8. Test sınavları yazılı sınavlardan daha güvenilirdir. 9. Sınav öncesi ve sınav esnasında öğrencilerin motivasyonunun artırılması güvenirliği artırır. 10. Cevaplayıcının motivasyonu güvenirliği artırır.

52 Ölçmede güvenirliği artırmak için dikkat edilecek hususlar
11. Sınavın objektif olarak puanlanabilmesi güvenirliği artırır. 12. Öğrencilerin yeterince güdülenmediği sınavlarda boş bırakılan ve cevaplandırılmayan sorular güvenirliği düşürür. 13. Ölçme ya da puanlama işine hata (sabit-sistematik-tesadüfi) karışması güvenirliği düşürür. 14. Duyarlılığı yüksek araç ve yöntemler güvenirliği artırır. 15. Testin uygulandığı grubun hetorojen olması güvenirliği artırır. 16. Madde ayırıcılık gücü büyüdükçe güvenirlik artar.

53 2008 Bir öğretmen aynı kapsamda ve düzeyde iki ayrı sınav hazırlamış ve aynı gruba uygulamıştır. Bu sınavların özellikleri şöyledir: * Birinci sınavda 25 soru vardır ve her soru 4 puan değerindedir. * İkinci sınavda 10 soru vardır ve her soru 10 puan değerindedir. "Birinci sınavdan elde edilen puanların güvenirliği daha yüksektir." diyen bir kişi bu iddiasını aşağıdaki açıklamalardan hangisiyle destekleyebilir? A) Bir sınavda yanıtların nasıl puanlanacağı kullanılan soru tipine göre değişir. B) Puanlamanın nesnelliği ölçmeden kaynaklanabilecek hatayı azaltır. C) Soruların ayırt edicilik dereceleri test puanlarının güvenirliğini etkiler. D) Sorulan n güçlük dereceleri test puanlarının güvenirliğini etkiler. E) Testteki soru sayısı arttıkça ölçme sonuçlarına karışan hata miktarı azalır.

54 2006 Hazırladığı testin güvenirliğini artırmak isteyen bir
2006 Hazırladığı testin güvenirliğini artırmak isteyen bir öğretmen öncelikle aşağıdakilerden hangisini sağlamaya çalışmalıdır? A) Testteki soruların ve seçeneklerin dil bilgisi kurallarına uygun olmasını B) Soruların açık, net ve anlaşılır olmasını C) Seçenekler ile soru kökünün ifade bakımından birbirleriyle tutarlı olmasını D) Test kapsamında ölçülmek istenilen her özelliğe ·ait soru bulunmasını E) Seçeneklerin birbirine eşit ya da yakın uzunlukta olmasını

55 GEÇERLİLİK İLE GÜVENİRLİLİK
ARASINDAKİ İLİŞKİ *. Bir testin geçerliliği güvenirliğini sınırlar. *. Güvenirlik geçerlilik için gerekli koşuldur, fakat yeterli koşul değildir. *. Bir testin güvenirliği düşük ise geçerliliği de düşüktür. Fakat güvenirliği yüksek olan bir testin geçerliliği yüksek olmayabilir, hatta düşük olabilir. *. Güvenirliği düşük bir testin geçerliliği ne kadar uğraşılırsa uğraşılsın belli bir sınırın üzerine çıkarılamaz. Bu sınır güvenirlik katsayısının kareköküdür. *. Bir test için geçerlilik katsayısı o testin güvenirlik katsayısının karekökünü geçemez. * Geçerlilik güvenirliği kapsar. r=

56 GEÇERLİLİK İLE GÜVENİRLİLİK
ARASINDAKİ İLİŞKİ * Bir testin birinci dereceden en önemli özelliği geçerliliktir. * Güvenirlik geçerlilik yüksek olduğu durumlarda dikkate alınması gereken ikinci önemli özelliktir. *. Güvenilir bir ölçme aracı aynı zamanda geçerli olmayabilir. *. Sistemli, sabit, rastgele hatalar geçerliliği düşürür. Güvenirlik ise sabit ve sistemli hatalardan etkilenmeyip sadece rastgele hatalardan etkilenir. * Bir ölçmenin kararlılığı güvenirliğe, kararsızlığı ise rastgele ve geçici hatalara karşılık gelir. r=

57 GEÇERLİLİK İLE GÜVENİRLİLİK
ARASINDAKİ İLİŞKİ * Bir testin birinci dereceden en önemli özelliği geçerliliktir. * Güvenirlik geçerlilik yüksek olduğu durumlarda dikkate alınması gereken ikinci önemli özelliktir. *. Güvenilir bir ölçme aracı aynı zamanda geçerli olmayabilir. *. Sistemli, sabit, rastgele hatalar geçerliliği düşürür. Güvenirlik ise sabit ve sistemli hatalardan etkilenmeyip sadece rastgele hatalardan etkilenir. * Bir ölçmenin kararlılığı güvenirliğe, kararsızlığı ise rastgele ve geçici hatalara karşılık gelir. r=

58 2010 Osman Öğretmen'in elinde her bir konu için güçlük ve ayırt edicilikleri belirlenmiş maddeler yer almaktadır. Osman Öğretmen uygulayacağı sınavda dört konudan beşer madde kullanmayı planlamaktadır ancak ikinci konuyla ilgili elinde yeterli ayırıcılıkta madde olmadığını görür. Bunun üzerine ikinci konuya ilişkin sorular yerine, üçüncü konu kazanımlarını ölçmek üzere yazılmış ve yüksek ayırt edicilik sağlayan maddeleri kullanır. Osman Öğretmen'in bu kararı sınavın güvenirliğini ve geçerliğini nasıl etkilemiştir? A) Güvenirliği etkilememiş, geçerliği artırmıştır. B) Güvenirliği artırmış, geçerliği etkilememiştir. C) Güvenirliği artırmış, geçerliği azaltmıştır. D) Güvenirliği ve geçerliği azaltmıştır. E) Güvenirliği azaltmış, geçerliği etkilememiştir.

59 KULLANIŞLILIK Bir ölçme aracının kullanışlılığı; hazırlanmasının
çoğaltılmasının uygulanmasının verilerin toplanmasının ve puanlamasının kolay ve ekonomik olmasıdır. * Kullanışlılık, testi hazırlayan, uygulayan cevaplayan ve puanlayan için kolay olmalıdır. * Bir ölçme aracı için en önemli özellik geçerliliktir. Yani amaca ulaşma derecesi, güvenirlilik, geçerlilik yüksek olduğunda dikkate alınan ikinci özelliktir. Bu iki özellik uygun olduğunda kullanışlılık dikkate alınır.

60 KULLANIŞLILIK Ölçme araç ve yöntemlerinin kullanışlılığı hakkına
bir yargıya varılırken şu noktaların dikkate alınması gerekir. 1. Ekonomiklik 2. Hazırlama süresi 3. Uygulama süresi 4. Hazırlayıcı ve uygulayıcıların nitelikleri: 5. Cevaplayıcının nitelikleri 6. Uygulama kolaylıkları 7. Puanlama kolaylıkları 8. Puanları yorumlama kolaylıkları

61 2010 Genel yetenek testinde matematiksel ilişkilerden yararlanma gücünü ölçmeyi amaçlayan bir araştırmacı, ilk olarak 80 soruluk bir sınav hazırlamış ve ön deneme uygulaması yapmıştır. Ön deneme sonunda iç tutarlık katsayısını 0,93 olarak hesaplamıştır. Sınavın cevaplanmasının çok uzun zaman aldığını gören araştırmacı, en düşük ayırt ediciliğe sahip 30 maddeyi sınavdan çıkarmıştır. Kalan 50 maddelik form için 0,85 olarak hesapladığı iç tutarlık katsayısını yeterli gören araştırmacı, testini bu şekliyle kullanmaya karar vermiştir. Bu araştırmacı ön deneme uygulaması ve devamındaki işlemlerde sınavının hangi özelliğini artırmıştır? A) Güvenirliğini B) Kapsam geçerliğini C) Kullanışlılığını D) Objektifliğini E) Yapı geçerliğini r=

62 ÖLÇMENİN STANDART HATASI
Elde edilmiş puanlar dağılımının standart kayması (S) ve o puanların güvenirlik katsayısı ( r ) bilinirse, ölçme hataları konusunda herhangi bir bilgi olmaksızın, bireysel puanlardaki ölçme hatalarının standart kayması tahmin edilebilir. Bulunan değer, ölçmenin standart hatası olarak adlandırılır. Ölçmenin standart hatası formülü Sem= S r Sem = Ölçmenin standart hatası S = Elde edilen puanların standart kayması r = Elde edilen puanların güvenirlik katsayısı

63 ÖLÇMENİN STANDART HATASI
Güvenirlik katsayısı 0,84 ve standart kayması 12 olan bir testin standart hatası kaçtır? Sem = ,84 Sem = 4,8 puan hata vardır. + Ölçmenin standart hatası azaldıkça güvenirlik artar. Yani güvenirlik katsayısı (+ 1) ise ölçmenin standart hatası (O)'dır. + Güvenirlik katsayısı arttıkça (büyüdükçe) standart hata (sapma) düşer. Yani biri artarken diğeri azaldığı için aralarında ters orantı vardır.

64 BİR TEST PUANININ GÜVENİRLİĞİ
Bir test puanı, ölçek üzerindeki tek bir noktadan ziyade, iki nokta arasındaki bir aralık olarak düşünülmelidir. Bu aralık, standart hata yardımıyla çeşitli olasılıklara göre hesaplanabilir. SORU Bir testten elde edilen puanlar dağılımının standart kayması 6, güvenirliği de 0,75 olarak bulunmuştur. Bir öğrencinin o testten aldığı puan da 50'dir. Bu bireysel test puanı hakkında ne söylenebilir? Ölçmenin standart hatası (Sem = 6V1 -75) = 3 olarak bulunur. Şimdi % 68, % 95, % 99 olasılık düzeylerinde o kişinin gerçek ya da evren puanının hangi sınırlar içinde bulunacağını belirleyelim:

65 BİR TEST PUANININ GÜVENİRLİĞİ
Üst sınır: Gözlenen puan (50) + 1 Sem. = = 53 Alt sınır: Gözlenen puan (50) - 1 Sem. = = 47 (% 68 olasılıkla, alınabilecek en yüksek puan 53, en düşük puan ise 47’dir.) Üst sınır: Gözlenen puan (50) + 2 Sem. = = 56 Alt sınır: Gözlenen puan (50) - 2 Sem. = = 44 (% 95 olasılıkla, alınabilecek en yüksek puan 56, en düşük puan ise 44’tür.) Üst sınır: Gözlenen puan (50) + 3 Sem. = = 59 Alt sınır: Gözlenen puan (50) - 3 Sem. = = 41 (% 99 olasılıkla, alınabilecek en yüksek puan 59, en düşük puan ise 41’dir.)

66 SORU Tarih testinden elde edilen puanların standart sapması (S) = 3, güvenirlik katsayısı 0,75 ve öğrencinin ham puanı 65 ise bu öğrencinin tarih testinden (% 68 - % 95 - % 99 olasılıkla) alabileceği en yüksek ve en düşük puan kaçtır?