Ölçeklerde Aranan Özellikler a) Geçerlik b) Güvenirlik c) Kullanışlılık Bu özelliklerden en önemlisi geçerlik, sonra güvenirlik, sonuncusu ise kullanışlılıktır.

... konulu sunumlar: "Ölçeklerde Aranan Özellikler a) Geçerlik b) Güvenirlik c) Kullanışlılık Bu özelliklerden en önemlisi geçerlik, sonra güvenirlik, sonuncusu ise kullanışlılıktır."— Sunum transkripti:

1 Ölçeklerde Aranan Özellikler a) Geçerlik b) Güvenirlik c) Kullanışlılık Bu özelliklerden en önemlisi geçerlik, sonra güvenirlik, sonuncusu ise kullanışlılıktır.

2 a) Ölçme Aracının Geçerliği Geçerlik, bir ölçme aracının ölçmeyi amaçladığı özelliği, başka herhangi bir özellikle karıştırmadan, doğru ölçebilme derecesidir. Bir ölçeğin geçerliği sadece yapılan ölçümlerle belirlenemez. O ölçeğin, kullanış amacına, uygulandığı gruba, uygulama ve puanlama biçimine de bağlıdır.

3 Ölçeğin geçerlik düzeyi, onun geçerlik katsayısının hesaplanmasıyla anlaşılır. Geçerlik katsayısı, ölçekten elde edilen değerlerle ölçeğin kullanılış amacına göre belirlenen kriter ya da kriterler takımı arasındaki ilişki katsayısıdır ve –1.00 ile arasında değerler alır. Korelasyon katsayısı ne kadar yüksekse ölçek amaca o kadar yüksek hizmet ediyor demektir.

4 Geçerlik Türleri a) Kapsam geçerliği b) Kriter geçerliği c) Yapı geçerliği c) Görünüş geçerliği

5 a) Kapsam geçerliği Kapsam geçerliği, bir bütün olarak ölçeğin ve ölçekteki her bir maddenin amaca ne derece hizmet ettiğidir. Kapsam geçerliğini belirleme yöntemleri: - Mantıksal Yol: Ölçüm konusu kavramsal olarak tanımlanır. Tanımlanan kavram doğrudan ölçüye vurulamayacağı için ölçekteki her maddenin ve bunların dağılımının ölçüm konusunu örnekleyip örneklemeyeceği araştırılır. Uzman kanaatlerine dayanır. - İstatistiksel Yol: İlgilenilen alanda daha önceden geliştirilmiş olan ve ilgilenilen alanın geçerli ölçüsü olarak kabul edilen standart bir ölçek ve yeni geliştirilen ölçek aynı anda bireylere uygulanır ve bireylerin her iki ölçekten aldıkları puanlara göre ilişki katsayısı hesaplanır.

6 b) Kriter geçerliği Ölçeğin etkinliğini belirlemek amacıyla, ölçekten elde edilen puanlarla belirlenen kriter arasında, gelecekteki veya o andaki ilişkiyi inceler. Kriter geçerliği türleri: - Kestirimsel Geçerlik (Yordama Geçerliği): Bir ölçeğin kestirimsel geçerliği, o ölçekten elde edilen kestirimsel puan ile ölçülmek istenen özellikleri ölçtüğü bilinen kriter arasındaki korelasyonun hesaplanmasıyla elde edilir. (Regrasyon) - Uyum Geçerliği: Eşzamanlı olarak geliştirilen ölçekten elde edilen puanlarla, belirlenen kriter arasındaki korelasyon uyum geçerliği olarak değerlendirilir.

7 c) Yapı geçerliği Yapı birbirleriyle ilgili olduğu düşünülen belli öğelerin ya da öğeler arasındaki ilişkilerin oluşturduğu bir örüntüdür. Yapı geçerliğinin basamakları: 1. Ölçek performansını ölçmede kullanılacak yapının tanımlanması 2. Tanımlanmış yapının altında yatan teoriden ölçek performansı ile ilgili sınanabilir hipotezler çıkarmak 3. Çıkarılan hipotezleri sınamak için deneysel ve istatistiki çalışmalar yapma ve yorumlamalarda bulunmak. (Faktör analizi)

8 Faktör Analizi: Temel amaç değişken sayısını azaltmaktır
Faktör Analizi: Temel amaç değişken sayısını azaltmaktır. - Analize katılan bütün değişkenler birbiriyle ilişkili. - Bu değişkenlerin bazıları birbirleriyle daha kuvvetli ilişkilidir. - O halde kuvvetli ilişki sahibi değişkenleri birbiri ile birleştirerek sayısını azaltmak için faktör analizi yapılır.

9 Araştırmada kullanılan örneklemin yeterliliğini ölçmek için Kaiser-Mayer-Olkin (KMO) ve Barlett’s Test of Sphericity (BTS) testleri kullanılr. Faktör analizinin uygulanabilmesi için KMO testinin .50 den daha büyük olması gerekir. KMO değeri 0.00 ile 1.00 arasında değişim göstermektedir nin altındaki değerlerde faktör analizi yapmak uygun değildir. KMO istatistiğinde, 0.50 ve 0.70 arasındaki değerler “orta düzey”, 0.70 ve 0.80 arasındaki değerler “iyi”, 0,80 ve 0.90 arasındaki değerler “çok iyi” ve 0.90 ve üzerindeki değerler de “mükemmel” olarak kabul görür. Bartlett’s Test of Sphericity anlamlılık değerinin .05’den daha küçük bir değeri göstermesi gerekir. Bir araştırmadan elde edilen veriler için BTS testi yüksek düzeyde (%99 güven aralığında) anlamlı ise (Örn; B= ; p< .01). bu verilerin faktör analizi yapmak için uygun olduğu söylenebilir.

10 b) Ölçme Aracının Güvenirliği
Bir ölçme aracının, farklı zamanlarda aynı sonucu vermesi güvenilir olduğunun bir göstergesidir. Tanım olarak güvenirlik; bir ölçme aracıyla aynı koşullarda tekrarlanan ölçümlerde elde edilen ölçüm değerlerinin kararlılığının (tutarlılığının) bir göstergesidir (Öncü, 1994). Örneğin; metre ile bir uzunluğun ölçülmesinde, farklı zamanlarda aynı sonuçlar elde edilebiliyorsa, kullanılan ölçme aracının güvenilirliğinin yüksek olduğu söylenir. Öğretmen tarafından geliştirilen ve öğrencilerin Matematik becerilerini ölçmeyi amaçlayan bir test, aynı öğrenci grubuna 4 ay arayla uygulandığında, ilk ve son test puanları birbirine ne kadar yakın olursa, ölçme aracının güvenirliği de o kadar yüksek olur. Fakat ilk ölçümde sınıftaki öğrencilerin aritmetik ortalaması 75, ikincisinde 95 olursa, geliştirilen testin güvenirlik düzeyinin düşük olduğu ortaya çıkar. Bu nedenle ilk ve sonra yapılan ölçümlerin puanlarının birbirine yakın olması, ölçme aracının güvenirliğinin yüksek olduğunu gösterir.

11 Ölçme araçlarının güvenirlik düzeyi, güvenirlik analizi ile belirlenir
Ölçme araçlarının güvenirlik düzeyi, güvenirlik analizi ile belirlenir. Güvenirlik katsayısı “0-sıfır” ile “+1-bir” arasında değer alır. Güvenirlik katsayısının değeri “+1”e ne kadar yakın ise ölçme aracının güvenirlik düzeyinin yüksek, “0”a yakın olursa güvenirlik düzeyinin düşük olduğu ifade edilir. Yapılan ölçme işlemlerinde tesadüfî hata miktarı ne kadar çok olursa güvenirlik düzeyi de o oranda düşük olur. Eğer ölçme işleminde tesadüfî hata yapılmamış ise güvenirlik katsayısı “1”e yakın bir değer alacaktır. Fakat eğitim bilimlerinde yapılan ölçümlerde, kontrol altına alınamayan birçok değişken olduğundan, hatasız ölçüm yapmak neredeyse imkânsızdır. Bu nedenle sosyal bilimlerde güvenirlik katsayısının 1’e çok yakın olması mümkün görülmemektedir. Örneğin; bir öğretmen yeni geliştirdiği akademik başarı testini farklı zamanlarda aynı öğrencilere iki defa uyguladığında, ilk uygulamadan elde ettiği puanlar ile ikinci uygulamadan elde edeceği puan arasında farklılık olma ihtimali oldukça yüksektir. Yani sınıftaki bütün öğrencilerin ilk uygulamada aldıkları puanları ikinci uygulamada da almaları çok zor bir ihtimaldir. Bu gibi nedenlerden dolayı, sosyal bilimlerde 0.60 değerinden yüksek güvenirliğe sahip ölçme araçlarının kullanılabileceği, bilim adamlarınca desteklenmektedir. Fakat pozitif bilimlerde (fizik, kimya, biyoloji, matematik) kullanılan ölçme araçlarının güvenirlik düzeyinin 0.99’dan daha büyük olması gerekmektedir. Çünkü fen bilimlerinde kullanılan ölçme araçları oranlı ölçeklerdir ve oldukça gelişmişlerdir. Ayrıca bu araçlarla mutlak ölçümler yapıldığından, güvenirliğinin oldukça yüksek olması gerekmektedir.

12 Güvenilir ölçme araçlarında, gözlenen ölçümle gerçek ölçüm sonuçları birbirine yakındır. Ölçme işleminde tesadüfi hata yapılmamışsa güvenirlik katsayısı 1’e yakın olur. Fen bilimlerinde yapılan çalışmalarda güvenirlik katsayısı yüksek olan ölçme araçları tercih edilirken eğitim bilimlerinde 0,60 veya 0,65 değerinden yüksek güvenirliğe sahip olan araçların kullanılması kabul görmektedir (Büyüköztürk, 2004)

13 Güvenirliği belirlemede iki temel yöntem vardır: 1
Güvenirliği belirlemede iki temel yöntem vardır: 1. Birbirini izleyen ölçmelerde, bireyin grup içindeki sırasının değişmezliğinin belirlenmesi; 2. Birbirini izleyen ölçümlerde ölçme hatalarının büyüklüğü, yani kullanılan ölçeğin tekrarlı ölçümlerde aynı denekten yaklaşık olarak aynı ölçüm değerini elde etmesi ve ölçmenin standart hatasının düşük olması ile ilgilidir.

14 GÜVENİRLİĞİ BELİRLEME YÖNTEMLERİ: 1
GÜVENİRLİĞİ BELİRLEME YÖNTEMLERİ: 1. Norm Referans Güvenirliği: Bir ölçek aynı gruba iki kez uygulanarak veya iki eşdeğer ölçek aynı gruba bir defa uygulanarak incelenebilir. Bir ölçeğin bir kez uygulanması durumunda iç tutarlılık güvenirliliği incelenir. Güvenirlik katsayısı sayısal olarak 0 ile 1 arasında değer alır.

15 1. 1. Test-tekrar Test Yöntemi:
1.1. Test-tekrar Test Yöntemi: Bir ölçme aracının aynı gruba veya bu gruba denk bir başka gruba iki farklı zamanda uygulanmasıdır. Bu uygulamalarda elde edilen puanlar birbirine ne kadar yakın ise ölçme aracının güvenirliği de o kadar yüksektir. İki uygulamadan elde edilen ölçüm değerlerinin korelasyon katsayısı, ölçekle elde edilen sonuçların güvenirlik katsayısını verir.

16 1.2. Eşdeğer Formlar Yöntemi: Paralel formlar yönteminde aynı davranış kalıplarını temsil edebilecek farklı maddeler örneklenerek iki eşdeğer form oluşturulur. İki formun eşdeğer olabilmesi için, formların kapsamlarının, yapısının, zorluk derecesinin, talimatlarının, puanlama biçiminin, madde sayısının ve yorumlama türünün aynı olması gerekir.

17 2. İç Tutarlılık Katsayıları: İç tutarlılık, bir ölçeği meydana getiren maddelerin, testin bütünü ile ne kadar ilişkisi olduğunu belirlemek için yapılan analizlerdir. İç tutarlık, ölçme aracındaki maddelerin doğru yapıyı açıklaması ve kapsamı iyi temsil etmesi ile doğrudan ilgilidir. Testte yer alan maddeler ne kadar kaliteli olursa, testin iç tutarlılığı da o kadar yüksek olur.

18 2.1. Testi Yarılama Yöntemi: Yöntem, formu iki eş parçaya bölerek, iki yarının deneklere aynı anda uygulanması sonrası, deneklerin yarılardan aldıkları puanlar arasındaki korelasyon ile güvenirlik tahmini yapılmasını sağlar. Testi iki eşit parçaya ayırmak için şu yollar izlenebilir: - Öğrencilerin sayısına göre cevap kağıtları iki eşit parçaya bölünür ve bu parçalar karşılaştırılır - Her öğrencinin tek sayılı sorularıyla çift sayılı sorularının puanları karşılaştırılır - Testteki soruların ilk yarısı ile son yarısının puanları karşılaştırılır.

19 2.2. Kuder-Richardson Yöntemi: Yöntem tüm maddelerin birbirleriyle ve ölçeğin tamamıyla iç tutarlılığını tahmin etme amacı üzerine kuruludur. Bu nedenle yöntem, ölçekteki tüm maddelerin aynı değişkeni ölçtüğü varsayımına dayanır. Yöntemin uygulanmasında veri dizisi, ölçekteki maddelerden alınan cevaplar istenilen özelliği taşıyorsa “1” puan, istenilen özelliği taşımıyorsa veya boş bırakılmışsa “0” puan verilerek oluşturulur. Bu yöntemle, iç tutarlılığa yönelik güvenirlik kestiriminde bulunmada belirli kriterler dikkate alınarak Kuder-Richardson 20 veya 21 formüllerinden uygun olanı kullanılır.

20 KR-20 ve KR-21 formüllerinin kullanılabilmesi için iki temel özelliğe daha dikkat edilmektedir: a) Testte yer alan her bir maddenin öğrencilerin en az % 90’ı tarafından doğru veya yanlış cevaplandırılmış olması, b) Testteki maddelerinin tamamının aynı özelliği ölçüyor olması gereklidir.

21 KR-20 formülünün kullanılması için, - Testte yer alan her bir maddenin aynı puan ağırlığına sahip olması. Örneğin; testte 20 soru varsa hepsi 5 puan olmalıdır. - Soruların güçlük düzeylerinin birbirinden farklı olması. Örneğin; bazı sorular zor iken, bazıları kolay, çoğunluğu ise orta güçlükte olmalıdır. - Düzeltme formülünün kullanılmamış olması. Örneğin; dört yanlış cevabın bir doğru cevabı götürdüğü testlerde KR-20 yerine KR-21 kullanılır. - Doğru cevapların 1, yanlış cevapların 0 şeklinde puanlanmış olması. Örneğin; öğrencilerin doğru cevaplarından 1, yanlış cevaplarından ise 0 aldığı kabul edilmelidir.

22 KR-21 formülünün kullanılması için, - Testte yer alan her bir maddenin farklı puan ağırlığına sahip olması. Örneğin; bir testteki bazı sorular 5, bazıları 4 puan değerinde ise KR-2o yerine KR-21 tercih edilmelidir. - Soruların güçlük düzeyinin birbirine yakın olması. Örneğin; bir testteki soruların güçlük düzeyleri 0.45 ile 0.55 veya 0.30 ile 0.35 arasında değişiyorsa KR-21 formülü tercih edilmelidir. - Düzeltme formülünün kullanılmış olması. Örneğin; öğretmen yanlış cevapların doğru cevapları götürdüğünü belirtmiş ise KR-21 formülü kullanılmalıdır.

23 2.3. Cronbach Alpha Yöntemi: Cronbach tarafından geliştirilen ve 1951 yılında yayın olarak sunulan alfa katsayısı yöntemi, maddeler doğru-yanlış olacak şekilde puanlanmadığında, 1-3, 1-4, 1-5 gibi puanlandığında, kullanılması uygun olan bir iç tutarlılık tahmin yöntemidir. Cronbach alfa katsayısı, ölçekte yer alan n tane maddenin varyansları toplamının genel varyansa oranlanması ile bulunan bir ağırlıklı standart değişim ortalamasıdır. Bu yöntemde, ölçekteki bütün olası iki kısmın karşılaştırılması yapılmaktadır. Yani testteki maddeler iki eşit parçaya ayrılır ve bütün eşit yarılar karşılaştırılır.

24 Bu yöntem, KR-20 ve KR-21'in daha genel biçimidir
Bu yöntem, KR-20 ve KR-21'in daha genel biçimidir. Bu yöntemin temel mantığı, ölçme aracındaki maddelerin bütün olası yarılarının karşılaştırılmasına dayanmaktadır. Örneğin; 20 maddelik bir testte ilk olarak ilk 10 ( ) soruyla, sonraki 10 ( ) sorunun puanları karşılaştırılır. Daha sonra ilk 9 ( ) soru ve 11. soru ile sonraki 9 ( ) soru ile 10. soruların puanları karşılaştırılır.

25 Madde puanları süreksiz (1-0 şeklinde) ise KR-20; sürekli (ya da sürekli kabul edildiğinde) ise Cronbach Alfa hesaplanması daha doğru olmaktadır. SPSS programındaki "Reliability-alpha" seçeneği Cronbach Alfa katsayısını hesapladığı için, bu işlem 1-0 puanlanan maddeli testlere uygulanmamalıdır.