Sınıflama Ölçeğinde Veriler İçin Güvenirlik Belirleme Yöntemleri Arş. Gör. Zafer Çepni Doç. Dr. Selahattin Gelbal Hacettepe Üniversitesi, Eğitim Bilimleri Bölümü, Eğitimde Ölçme ve Değerlendirme Anabilim Dalı

İçerik Ölçek türleri Bir ölçme aracı olarak ölçek Bir veri toplama aracı olarak anket Güvenirlik ve hata kaynakları Ölçek verileri için kullanılan güvenirlik indeksleri Anket verileri için kullanılan güvenirlik indeksleri

Ölçek Türleri – Verinin Doğası Sınıflama (Nominal, kategorik) Sıralama Eşit aralıklı Eşit oranlı

Epworth Uykululuk Ölçeği Aşağıda belirtilen durumlarda uyuklar mısınız? Hiçbir zaman Nadiren Zaman zaman Çoğunlukla Oturmuş bir şeyler okurken 1 2 3 4 TV seyrederken Birisiyle oturmuş konuşurken Toplum içinde hareketsizce otururken İçinde olduğum araba trafikte birkaç dakika durduğunda

Anket Medeni durumunuz Evli Bekar Cinsiyetiniz Kadın Erkek Son 10 yılda kilonuzda bir değişme oldu mu? Arttı Azaldı Değişmedi Bilmiyorum

Bazı özellikler Ölçek (ve Test) Anket (ve Kodlama) Birden çok madde ile bir yapı ölçülür. Tek tek maddeler vardır. Bir ölçekleme işlemi içerir. (En yaygın örneği Likert tipi ölçeklemedir.) Ölçekleme faaliyeti içermez. Sıralı veya eşit aralıklı veri üretir. Çoğu zaman sınıflama ölçeğinde veri üretir. Faktör analizi bir yapı geçerliği kanıtı aracı olarak kullanılır. Faktör analizi maddelerin toplanıp bir “puan” vermediği durumlarda yapı geçerliği kanıtı olarak kullanılmaz. En yaygın güvenirlik kanıtı alfa katsayısıdır. Alfa katsayısı uygun değildir.

Bir Örnek “Anket formunda; yaş, cinsiyet, anne ve babanın birlikte yaşama durumu, aile bireylerinde sigara içme öyküsü, öğrencinin çocukluğunun geçtiği yer, öğrencinin barınma durumu, sigara başlama yaşı ve etkili faktörler, ilk sigaraya başlama yaşı, içme ihtiyacının en kuvvetli olduğu anlar, yasaklanan yerlerde sigara içip içmediği, sigarayı bırakma çabası olup olmadığına dair sorular bulunmaktaydı.”

Bir Örnek “Anketin son kısmında ise; sigara alışkanlığı, fiziksel zevk, psikolojik bağımlılık, uyarılma, rahatlama ve gerginliği belirlemeye yönelik, her bir başlığa ait dörder adet soru bulunmaktaydı. Bu soruların her birinde “daima”, “ara sıra”, “nadiren” ve “asla” şeklinde beşli Likert skala yer almaktaydı. Likert skalada yer alan ifadeler sıklık sırasına göre sıfırdan beşe doğru puanlanarak, her bir başlığın toplam puanı elde edilmiştir.”

Güvenirlik Ölçme aracının tesadüfi hatalardan arınıklık derecesi Ölçmede hassasiyet, kararlılık, iç tutarlık Ölçme prosedürünün tekrarında sonuçların uyumlu olması Tekrar: Maddeler, puanlayıcı, zaman

Ölçmede hata kaynakları Ölçme aracı Tasarım, madde örneklemi, ifadelerin biçimi vb. Ölçülen bireyden kaynaklı Motivasyon, genel uyarılmışlık, bireyin anlık durumu Ölçmeciden kaynaklı Puanlamadaki subjektiflik Ölçme ortamından kaynaklı Sıcaklık, gürültü, ışık

“Tekrar” bakış açısından güvenirlik belirleme yöntemleri Araştırmacının ciddiye aldığı hata kaynaklarının (bireyin anlık durumu, puanlayıcıların subjektifliği, madde örneklemi) kendini gösterebileceği bir veri toplama deseniyle ölçme tekrarlanır. Bireylerin iki tekrardan aldıkları puanlar arasındaki korelasyon hesaplanır. Farklı tasarımlardan elde edilen güvenirlik katsayıları sayısal olarak veya ifade ettikleri anlam bakımından aynı değildir.

Hata kaynaklarına göre güvenirlik belirleme yöntemleri Ölçek ve tetlerde kullanılan güvenirlik belirme yöntemi Bireyin anlık durumu Test – tekrar test Puanlayıcı subjektifliği Puanlayıcılar arası uyum Madde örneklemi Aynı gün içinde paralel formlar, eş yarılar ve alfa/KR-20 Bireyin anlık durumu ve madde örneklemi Farklı günlerde paralel formlar Farklı kombinasyonlar Genellenebilirlik teorisi

Anketler için güvenirlik Etkili faktörler Ölçme prosedürünün tekrarı Uzman kodlaması, uygulamanın tekrarı Tek madde olduğu için alfa uygun değil. Önemli hata kaynakları Veri türünün izin verdiği istatistikler

İndeksler Test ve Likert tipi ölçek puanlarına dair indeksler yerine, kodlama güvenirliği, tek madde güvenirliği ve mutlak değerlendirme sonuçlarına dair güvenirlik belirleme yöntemleri anket verileri için daha uygundur.

(Guttman, 1946) Tek uygulamaya dayalı bir çaba Bir madde için güvenirliğin bir alt sınırını aşağıdaki şekilde ifade etmiştir. m : Verinin kategorilerinin sayısı A : En yüksek orana sahip kategorinin oranı

(Guttman, 1946) Örneğin maddeye verilen cevaplarda evet, hayır ve kararsızım oranları sırasıyla %60, %25 ve %15 olursa güvenirlik için alt sınır aşağıdaki biçimde bulunur.

(Guttman, 1946) Ancak kategorilerin yüzdeleri aynı olursa, bu alt sınır 0 olarak bulunur. Dolayısıyla, güvenirlik hakkında hiç bilgi vermez.

İki uygulama/kodlama çapraz tablosu İkinci uygulama İlk uygulama Marjinal Toplam Grup 1 Grup 2 Grup 3 0,5 0,0 0,1 0,3 0,2 0,8 1,0

Uyum yüzdesi Matrisin birinci köşegenindeki yüzdelerin toplamıdır. Her iki uzmanında da aynı kategoriye aldığı bireylerin veya her iki uygulamada da maddeye aynı yanıtı veren bireylerin oranını ifade eder.

Uyum yüzdesi Anlaşılması ve hesaplanması en kolay indekstir. Ancak, diğer indeskleri öneren araştırmacılar uyum yüzdesi rapor etmeyi yetersiz bulmaktadır. Uzmanlar rasgele bile kodlama yapsa belirli ölçüde uyum yakalanacaktır. Bu nedenle uyum yüzdesinden bu şans etkisinin arındırılması ihtiyacı doğmuştur.

3x3 çapraz tablonun genel hali Kappa (Cohen, 1960) İkinci uygulama İlk uygulama Marjinal Toplam Grup 1 Grup 2 Grup 3 P11 P12 P13 P1· P21 P22 P23 P2· P31 P32 P33 P3· P·1 P·2 P·3 1 3x3 çapraz tablonun genel hali

Kappa Kappa’daki şans tanımı, bağımsız olayların olasılığının çarpımından gelir ve marjinal toplamların sabit olduğunu varsayar. Şans faktöründen arındırılmış uyum yüzdesi olarak yorumlanır.

Kappa Marjinal toplamların sabit olması, kodlayıcıların önceden gruplara dair yüzdeleri üretecek şekilde kodlama yapmaları durumunda mümkündür. Bu bazı çalışmalarda kodlamalar için uygun olabilir ancak yaygın olarak karşılaşılabilecek bir durum değildir. Anketler toplanan veriler için kappa hesaplanacağı durumlarda ise marjinal toplamların sabit varsayılması uygun değildir.

Kappa Kappa her zaman 0 ile 1 arasında değişen bir indeks değildir. Dolayısıyla, yorumlanması zorluklar yaratır. Kappanın maksimum değeri, eldeki verinin marjinal toplamları tarafından belirlenir.

Kappa Bu durumda kappanın maksimum değeri, ancak simetrik marjinal toplamların eşit olduğu hallerde 1 olur. Kappanın maksimum değerine bölünmesiyle elde edilecek indeks için maksimum değer 1 olacağından yorumlanması daha kolay olacaktır.

Şans Uyumu Kodlayıcıların rasgele kodlama yaptığı veya anketi dolduranların rasgele işaretleme yaptığı bir durumda, bir madde için, bir kimsenin her hangi bir grupta yer alması olasılığı, n kategorinin olduğu bir durumda, 1/n olarak hesaplanabilir.

Şans Uyumu Bu durumda, iki kere aynı grupta yer alma olasılığı ise 1/n * 1/n olacaktır. Toplamda n grup için şans kaynaklı uyum yüzdesi ise n * (1/n * 1/n) = 1/n

Breannan ve Prediger (1981) Breannan ve Prediger (1981) marjinal toplamların sabit olmadığı durumlarda, kappadaki şans düzeltmesinin 1/n ile yapılmasını önermektedir.

Sayısal değerler İndeks Sayısal değer Uyum yüzdesi 0,60 0,27 0,40

Diğer yöntemler Perreault ve Leigh (1986) Knapp (1977) Rust ve Cooil (1994) ve diğerleri…

Sonuçlar Anketlerin ölçme hatalarından muaf oldukları düşünülmemelidir. Güvenirlik hesaplanırken ciddi hata kaynakları ve eldeki verinin doğası göz önünde bulundurularak güvenirlik belirleme yöntemi seçilmelidir.

Sonuçlar Tek uygulama yapmanın sağladığı kolaylık sebebiyle her durumda iç tutarlık indeksleri tercih edilmemeli, gerektiğinde belirli bir grupta ikinci uygulama yapılmalıdır. Sınıflama ölçeğinde veriler için doğalarına uygun bir güvenirlik kestirme yöntemiyle güvenirlik hesaplanmalıdır.

Kaynaklar Brennan, R. L. & Prediger, D. J. (1981). Coefficinet Kappa: Some uses, misuses and alternatives, Educational and Psychological Measurement, 41, 687-699. Cohen, J. A. (1960). A coefficient of aggreement for nominal scales, Educational and Psychological Measurement, 20, 37-46. Knapp, T. R. (1077). The reliability of a dichotomous test-item: A “correlationless” approach, Journal of Educational Measurement, 14, (3), 237-252. Guttman, L. (1946). The test-retest reliability of qualitative data, Psychometrika, 11 (2), 81-95. Perrault, W. D. & Leigh, L. E. (1989). Reliability of nominal data based on qualitative judgements, Journal of Marketing Research, 26, 135- 148. Rust, R. T. & Cooil, B. (1994). Reliability measures for qualitative data: Theory and implications, Journal of Marketing Research, 31, 1-14.

Teşekkürler.