ANKET SORULARININ DEĞERLENDİRİLMESİNDE GÜVENİRLİK ANALİZİ Ders : Yönetimde Sayısal Teknikler ARALIK-2002

Hazırlanan bir ankette kullanılmak üzere geliştirilen ölçekler kusursuz olmayabilir, ayrıca davranış değişkenlerinin ölçülmesinde her zaman hata yapılabilir.Daha iyi araçların kullanılması daha doğru sonuçlar verecektir bu da araştırmanın bilimsel açıdan kalitesini artıracaktır.Bu nedenle geliştirilen ölçeklerin ne kadar iyi olduklarının bir şekilde değerlendirilmesi gereklidir.Yani kullandığımız ölçüm araçlarının ölçmeleri gereken değişkenleri gerçekten ölçtüklerinden ve doğru olarak ölçtüklerinden emin olmamız beklenir. Geliştirilmiş olan bir ölçeğin ne kadar iyi olduğunu tespit etmek ve anketten elde edilen verilerin iyilik seviyesinin analizi için sırasıyla madde analizi ve güvenirlik analizleri yapılır ve ölçeğin geçerliliği incelenir.

Verilerin iyiliği güvenilirlik ve geçerlilikle ilgilidir. Güvenilirlik:Ölçümlerin doğruluk ve kesinliğidir.Verilerin zaman içinde değişmemesi ve tutarlılığını içerir.Aşağıda güvenirlik çeşitleri görülmektedir. TEST-TEKRAR TEST GÜVENİRLİĞİ ZAMANLA DEĞİŞMEME PARALEL-FORM GÜVENİRLİĞİ GÜVENİRLİK VERİLERİN İYİLİĞİ MADDELER ARASI TUTARLILIK GÜVENİRLİĞİ TUTARLILIK GEÇERLİLİK BÖLME-YARI GÜVENİRLİĞİ

Geçerlilik:Doğru şey mi ölçülüyor sorusunu cevaplandırmaya çalışır. Bu çalışmada verilerin güvenilirliği konusu incelenecektir.Geçerlilik konusu bu çalışmanın kapsamında değildir. Bundan sonra yukarıdaki şekil esas alınarak güvenilirlik konusu incelenecektir.

GÜVENİLİRLİK Bir ölçümün güvenilirliği, ne kadar hatasız olduğunun göstergesidir ve ölçüm aracının zaman ve değişik maddeler karşısında tutarlı bir ölçüm yaptığını belirtir.Diğer bir deyişle bir ölçümün güvenilirliği, o ölçümün istikrarı/dengesi ve tutarlılığıdır. Güvenirlik analizi bize ölçüm ölçeklerinin ve bunları oluşturan maddelerin niteliklerini inceleme imkanı sağlar. Örneğin, hazırladığımız bir anket müşteri tatminini faydalı bir biçimde ölçüyor mu sorusunu soralım.Güvenilirlik analizini kullanarak, anketi oluşturan maddelerin birbirleriyle ne kadar ilgili olduklarını, kullanılan ölçeğin kendi içindeki uyumunu ve hangi seviyede tekrarlanabilir olduğunu ve ölçekten çıkartılması gereken problemli maddeleri tespit edebiliriz.

Güvenilirlik analizi yapmak için; * Eldeki veriler ikiye ayrılmış, ordinal veya aralıklı olabilir fakat bu veriler rakamsal olarak kodlanmış olmalıdırlar. *Gözlemler bağımsız ve hatalar maddeler arasında ilişkisiz olmalıdır.Ölçekler her bir maddenin doğrusal olarak toplam puanla ilgili olması için artan özellikte olmalıdırlar.

a.Ölçümlerin İstikrarı Ölçümlerin istikrarlı olması, kontrol edilemeyen test şartlarına veya cevaplayıcılara özgü bazı durumlara rağmen ölçümlerin zaman içinde istikrarlı/dengeli kalabilme yeteneğidir.Ayrıca ölçümlerin istikrarının ve durumdaki değişikliklere düşük seviyede maruz kalmasının bir göstergesidir. Ölçümlerin istikrarının iki testi ( test-tekrar test güvenilirliği testi ve paralel form güvenilirliği testi) vardır.

1.Test-Tekrar Test Güvenilirliği Aynı ölçümün ikinci bir durumda tekrarlanması yoluyla elde edilen güvenilirlik katsayısına test-tekrar test güvenilirliği denir. Bir olguyu ölçen çeşitli maddeler içeren bir anket belli bir gruba uygulanmayı müteakip bir süre sonra aynı gruba tekrar uygulanır.Bu iki farklı zamanlarda aynı örneklem grubundan elde edilen puanlar arasındaki korelasyona test-tekrar test katsayısı denir. Bu katsayı ne kadar yüksek çıkarsa test-yeniden test güvenilirliği diğer bir deyişle ölçümün zaman içindeki istikrarı o kadar iyidir.

2.Paralel-Form Güvenilirliği Aynı yapıyı ölçen karşılaştırılabilir iki ayrı ölçüm setine verilen cevaplar yüksek derecede ilişkiliyse paralel-form güvenilirliği olduğundan bahsedebiliriz. Buradaki iki form benzer maddeleri ve aynı cevap formatını içerir.Sadece yazım, dil, sınıflama, sıralama, soru tipi ve formu ile soruların sırası değiştirilerek bunlardan kaynaklanan yanlışlıklar tespit edilmeye çalışılır. Eğer bu karşılaştırılabilir formlar arasında yüksek derecede ( örneğin 0.8 den büyük) korelasyon varsa ölçümün güvenilir olduğu söylenebilir.

b.Ölçümlerin İç Tutarlılığı Ölçümlerin iç tutarlılığı, ölçümleri oluşturan maddelerin homojenliğinin bir göstergesidir.Diğer bir deyişle maddeler hep birlikte bir set oluşturmalıdırlar ve birbirlerinden bağımsız olarak aynı konsepti ölçebilmelidirler. Cevaplayıcılar her bir maddeye bu maddelerin oluşturduğu genel anlamı verebilmelidirler. Bu, ölçüm aracındaki maddeler ve alt maddeler arasında yüksek bir korelasyon olup olmadığının incelenmesi yoluyla görülebilir. Tutarlılık, iç tutarlılık güvenilirliği ve ikiye bölme güvenilirliği testleri kullanılarak incelenebilir.

1.İç Tutarlılık Güvenilirliği Cevaplayıcıların bir ölçümdeki tüm maddelere verdikleri cevapların bir tutarlılık testidir.Eğer maddeler aynı konseptin bağımsız ölçekleri iseler aralarında bir korelasyon olacaktır. Cronbach Alfa Katsayısı, iç tutarlılık güvenilirliği testlerinin en popüleridir.Çok noktalı ölçeklendirilmiş maddeler için kullanılır ve şu şekilde formüle edilir:

Burada görülebileceği gibi alfa, doğru varyansı toplam varyans üzerinden ölçmektedir.Bir ölçeğin alfası 0.7 den büyük olmalıdır ki bu maddeler beraberce bir ölçek oluşturabilsin. İncelenen maddenin silindiği kabul edilerek toplam puanın alfası hesaplandığında değer düşüyorsa bu madde (eğer teorik olarak analiz için gerekli değilse) silinir. Kuder-Richardson Formülü, ikiye bölünmüş maddeler için kullanılır.Bu şekilde, yapılmakta olan bir ölçeğin iç tutarlılığı en iyi seviyeye getirilmiş olur. Katsayılar ne kadar yüksekse ölçüm aracı o kadar iyidir.

2.Bölme-Yarı Güvenilirliği(Split-half reliability) Bölme-Yarı Güvenilirliği, bir ölçüm aracının iki parçası arasındaki korelasyonu gösterir.Bölme-Yarı Güvenilirliği tahminleri ölçümdeki maddelerin nasıl iki parçaya ayrıldığına göre değişir. Spearman-Brown Katsatısı, homojenliği ölçer ve şu şekilde formüle edilir.

Kabul edilebilir bir güvenilirlik seviyesi elde etmek için ne kadar maddeye gerek olduğunu hesaplamanın bir yolu Spearman-Brown tahmin formülünü kullanmaktır: n*bilinen güvenirlilik tahmini güvenilirlik= 1+[(n-1)*bilinen güvenilirlik] Burada n, madde sayısının artırılacağı veya azaltılacağı orandır( ör.:6/3=2=n). Bu formülde tahmini güvenilirliği ve bilinen güvenilirliği yerlerine koyarak ulaşmak istediğimiz güvenilirlik seviyesi için ne kadar maddeye gerek olduğu da hesaplanabilir.

ölçüm1in güvenilirliği*ölçüm2nin güvenilirliği İki ölçek arasında olması beklenen doğru veya teorik korelasyonu bulmak için bu ölçeklerin güvenilmezliklerinde bir düzeltme yapmak gerekir.İki ölçümün güvenilmezliğini hesaba katarak iki değişken arasındaki korelasyonu şu formülle bulabiliriz: ölçüm1 ve ölçüm2 arasındaki korelasyon r= ölçüm1in güvenilirliği*ölçüm2nin güvenilirliği Guttman Modeli, doğru güvenilirlik için Guttman daha alçak sınırlarının hesaplanmasını içerir.

SPSS KULLANARAK GÜVENİLİRLİK ANALİZİ YAPMAK ÖRNEK: 25 soruluk 20 bireylik durum. Soru değerleri spss te sütunlara girilir. Spps te analyze/scale/reliability analysis seçilir.

Çıkan ekranda items altına soru grupları atanır Çıkan ekranda items altına soru grupları atanır. Model bölümünden alpha seçilir.

Statistıcs bölümüne girildiğinde descrıptıve bölümünde ıtem ve scale Summaries bölümünde ortalama varyans korelasyon İnter- ıtem da korelasyon kovaryans Anova da f test işaretlenir.

Ölçekte yer alan soruların bir toplamsal ölçek oluşturacak şekilde hazırlanıp hazırlanmadığını tukey toplanabilirlik testi seçeneği seçilerek Soru ortalamalarınınbirbirine eşit olup olmadığını anlamak için hotelling t^2 seçilerek belirlenebilir. (bu kavram soruların denekler tarafından aynı şekilde anlaşılıp anlaşılmadığını soruların zorluk derecelerinin birbirine eşit olup olmadığını test etmek için kullanılır.) Son olarak continue tıklanır ve çıktı alınır.

ÇIKTILARDA İLK BÖLÜM ORTALAMA VE VARYANSLARI AYRI AYRI İKİNCİ BÖLÜM KORELASYONLARI DAHA SONRA TÜM SORU KİTLESİNE AİT ORTALAMA VARYANS ARALIKLAR İNTER İTEM VE ITEM TOTAL KORELASYON DEĞERLERİ GÖRÜLÜR. DAHA SONRA VARYANS ANALİZİ VE TUKEY HOTELLİNG DEĞERLERİ SON OLARAKTA ALPHA VE STANDARDİZE EDİLMİŞ ALPHA DEĞERİ GÖRÜLÜR.

ÇIKAN ALPHA KATSAYILARINA BAKILIR. EĞER; 0.00    0.40 İSE ÖLÇEK GÜVENİLİR DEĞİL. 0.40    0.60 İSE ÖLÇEK DÜŞÜK GÜVENİLİRLİKTE 0.60    0.80 İSE ÖLÇEK OLDUKÇA GÜVENİLİR 0.80    1.00 İSE ÖLÇEK YÜKSEK GÜVENİLİRLİKTE EĞER BİR SORU ÖLÇEKTEN ÇIKARILDIĞINDA ALPHA YÜKSELİYORSA OZAMAN OSORU GÜVENİLİRLİĞİ AZALTAN BİR SORUDUR. EĞER SORU ÇIKARIDIĞINDA AZALIYORSA O ZAMAN O SORU OLMAZSA OLMAZ BİR SORUDUR.

DAHA SONRA HOTELLİNG DEĞERİ KONTROL EDİLMELİDİR. VARYANS ANALİZİ SONUCUNA BAKILARAK ÖLÇÜMLER ORTALAMALARI ARASINDA ÖNEMLİ FARKLILIK OLUP OLMADIĞINA BAKILIR. ITEM TOTAL KORELASYON MATRİSİNDE NEGATİF DEĞER OLMAMASI GEREKİR. VARSA BU DURUM ÖLÇEĞİN TOPLANABİLİRLİK ÖZELLİĞİNİ BOZAR.BURADA HEPSİNİN POZİTİF HATTA 0.25 TEN BÜYÜK OLMASI BEKLENİR. BU KURALA UYMAYANLARIN ÖLÇEKTEN ÇIKARILMASI GEREKİR ANCAK BU KESİN KURAL DEĞİLDİR. SORU SİLİNDİĞİNDE ALPHA VE ORTALAMADAKİ DEĞİŞİME BAKARAK SİLİME GİTMEK GEREKİR.

2. YÖNTEM : AYNI ÖRNEKLE MODELDE ALPHA YERİNE SPLİT ALPHA GUTTMANN,PARALLEL,STRICT PARALLELSEÇİLEREK SONUÇLARA BAKILMALIDIR ÇIKAN SONUÇLARA BAKILDIĞINDA İSTATİSTİKLER İNCELENMELİDİR. EĞER VARYANSLAR EŞİT İSE ALFA VE PARALEL YÖNTEMLERİNDEN ELDE EDİLEN KATSAYILAR GÜVENİLİRLİK KATSAYISI OLARAK KULLANILMALIDIR. EĞER VARYANSLAR HOMOJEN ORTALAMALAR BENZER İSE KESİN PARALEL YÖNTEMLERİNDEN ELDE EDİLEN KATSAYI GÜVENİLİRLİK KATSAYISI OLARAK KULLANILMALIDIR