Güvenirlik

Güvenirlik Bir ölçme aracıyla aynı koşullarda tekrarlanan ölçümlerde elde edilen ölçüm değerlerinin kararlılığının ve tutarlılığının göstergesidir.

Güvenirlik Herhangi bir ölçüm için iki farklı değişkenlik (varyans) kaynağı vardır; Gerçek değişkenlik Ölçüm problemlerinden ya da durumdan kaynaklanan değişkenlik «gerçek» skorun varyansı Kişiler arasındaki sistematik farklılıklar Toplam skorun varyansı Ölçmedeki «hata»nın varyansı

Güvenirlik ve Standardizasyon arasında bir ilişki var mı? «gerçek» skorun varyansı Kişiler arasındaki sistematik farklılıklar Toplam skorun varyansı Ölçmedeki «hata»nın varyansı

Güvenirlik Çeşitleri Test-tekrar test (test-retest) güvenirliği Paralel ve alternatif formlar güvenirliği İki-yarı (split-half) güvenirliği İç tutarlılık/ güvenirlik

Test-tekrar test güvenirliği Aynı bireylerin farklı zamanlarda tekrarlanan test uygulamaları sonucu, tutarlı sonuçlar vermelidir (herhangi bir öğrenme, olgunlaşma, ya da tedavi olmadığında)

Test-tekrar test güvenirliği 1. Bireylere bir test uygula 2. Daha sonraki bir zamanda aynı testi aynı bireylere tekrar uygula 3. İlk test skorları ile ikinci test skorlarının korelasyonunu al Aynı test, farklı zamanlarda

Etki Büyüklüğü (Effect Size)-Korelasyon 0.2 ya da daha az: Küçük etki 0.3-0.4: Orta etki 0.5-0.6: Büyük etki 0.7 ya da daha fazla: Çok büyük etki (Sosyal Bilimlerde neredeyse imkansız)

Test-tekrar test güvenirliği Aynı bireylerin farklı zamanlarda tekrarlanan test uygulamaları sonucu, tutarlı sonuçlar vermelidir (herhangi bir öğrenme, olgunlaşma, ya da tedavi olmadığında) Skorlardaki tutarlılık neye bağlıdır?

Test-tekrar test güvenirliği Aynı bireylerin farklı zamanlarda tekrarlanan test uygulamaları sonucu, tutarlı sonuçlar vermelidir (herhangi bir öğrenme, olgunlaşma, ya da tedavi olmadığında) Skorlardaki tutarlılık şunlara bağlıdır; Geçen zaman– eğer kısa ise, cevapları hatırlama olasılığı artar Katılımcıların, konuyu öğrenme becerisi– gelişimsel olarak küçük çocukların okuma becerileri değişebilir Testi almış olmanın deneyimi– bireylerin gerçek skorlarını değiştirebilir, ör., güvenirlik hakkında vize ve final sınavı Zaman alır ve pahalıdır

Paralel ve alternatif formlar güvenirliği Aynı testin iki formu vardır Form A (t1, birey/örneklem a); Form B (t1, birey/örneklem a) Kısmi çözümler Testi almış olmanın deneyimi– bireylerin gerçek skorlarını değiştirebilir– deneyimi bir sonraki teste aktarma olasılığı azalır Tepkisellik problemleri – ilk testi almış olmak, ikinci testi etkilemesi kısmendir. Zaman alır ve pahalıdır

Alternatif Formlar Güvenirliği Paralel (alternatif) formlar güvenirliği Örneklemi ikiye bölmek: Form A (t1, örneklem a); Form B (t1, örneklem b) Form B (t2, örneklem a); Form A (t2, örneklem b)

İki-yarı (split-half) güvenirliği Aşağıdakilerle başa çıkmak amaçlı kullanılır; Alternatif formlar oluşturmanın zorluğu İki farklı test uygulayıcısının olması gerekliliği Adımlar; 1. Bireylere bir test/ölçek uygula 2. Testi/ölçeği ikiye böl 3. Bir yarısındaki skorlarla diğer yarısındaki skorların korelasyonunu al

İç Tutarlılık Cronbach’s alpha İç tutarlılık hesaplamada en çok kullanılan yöntem Bireylere testi uyguladıktan sonra, tüm maddeler arasındaki ortalama korelasyonu hesaplama.

Puanlayıcılar arası güvenirlik (gözlem ve mülakat tekniklerinde) İdeal olarak birden fazla puanlayıcı verileri tutarlı olarak kodlamalı. İki ya da daha fazla puanlayıcı– korelasyon

Güvenirliği nasıl kullanılırız? Bir psikolojik değerlendirmenin psikometrik özelliklerini değerlendirirken

Güvenirlik neye bağlıdır? Testi alan kişinin özelliğine Bireysel farklılıklar Değişkenlik– SS Örnek? Testin özelliğine Maddeler arasındaki korelasyona Madde sayısına

Güvenirliği nasıl arttırabiliriz? Güvenirlik ‘gerçek’ skor varyansına dayanır Madde sayısı arttıkça, varyans artacaktır ve güvenirlik de artacaktır (belirli koşullar altında)

Bir ölçümde güvenirliği nasıl sağlarız? Güvenirlik Yeterli sayıda madde ve soru ile (içerik olarak yeterli) Kelimeleri kullanırken açık, anlaşılır ve uygun olarak Katılımcılar arasında cevap çeşitliliğini sağlayarak

Soru İlişki Memnuniyeti Ölçeği: Güvenirliği: .64. GÜVENİRLİĞİ NASIL ARTTIRABİLİRİM? Tamamen dogru Tamamen Yanlis Kız/Erkek arkadaşım beni sevdiğini yeterli derecede belli ediyor ve beni mutlu ediyor.  Kız/Erkek arkadaşımın başardığım işleri takdir etmesinden memnunum. Ders çalışmam gerektiğinde kız/erkek arkadaşım her zaman problem çıkarır. Kız/Erkek arkadaşım hobilerim için ayırdığım vakti anlayışla karşılar. Kız/erkek arkadaşım başka arkadaşlarımla vakit geçirmemden hoşlanmaz. Kız/Erkek arkadaşımın benim ihtiyaçlarıma özen göstermesi beni mutlu ediyor.

Güvenirlik Analizi - Örnek

Geçerlik

Geçerlik: Ölçmek istediğimiz konuyu mu ölçüyoruz? Güvenilir Geçerli Güvenilir değil Geçerli değil

Geçerlik Çeşitleri Görünüş (Face) geçerliği Kapsam (Content) geçerliği Yapı (Construct) geçerliği Ölçüt-dayanaklı (Criterion) geçerliği Eşzamanlı (Concurrent) Yordama (Predictive)

Görünüş Geçerliği Tanım: Test edilen bireye, ne ölçülüyormuş gibi göründüğüdür. Nasıl ölçeriz? Katılımcılarla uygulama sırasında konuşup, fikir alarak. Örnek: Davranış problemleri Saldırgan davranışlar Zorbalık Oyuncaklara zarar verme

Kapsam Geçerliği Tanım: Yapılan ölçümün oluşturduğu yargıları ve fikirleri bütünüyle ele alabilmesidir. Kapsam geçerliğini nasıl elde ederiz? Ölçülecek bir fikrin/yapının teorik olarak tüm alt başlıklarını düşünerek ve bunların tanımlamasını (operationalizaiton) yaparak 1. Ölçümünü yapacağınız konunun içeriğini tanımlayın. 2. Her bir test maddesi ile bu içeriğin hangi alanlarına değineceksiniz bunu tanımlayın. Örnek: Dindarlık Dini/ibadet mekanlarına gitme sıklığı

Örnek: Kapsam Geçerliği Ölçmek için bir alan belirleyin: Bir ilişkide kadınlara yönelik saldırganlık. O alanın tüm alt başlıklarını belirleyin: Fiziksel saldırganlık Psikolojik/duygusal saldırganlık Cinsel saldırganlık Maddi saldırganlık

Kapsam Geçerliği: Aktivite Ölçmek için bir alan belirleyin. O alanın tüm alt başlıklarını belirleyin.

Yapı Geçerliği Yapı ve tanımı arasındaki tutarlılık Yakınsak (Convergent) geçerlik: ölçümümüzün teorik olarak ilişkili olmasını beklediğimiz ölçümle, ilişkili olması Araştırma metotları dersi sınavı ve Ölçme teknikleri dersi sınavı Ayırt edici (discriminant) geçerlik: ölçümümüzün teorik olarak ilişkili olmamasını beklediğimiz ölçümle, gerçekten ilişkili olmaması Araştırma metotları dersi sınavı ve Gelişim psikolojisi dersi sınavı

Yapı Geçerliği Yapı geçerliği elde etmek Nasıl ölçerim? Uzman görüşleri Geçerlik analizleri Nasıl ölçerim? Teorik, kavramsal ve mantıklı planlama Örnek: Öğrenci memnuniyeti Yapının tanımı İşlemsel/ölçümsel (Operational) tanımı

Ölçüt-dayanaklı geçerliği Yordama geçerliği Bir ölçüm aracının, sonuç yordama uygunluğu Teorik olarak yordamasını beklediğimiz bir konuyu, yordayabilme özelliği Örnek: ÖSS/LGS Üniversite birinci sınıf öğrencilerinin GNO’larını hesaplama Eş zamanlı geçerlik Eş zamanlı yapılan ölçüm Teorik olarak bazı grupları ayrıştırmasını beklediğimiz bir ölçümün, o grupları ayrıştırabilme özelliği Örnek: Öğrencileri başarılı ve başarısız olarak ayrıştırma (öğretmen tarafından) Örnek: Kişileri depresif ve depresif olmayanlar olarak ayrıştırma (psikolog tarafından)

İç Geçerlik İç geçerliğe etki eden faktörler – kontrol edilemeyen değişkenler (confounding variables)

İçki içme davranışları Diğer Olaylar Polis kontrolü Alkol reklamı var İçki içme davranışları Alkol reklamı yok

doğal olarak gelişmesi Olgunlaşma Eğitim var İş becerilerinin doğal olarak gelişmesi Üretkenlik Eğitim yok

Ölçüm Ölçmek istediğiniz konuyu nesnel olarak ölçememe durumu Gözlemci/test uygulayıcısı Ölçüm aracı

Önyargılı örneklem seçimi Eğitim var Üretkenlik Eğitim yok Bu çalışma sadece O ŞİRKETTEKİ sonuçları yordamanıza/belirlemenize yardımcı olacaktır.

Çalışmayı terk etme Örneklem kaybı genelde beklenir; ancak eğer Farklı kayıplar söz konusu ise sorun olabilir Bazı gruplar çalışmayı terk etmeye (kaybolmaya) daha yatkındırlar Kontrol grupları, deney (müdahale) gruplarındansa kaybolmaya daha yatkındırlar Boylamsal çalışmalarda erkekler çalışmayı bırakmaya kadınlardan daha yatkındırlar

Dış Geçerlik Günlük yaşamda genellenebilirlik- spesifik durumlara değil Uygulamalı araştırma alanlarında Örneklem seçme hatası– spesifik örneklem Yapay deney oluşturması - genellenebilirlik İç ya da Dış geçerlik?

ÇALIŞMA SORULARI Ölçümlerinizden birinin olası güvenirlik problemi ne olabilir? Bu güvenirlik problemiyle nasıl başa çıkarsınız, açıklayınız. Maddelerinizi oluştururken, bu ölçümünüzün içerik ve yapı geçerliğini nasıl sağlarsınız? Kendi ölçümleriniz için hangi çeşit geçerliği sağlamak istersiniz? Sizce neden o çeşit önemli açıklayınız. Pilot çalışmanızı yaparken, ölçümlerinizin geçerli olmasını sağlamak için ne yaparsınız?

SPSS Uygulaması