Güvenirlik.

... konulu sunumlar: "Güvenirlik."— Sunum transkripti:

1 Güvenirlik

2 Güvenirlik Bir ölçme aracıyla aynı koşullarda tekrarlanan ölçümlerde elde edilen ölçüm değerlerinin kararlılığının ve tutarlılığının göstergesidir.

3 Güvenirlik Herhangi bir ölçüm için iki farklı değişkenlik (varyans) kaynağı vardır; Gerçek değişkenlik Ölçüm problemlerinden ya da durumdan kaynaklanan değişkenlik «gerçek» skorun varyansı Kişiler arasındaki sistematik farklılıklar Toplam skorun varyansı Ölçmedeki «hata»nın varyansı

4 Güvenirlik ve Standardizasyon arasında bir ilişki var mı?
«gerçek» skorun varyansı Kişiler arasındaki sistematik farklılıklar Toplam skorun varyansı Ölçmedeki «hata»nın varyansı

5 Güvenirlik Çeşitleri Test-tekrar test (test-retest) güvenirliği
Paralel ve alternatif formlar güvenirliği İki-yarı (split-half) güvenirliği İç tutarlılık/ güvenirlik

6 Test-tekrar test güvenirliği
Aynı bireylerin farklı zamanlarda tekrarlanan test uygulamaları sonucu, tutarlı sonuçlar vermelidir (herhangi bir öğrenme, olgunlaşma, ya da tedavi olmadığında)

7 Test-tekrar test güvenirliği
1. Bireylere bir test uygula 2. Daha sonraki bir zamanda aynı testi aynı bireylere tekrar uygula 3. İlk test skorları ile ikinci test skorlarının korelasyonunu al Aynı test, farklı zamanlarda

8 Etki Büyüklüğü (Effect Size)-Korelasyon
0.2 ya da daha az: Küçük etki : Orta etki : Büyük etki 0.7 ya da daha fazla: Çok büyük etki (Sosyal Bilimlerde neredeyse imkansız)

9 Test-tekrar test güvenirliği
Aynı bireylerin farklı zamanlarda tekrarlanan test uygulamaları sonucu, tutarlı sonuçlar vermelidir (herhangi bir öğrenme, olgunlaşma, ya da tedavi olmadığında) Skorlardaki tutarlılık neye bağlıdır?

10 Test-tekrar test güvenirliği
Aynı bireylerin farklı zamanlarda tekrarlanan test uygulamaları sonucu, tutarlı sonuçlar vermelidir (herhangi bir öğrenme, olgunlaşma, ya da tedavi olmadığında) Skorlardaki tutarlılık şunlara bağlıdır; Geçen zaman– eğer kısa ise, cevapları hatırlama olasılığı artar Katılımcıların, konuyu öğrenme becerisi– gelişimsel olarak küçük çocukların okuma becerileri değişebilir Testi almış olmanın deneyimi– bireylerin gerçek skorlarını değiştirebilir, ör., güvenirlik hakkında vize ve final sınavı Zaman alır ve pahalıdır

11 Paralel ve alternatif formlar güvenirliği
Aynı testin iki formu vardır Form A (t1, birey/örneklem a); Form B (t1, birey/örneklem a) Kısmi çözümler Testi almış olmanın deneyimi– bireylerin gerçek skorlarını değiştirebilir– deneyimi bir sonraki teste aktarma olasılığı azalır Tepkisellik problemleri – ilk testi almış olmak, ikinci testi etkilemesi kısmendir. Zaman alır ve pahalıdır

12 Alternatif Formlar Güvenirliği
Paralel (alternatif) formlar güvenirliği Örneklemi ikiye bölmek: Form A (t1, örneklem a); Form B (t1, örneklem b) Form B (t2, örneklem a); Form A (t2, örneklem b)

13 İki-yarı (split-half) güvenirliği
Aşağıdakilerle başa çıkmak amaçlı kullanılır; Alternatif formlar oluşturmanın zorluğu İki farklı test uygulayıcısının olması gerekliliği Adımlar; 1. Bireylere bir test/ölçek uygula 2. Testi/ölçeği ikiye böl 3. Bir yarısındaki skorlarla diğer yarısındaki skorların korelasyonunu al

14 İç Tutarlılık Cronbach’s alpha
İç tutarlılık hesaplamada en çok kullanılan yöntem Bireylere testi uyguladıktan sonra, tüm maddeler arasındaki ortalama korelasyonu hesaplama.

15 Puanlayıcılar arası güvenirlik (gözlem ve mülakat tekniklerinde)
İdeal olarak birden fazla puanlayıcı verileri tutarlı olarak kodlamalı. İki ya da daha fazla puanlayıcı– korelasyon

16 Güvenirliği nasıl kullanılırız?
Bir psikolojik değerlendirmenin psikometrik özelliklerini değerlendirirken

17 Güvenirlik neye bağlıdır?
Testi alan kişinin özelliğine Bireysel farklılıklar Değişkenlik– SS Örnek? Testin özelliğine Maddeler arasındaki korelasyona Madde sayısına

18 Güvenirliği nasıl arttırabiliriz?
Güvenirlik ‘gerçek’ skor varyansına dayanır Madde sayısı arttıkça, varyans artacaktır ve güvenirlik de artacaktır (belirli koşullar altında)

19 Bir ölçümde güvenirliği nasıl sağlarız?
Güvenirlik Yeterli sayıda madde ve soru ile (içerik olarak yeterli) Kelimeleri kullanırken açık, anlaşılır ve uygun olarak Katılımcılar arasında cevap çeşitliliğini sağlayarak

20 Soru İlişki Memnuniyeti Ölçeği: Güvenirliği: .64. GÜVENİRLİĞİ NASIL ARTTIRABİLİRİM? Tamamen dogru Tamamen Yanlis Kız/Erkek arkadaşım beni sevdiğini yeterli derecede belli ediyor ve beni mutlu ediyor.  Kız/Erkek arkadaşımın başardığım işleri takdir etmesinden memnunum. Ders çalışmam gerektiğinde kız/erkek arkadaşım her zaman problem çıkarır. Kız/Erkek arkadaşım hobilerim için ayırdığım vakti anlayışla karşılar. Kız/erkek arkadaşım başka arkadaşlarımla vakit geçirmemden hoşlanmaz. Kız/Erkek arkadaşımın benim ihtiyaçlarıma özen göstermesi beni mutlu ediyor.

21 Güvenirlik Analizi - Örnek

22 Geçerlik

23 Geçerlik: Ölçmek istediğimiz konuyu mu ölçüyoruz?
Güvenilir Geçerli Güvenilir değil Geçerli değil

24 Geçerlik Çeşitleri Görünüş (Face) geçerliği Kapsam (Content) geçerliği
Yapı (Construct) geçerliği Ölçüt-dayanaklı (Criterion) geçerliği Eşzamanlı (Concurrent) Yordama (Predictive)

25 Görünüş Geçerliği Tanım: Test edilen bireye, ne ölçülüyormuş gibi göründüğüdür. Nasıl ölçeriz? Katılımcılarla uygulama sırasında konuşup, fikir alarak. Örnek: Davranış problemleri Saldırgan davranışlar Zorbalık Oyuncaklara zarar verme

26 Kapsam Geçerliği Tanım: Yapılan ölçümün oluşturduğu yargıları ve fikirleri bütünüyle ele alabilmesidir. Kapsam geçerliğini nasıl elde ederiz? Ölçülecek bir fikrin/yapının teorik olarak tüm alt başlıklarını düşünerek ve bunların tanımlamasını (operationalizaiton) yaparak 1. Ölçümünü yapacağınız konunun içeriğini tanımlayın. 2. Her bir test maddesi ile bu içeriğin hangi alanlarına değineceksiniz bunu tanımlayın. Örnek: Dindarlık Dini/ibadet mekanlarına gitme sıklığı

27 Örnek: Kapsam Geçerliği
Ölçmek için bir alan belirleyin: Bir ilişkide kadınlara yönelik saldırganlık. O alanın tüm alt başlıklarını belirleyin: Fiziksel saldırganlık Psikolojik/duygusal saldırganlık Cinsel saldırganlık Maddi saldırganlık

28 Kapsam Geçerliği: Aktivite
Ölçmek için bir alan belirleyin. O alanın tüm alt başlıklarını belirleyin.

29 Yapı Geçerliği Yapı ve tanımı arasındaki tutarlılık
Yakınsak (Convergent) geçerlik: ölçümümüzün teorik olarak ilişkili olmasını beklediğimiz ölçümle, ilişkili olması Araştırma metotları dersi sınavı ve Ölçme teknikleri dersi sınavı Ayırt edici (discriminant) geçerlik: ölçümümüzün teorik olarak ilişkili olmamasını beklediğimiz ölçümle, gerçekten ilişkili olmaması Araştırma metotları dersi sınavı ve Gelişim psikolojisi dersi sınavı

30 Yapı Geçerliği Yapı geçerliği elde etmek Nasıl ölçerim?
Uzman görüşleri Geçerlik analizleri Nasıl ölçerim? Teorik, kavramsal ve mantıklı planlama Örnek: Öğrenci memnuniyeti Yapının tanımı İşlemsel/ölçümsel (Operational) tanımı

31 Ölçüt-dayanaklı geçerliği
Yordama geçerliği Bir ölçüm aracının, sonuç yordama uygunluğu Teorik olarak yordamasını beklediğimiz bir konuyu, yordayabilme özelliği Örnek: ÖSS/LGS Üniversite birinci sınıf öğrencilerinin GNO’larını hesaplama Eş zamanlı geçerlik Eş zamanlı yapılan ölçüm Teorik olarak bazı grupları ayrıştırmasını beklediğimiz bir ölçümün, o grupları ayrıştırabilme özelliği Örnek: Öğrencileri başarılı ve başarısız olarak ayrıştırma (öğretmen tarafından) Örnek: Kişileri depresif ve depresif olmayanlar olarak ayrıştırma (psikolog tarafından)

32 İç Geçerlik İç geçerliğe etki eden faktörler – kontrol edilemeyen değişkenler (confounding variables)

33 İçki içme davranışları
Diğer Olaylar Polis kontrolü Alkol reklamı var İçki içme davranışları Alkol reklamı yok

34 doğal olarak gelişmesi
Olgunlaşma Eğitim var İş becerilerinin doğal olarak gelişmesi Üretkenlik Eğitim yok

35 Ölçüm Ölçmek istediğiniz konuyu nesnel olarak ölçememe durumu
Gözlemci/test uygulayıcısı Ölçüm aracı

36 Önyargılı örneklem seçimi
Eğitim var Üretkenlik Eğitim yok Bu çalışma sadece O ŞİRKETTEKİ sonuçları yordamanıza/belirlemenize yardımcı olacaktır.

37 Çalışmayı terk etme Örneklem kaybı genelde beklenir; ancak eğer
Farklı kayıplar söz konusu ise sorun olabilir Bazı gruplar çalışmayı terk etmeye (kaybolmaya) daha yatkındırlar Kontrol grupları, deney (müdahale) gruplarındansa kaybolmaya daha yatkındırlar Boylamsal çalışmalarda erkekler çalışmayı bırakmaya kadınlardan daha yatkındırlar

38 Dış Geçerlik Günlük yaşamda genellenebilirlik- spesifik durumlara değil Uygulamalı araştırma alanlarında Örneklem seçme hatası– spesifik örneklem Yapay deney oluşturması - genellenebilirlik İç ya da Dış geçerlik?

39 ÇALIŞMA SORULARI Ölçümlerinizden birinin olası güvenirlik problemi ne olabilir? Bu güvenirlik problemiyle nasıl başa çıkarsınız, açıklayınız. Maddelerinizi oluştururken, bu ölçümünüzün içerik ve yapı geçerliğini nasıl sağlarsınız? Kendi ölçümleriniz için hangi çeşit geçerliği sağlamak istersiniz? Sizce neden o çeşit önemli açıklayınız. Pilot çalışmanızı yaparken, ölçümlerinizin geçerli olmasını sağlamak için ne yaparsınız?

40 SPSS Uygulaması