Çapraz Geçerlilik (Cross Validation) Nedir?*

... konulu sunumlar: "Çapraz Geçerlilik (Cross Validation) Nedir?*"— Sunum transkripti:

1 Çapraz Geçerlilik (Cross Validation) Nedir?*
ÇG., seçilen maddeleri bir kokteyl kabına tekrar koyup çalkalayarak maddelerin ikinci defa işlevsel olup olmadığını görmeye benzer. ÇG. Çalışması yapabilmek için, tek bir uygulamadan elde edilen yanıtlara dayanarak ve sadece madde analizi sonucunda seçtikleri maddeleri kullanırlar. Bu maddeler ikinci defa test alanların bağımsız bir örnekleminde analiz edilir ve test alanların puanlarının geçerliği ve güvenilirliği kestirilir. *Crocker, L. & Algina, J. (1986). Introduction to classical and modern test theory. Holt. Rinehart and Winston: NY.

2 Çapraz Geçerlilik Nasıl Yapılır?
Havuzdaki tüm maddeler tüm yanıtlayıcılara uygulanır, her test kağıdı random olarak madde analizi veya çapraz geçerliğin yapılacağı koşula atanır. Ör., 400 cevaplayıcı 30 madde almışsa, yanıt kağıtları random olarak 200 kişilik iki gruba ayrılır. 200 kişilik grubun yanıtları, madde analizi için kullanır.

3 Çapraz Geçerlilik Nasıl Yapılır?
bu analiz sonucunda son test için 20 madde seçilmiş olsun. İkinci 200 kişinin yanıtlarını bu seçilen 20 madde için çapraz Geçerlilik çalışması yapmak amacıyla kullanılır, Geçerlilik ve güvenilirlik kestirimleri yapılır.

4 Çapraz Geçerlilik Nasıl Yapılır?
Bazen de araştırmacı hangi grubu seçtiğinin analiz sonuçlarında fark yaratıp yaratmadığını merak eder ve bu grupları yer değiştirerek analizi tekrarlar. Buna da «çifte çapraz Geçerlilik» adı verilir.

5 Çapraz Geçerlilik İlgili Önemli Noktalar
ÇG için mümkün olan en büyük yanıtlayıcı örneklemine ulaşmak gerekir. Madde analizi için daha büyük, ÇG için daha küçük bir grup olması tercih edilebilir (madde başına 5 yanıtlayıcı ilkesine göre).

6 Geçerlilik: Messick Kavramsallaştırması
Geçerlilik, test puanlarının anlamına ve değerine ilişkin olarak yapılacak tüm yorumların ve etkinliklerin yeterliğini ve uygunluğunu destekleyecek görgül kanıtların ve teorik akıl yürütmelerin derecesini ortaya koyan genel sorgulayıcı bir değerlendirmedir (Messick, 1995).

7 Geçerlilik: Test puanlarının anlamı ve değeri
Puan, en geniş anlamda; test, ölçek, gözlem işlemi, diğer değerleme araçları (iş örnekleri, port folyolar ve gerçekçi simülasyon durumları) yoluyla elde edilen tutarlı gözlemlere ait bir özetleme, bir kodlamadır. sadece nicel değil nitel davranış özetlemelerini de kapsar testin değil, daha çok test puanlarının anlamı ile ilgili bir özelliktir.

8 Geçerlilik: Test puanlarının anlamı ve değeri
Puanlar, sadece maddelerin veya uyarıcı koşullarının bir işlevi değildir. Puan, değerleme bağlamı kadar bireylerin de bunlara verdikleri tepkilerin bir sonucudur.

9 Geçerlilik: Sorgulama süreci
Geçerlilik, durağan bir işlem değil, devam eden gelişen ve güncelleme gerektiren bir süreçtir. Geçerlilik, puanların yorumunu ve kullanma amacına ilişkin doğrulamayı içeren bilimsel bir sorgulama sürecidir. Geçerlilik, Test puanının farklı bağlamlarda, bireylerde ve gruplarda ne anlam taşıdığı anlamayı ve bu anlamın gösterdiği sonuçların derecesinin sürekli olarak yoklanmaya devam ettiği görgül bir sormacadır.

10 Geçerliliğin değeri; Puan, en geniş anlamda; test, ölçek, gözlem işlemi, diğer değerleme araçları (iş örnekleri, portfolyolar ve gerçekci benzetimler (simulasyon durumları) yoluyla elde edilen tutarlı gözlemlere ait bir özetleme, bir kodlamadır.

11 v Bu genel kullanım nicel olduğu kadar nitel özetlemeleri de (davranış protokolleri, klinik değerlendirmeler, bilgisayarlı sözel raporlar, davranışsal veya performans değerlendirmeleri, derecelendirmeleri) kapsar. Bu yüzden geçerliğin tüm ilkeleri tüm değerlemelere uygulanır.

12 Hem ölçme ilkeleri hem de ölçmenin sosyal değeri bakımından tüm değerlemelerin
Geçerlilik Güvenirlik Karşılaştırılabilirlik Yansızlık Özelliklerini taşıması gerekir.

13 Geçerliliği Zedeleyebilecek Kaynaklar
1) ölçme konusu yapılan yapının yeterince temsil edilmemesi; değerleme sürecinin çok dar olması, ölçülecek yapının önemli yönlerini içermemesi

14 2) ölçme konusu yapı ile ilişkisiz değişkenlik; değerleme işleminin çok geniş olması ve yapı ile ilişkili olabilecek tepkileri etkileyecek unsurları (tepki seti, şans başarısı, sosyal beğenirlik) a) yapı ile ilişkisiz zorluk b) yapı ile ilişkisiz kolaylık) içermesi

15 Yapı Geçerliğinde Kanıt Kaynakları
Ölçülen özelliğe (performansta)ilişkin olarak zaman içinde gözlenen değişiklikleri ve tepkileri (a) farklı gruplar ve ortamlar (b) deneysel işlemler ve manipülasyonlar kapsamında analiz etmek, Test puanları ile ölçüt davranışlar arasındaki kapsamın uygunluğu hakkında bilgi toplamak, Yordayıcı test ve ölçüt ölçüleri arasındaki görgül ilişkileri kestirmek.

16 Yapı Geçerliğinin Boyutları
1) kapsam(content); kapsamla ilgili olma, kapsamda olan önemli tüm parçaların/unsurların temsil edilmesi-işlevsel önem- iş analizi, müfredat analizi, görev analizi, teknik kalite Yargıcı kararları, uzman yargısı

17 Yapı Geçerliğinin Boyutları
2) Dayanıklı (substantive) kuramsal çerçeve, süreç modelleri ve sürece dair yükümlülük: teste verilen tepkilere ilişkin gözlemlerin kuramsal çerçeve ile tutarlılığı; Yapının özelliklerini temsil eden süreçlerin ve yapının ölçülmesinde bu süreçleri temsil etme derecesi (psikomotor becerilerin ölçülmesi-Ör: mikroskop kullanımı-, performans görevleri) Kapsam (content) ve substantive arasındaki birleştirici temel kavram, temsil ediciliktir İki anlamı var a)bilişsel psikolojideki anlamıyla modelleme veya temsi etme b)Brunswikteki ekolojik örnekleme anlamındadır

18 Yapı Geçerliğinin Boyutları
3) ölçme kapsamını ve görevlerini temsil eden/yansıtan puanlama modelleri (puanlama yapısının ölçme yapısına uygunluğu); Kuramsal yapının, ölçme kapsamı kadar, bu yapıyı puanlamaya da yol gösterici olması gerekir. Yapı dayanaklı puanlama modellerinin bu özelliği, «yapısal doğruluk» olarak adlandırılır.

19 Yapı Geçerliğinin Boyutları
4) Genellenebilirlik ( puanın anlamının gösterdiği sınırlılıkları): puan yorumlamalarının gruplara, ortamlara ve görevlere genellenebilirliğidir. Bu tür genellenebilirlik kanıtları, değerlendirilen görevler ile yapıyı veya yapının boyutlarını temsil eden diğer görevlerle, arasındaki ilişkinin derecesine dayanır. Özellikle performans değerlendirmesinde önemlidir. Buradaki ölçme hatalarının kaynakları, görevlerin, koşulların, puanlayıcıların örneklemesindeki temsil edicilik ile ilişkilidir.

20 Yapı Geçerliğinin Boyutları
5)Dışsal değişkenlerle yakınsak ve ayırıcı korelasyonlar; mtmm yöntemleriyle elde edilen yakınsak ve ıraksak kanıtlar. Uyum (Yakınsak); aynı yapının farklı yöntemlerle ölçümlerinden elde edilen ölçüleri arasındaki karşılıklılık; Ayırıcı (divergent/discriminant)l; diğer yapıların ölçülerinden elde edilen farklılık Bu tür kanıtlar seçme, yerleştirme, sertifika verme amaçlı ölçmeler için önemli.

21 Yapı Geçerliğinin Boyutları
6) Geçerlik kanıtı olarak test puanlarının etkileri/sonuçları; test puanlarının, uzun ve kısa dönemli kullanımları için amaçlanan ve amaçlanmayan sonuçlarını değerlendiren kanıtların toplanması. Test uygulamalarının toplumda yarattığı –olumlu (eğitim uygulamalarını eleştiren)ve olumsuz (yanlılık) yönlerdeki sonuçlarına ilişkin kanıtların elde edilmesi.

22 SONUÇ Geçerlilik, temelde yapı geçerliliği kavramına atfeder.
Geçerlilik, ilgili yapıya yönelik kanıt elde etme ve kanıtların değerlendirilmesidir. Geçerlik, ölçmenin anlamının ve sonuçlarının görgül bir biçimde değerlendirilmesidir. Görgül değerlendirme, yanıtı kendi içinde saklı soru olduğu kadar bilimsel olan ve tartışma ve kanıtlamayı gerektiren bir süreçtir.