Çapraz Geçerlilik (Cross Validation) Nedir?*

Slides:



Advertisements
Benzer bir sunumlar
ÖLÇME ARACINDA BULUNMASI İSTENİLEN NİTELİKLER
Advertisements

GEÇERLİLİK 1- Tarihsel Gelişim 2- Geçerlilik Tanımı
Bu slayt ‘ten indirilmiştir.
Çoktan Seçmeli Sınavlar
BİLİMSEL ARAŞTIRMA YÖNTEMLERİ
Bölüm 6 Nicel Veri Toplama
ÖLÇME ARACINDA BULUNMASI GEREKEN NİTELİKLER
Ölçme Düzeyleri Ölçeklerin Kullanılması
GEÇERLİLİK ve GÜVENİLİRLİK
ÖLÇME ARACINDA BULUNMASI İSTENİLEN NİTELİKLER
BİLİMSEL ARAŞTIRMA YÖNTEMLERİ
EĞİTİMDE ÖLÇME & DEĞERLENDİRME -6-
Yrd.Doç.Dr. Ali Murat SÜNBÜL Selçuk Üniversitesi, Egt.Fak.
EĞİTİMDE ÖLÇME VE DEĞERLENDİRME
ÖLÇME VE DEĞERLENDİRME DERSİ
Ölçüm Geçerliği Murat Coşar Afyon Kocatepe Üniversitesi
Bilimsel Araştırma Yöntemleri
İnsan Kaynakları Yönetiminin
ÖLÇME ARAÇLARININ NİTELİKLERİ
21 - ÖLÇME SONUÇLARI ÜZERİNE İSTATİSTİKSEL İŞLEMLER
Nitel Araştırmada Geçerlik ve Güvenirlik
Hazırlayan Tuba YAZICIOĞLU
Akademik Becerilerin İzlenmesi ve DEğerlendirilmesi
EĞİTİM BİLİMLERİNDE ARAŞTIRMA YÖNTEMLERİ
ARAŞTIRMA YÖNTEMLERİ.
Eğitim Psikolojisi -Eğitim Psikolojisinin Kapsamı-
İNCELEME Bilimin İşlevleri İstatistiksel Yöntemler Değişken Türleri
Araştırma Başlığı: İlköğretim öğrencilerinde matematik kaygısı ile matematik başarısı arasında bir ilişki olup olmadığının incelenmesi Grup Adı: M&M’S.
BÖLÜM 2 Endüstri/Örgüt Psikolojisinde Araştırma Yöntemleri.
Eğitimde ve Psikolojide ÖLÇME VE DEĞERLENDİRME
BİLİMSEL ARAŞTIRMA YÖNTEMLERİ ÜNİTE 6
ÖLÇME VE DEĞERLENDİRME DERSİ
ÖLÇME ve DEĞERLENDİRME
Ders 5: ÖLÇME VE DEĞERLENDİRME
MALİ DENETİME GİRİŞ.
VERİLERİN TOPLANMASI Doç. Dr. Ender DURUALP.
Psyc 351T Ölçme Teknikleri
BİLİMSEL ARAŞTIRMA YÖNTEMLERİ ÜNİTE 10
İnsan Kaynakları Yönetiminin
KLASİK TEST KURAMI VE GÜVENİLİRLİK
PSİKOLOJİK TESTLER.
BİLİMSEL ARAŞTIRMA YÖNTEMLERİ
MADDE TEPKİ KURAMI: İlk adımlar
BİLİMSEL ARAŞTIRMA YÖNTEMLERİ
GÜVENİRLİK ve GEÇERLİK
SOSYAL BİLİMLERDE ARAŞTIRMA YÖNTEMLERİ ÜNİTE 4
EĞİTİMDE KULLANILAN ÖLÇME ARAÇLARI
İnsan Kaynakları Yönetiminin
Eğitimde ve Psikolojide ÖLÇME VE DEĞERLENDİRME
Zeka Testleri.
BİLİMSEL ARAŞTIRMA YÖNTEMLERİ 5.DERS
Yrd.doç.dr.h.denİz GÜlleroĞlu
NİTEL ARAŞTIRMALARDA GEÇERLİLİK VE GÜVENİRLİK
EĞİTİMDE ÖLÇME ve DEĞERLENDİRME
Yrd. Doç.dr. H. denİz GülleroğlU
PSİKOLOJİDE ÖLÇME VE TESTLER
Psikolojik Testlerin Çeşitli Kriterlere Göre Sınıflandırılması
BİLİMSEL ARAŞTIRMA YÖNTEMLERİ
ÖLÇME ARACININ YAPISAL NİTELİKLERİ
Psikolojik yapılar ve özellikler
NİŞANTAŞI ÜNİVERSİTESİ
Verilerin Toplanması I
EĞİTİMDE ÖLÇME VE DEĞERLENDİRME
Toplumsal Araştırma.
ÖDE5024 DAVRANIŞ BİLİMLERİNDE İSTATİSTİK Yüksek Lisans
Anket ve Likert Ölçekler
Güvenirlik Yrd. Doç. Dr. Ömer Kutlu.
Bilimsel Araştırmada Kullanılan Temel Kavramlar
Sunum transkripti:

Çapraz Geçerlilik (Cross Validation) Nedir?* ÇG., seçilen maddeleri bir kokteyl kabına tekrar koyup çalkalayarak maddelerin ikinci defa işlevsel olup olmadığını görmeye benzer. ÇG. Çalışması yapabilmek için, tek bir uygulamadan elde edilen yanıtlara dayanarak ve sadece madde analizi sonucunda seçtikleri maddeleri kullanırlar. Bu maddeler ikinci defa test alanların bağımsız bir örnekleminde analiz edilir ve test alanların puanlarının geçerliği ve güvenilirliği kestirilir. *Crocker, L. & Algina, J. (1986). Introduction to classical and modern test theory. Holt. Rinehart and Winston: NY.

Çapraz Geçerlilik Nasıl Yapılır? Havuzdaki tüm maddeler tüm yanıtlayıcılara uygulanır, her test kağıdı random olarak madde analizi veya çapraz geçerliğin yapılacağı koşula atanır. Ör., 400 cevaplayıcı 30 madde almışsa, yanıt kağıtları random olarak 200 kişilik iki gruba ayrılır. 200 kişilik grubun yanıtları, madde analizi için kullanır.

Çapraz Geçerlilik Nasıl Yapılır? bu analiz sonucunda son test için 20 madde seçilmiş olsun. İkinci 200 kişinin yanıtlarını bu seçilen 20 madde için çapraz Geçerlilik çalışması yapmak amacıyla kullanılır, Geçerlilik ve güvenilirlik kestirimleri yapılır.

Çapraz Geçerlilik Nasıl Yapılır? Bazen de araştırmacı hangi grubu seçtiğinin analiz sonuçlarında fark yaratıp yaratmadığını merak eder ve bu grupları yer değiştirerek analizi tekrarlar. Buna da «çifte çapraz Geçerlilik» adı verilir.

Çapraz Geçerlilik İlgili Önemli Noktalar ÇG için mümkün olan en büyük yanıtlayıcı örneklemine ulaşmak gerekir. Madde analizi için daha büyük, ÇG için daha küçük bir grup olması tercih edilebilir (madde başına 5 yanıtlayıcı ilkesine göre).

Geçerlilik: Messick Kavramsallaştırması Geçerlilik, test puanlarının anlamına ve değerine ilişkin olarak yapılacak tüm yorumların ve etkinliklerin yeterliğini ve uygunluğunu destekleyecek görgül kanıtların ve teorik akıl yürütmelerin derecesini ortaya koyan genel sorgulayıcı bir değerlendirmedir (Messick, 1995).

Geçerlilik: Test puanlarının anlamı ve değeri Puan, en geniş anlamda; test, ölçek, gözlem işlemi, diğer değerleme araçları (iş örnekleri, port folyolar ve gerçekçi simülasyon durumları) yoluyla elde edilen tutarlı gözlemlere ait bir özetleme, bir kodlamadır. sadece nicel değil nitel davranış özetlemelerini de kapsar testin değil, daha çok test puanlarının anlamı ile ilgili bir özelliktir.

Geçerlilik: Test puanlarının anlamı ve değeri Puanlar, sadece maddelerin veya uyarıcı koşullarının bir işlevi değildir. Puan, değerleme bağlamı kadar bireylerin de bunlara verdikleri tepkilerin bir sonucudur.

Geçerlilik: Sorgulama süreci Geçerlilik, durağan bir işlem değil, devam eden gelişen ve güncelleme gerektiren bir süreçtir. Geçerlilik, puanların yorumunu ve kullanma amacına ilişkin doğrulamayı içeren bilimsel bir sorgulama sürecidir. Geçerlilik, Test puanının farklı bağlamlarda, bireylerde ve gruplarda ne anlam taşıdığı anlamayı ve bu anlamın gösterdiği sonuçların derecesinin sürekli olarak yoklanmaya devam ettiği görgül bir sormacadır.

Geçerliliğin değeri; Puan, en geniş anlamda; test, ölçek, gözlem işlemi, diğer değerleme araçları (iş örnekleri, portfolyolar ve gerçekci benzetimler (simulasyon durumları) yoluyla elde edilen tutarlı gözlemlere ait bir özetleme, bir kodlamadır.

v Bu genel kullanım nicel olduğu kadar nitel özetlemeleri de (davranış protokolleri, klinik değerlendirmeler, bilgisayarlı sözel raporlar, davranışsal veya performans değerlendirmeleri, derecelendirmeleri) kapsar. Bu yüzden geçerliğin tüm ilkeleri tüm değerlemelere uygulanır.

Hem ölçme ilkeleri hem de ölçmenin sosyal değeri bakımından tüm değerlemelerin Geçerlilik Güvenirlik Karşılaştırılabilirlik Yansızlık Özelliklerini taşıması gerekir.

Geçerliliği Zedeleyebilecek Kaynaklar 1) ölçme konusu yapılan yapının yeterince temsil edilmemesi; değerleme sürecinin çok dar olması, ölçülecek yapının önemli yönlerini içermemesi

2) ölçme konusu yapı ile ilişkisiz değişkenlik; değerleme işleminin çok geniş olması ve yapı ile ilişkili olabilecek tepkileri etkileyecek unsurları (tepki seti, şans başarısı, sosyal beğenirlik) a) yapı ile ilişkisiz zorluk b) yapı ile ilişkisiz kolaylık) içermesi

Yapı Geçerliğinde Kanıt Kaynakları Ölçülen özelliğe (performansta)ilişkin olarak zaman içinde gözlenen değişiklikleri ve tepkileri (a) farklı gruplar ve ortamlar (b) deneysel işlemler ve manipülasyonlar kapsamında analiz etmek, Test puanları ile ölçüt davranışlar arasındaki kapsamın uygunluğu hakkında bilgi toplamak, Yordayıcı test ve ölçüt ölçüleri arasındaki görgül ilişkileri kestirmek.

Yapı Geçerliğinin Boyutları 1) kapsam(content); kapsamla ilgili olma, kapsamda olan önemli tüm parçaların/unsurların temsil edilmesi-işlevsel önem- iş analizi, müfredat analizi, görev analizi, teknik kalite Yargıcı kararları, uzman yargısı

Yapı Geçerliğinin Boyutları 2) Dayanıklı (substantive) kuramsal çerçeve, süreç modelleri ve sürece dair yükümlülük: teste verilen tepkilere ilişkin gözlemlerin kuramsal çerçeve ile tutarlılığı; Yapının özelliklerini temsil eden süreçlerin ve yapının ölçülmesinde bu süreçleri temsil etme derecesi (psikomotor becerilerin ölçülmesi-Ör: mikroskop kullanımı-, performans görevleri) Kapsam (content) ve substantive arasındaki birleştirici temel kavram, temsil ediciliktir İki anlamı var a)bilişsel psikolojideki anlamıyla modelleme veya temsi etme b)Brunswikteki ekolojik örnekleme anlamındadır

Yapı Geçerliğinin Boyutları 3) ölçme kapsamını ve görevlerini temsil eden/yansıtan puanlama modelleri (puanlama yapısının ölçme yapısına uygunluğu); Kuramsal yapının, ölçme kapsamı kadar, bu yapıyı puanlamaya da yol gösterici olması gerekir. Yapı dayanaklı puanlama modellerinin bu özelliği, «yapısal doğruluk» olarak adlandırılır.

Yapı Geçerliğinin Boyutları 4) Genellenebilirlik ( puanın anlamının gösterdiği sınırlılıkları): puan yorumlamalarının gruplara, ortamlara ve görevlere genellenebilirliğidir. Bu tür genellenebilirlik kanıtları, değerlendirilen görevler ile yapıyı veya yapının boyutlarını temsil eden diğer görevlerle, arasındaki ilişkinin derecesine dayanır. Özellikle performans değerlendirmesinde önemlidir. Buradaki ölçme hatalarının kaynakları, görevlerin, koşulların, puanlayıcıların örneklemesindeki temsil edicilik ile ilişkilidir.

Yapı Geçerliğinin Boyutları 5)Dışsal değişkenlerle yakınsak ve ayırıcı korelasyonlar; mtmm yöntemleriyle elde edilen yakınsak ve ıraksak kanıtlar. Uyum (Yakınsak); aynı yapının farklı yöntemlerle ölçümlerinden elde edilen ölçüleri arasındaki karşılıklılık; Ayırıcı (divergent/discriminant)l; diğer yapıların ölçülerinden elde edilen farklılık Bu tür kanıtlar seçme, yerleştirme, sertifika verme amaçlı ölçmeler için önemli.

Yapı Geçerliğinin Boyutları 6) Geçerlik kanıtı olarak test puanlarının etkileri/sonuçları; test puanlarının, uzun ve kısa dönemli kullanımları için amaçlanan ve amaçlanmayan sonuçlarını değerlendiren kanıtların toplanması. Test uygulamalarının toplumda yarattığı –olumlu (eğitim uygulamalarını eleştiren)ve olumsuz (yanlılık) yönlerdeki sonuçlarına ilişkin kanıtların elde edilmesi.

SONUÇ Geçerlilik, temelde yapı geçerliliği kavramına atfeder. Geçerlilik, ilgili yapıya yönelik kanıt elde etme ve kanıtların değerlendirilmesidir. Geçerlik, ölçmenin anlamının ve sonuçlarının görgül bir biçimde değerlendirilmesidir. Görgül değerlendirme, yanıtı kendi içinde saklı soru olduğu kadar bilimsel olan ve tartışma ve kanıtlamayı gerektiren bir süreçtir.