Geçerlik, güvenirlik ve kullanışlılık Doç. Dr. Mustafa DOĞAN Konya N. Erbakan Üniversitesi A. K. Eğitim Fakültesi

Güvenirlik “Nasıl ölçülecek?” sorusuna ilişkindir. Ölçme aracının duyarlı ve tutarlı ölçme yapması, güvenirlik olarak adlandırılmaktadır.

Duyarlık Ölçme aracının duyarlı olması, hatasının az olması anlamına gelir. Hata, gerçek ile gözlenen ölçümler arasındaki farktır. Bir başka ifadeyle, ölçme dilinde gerçek ölçüm kuramsal olarak kabul edilir. Gerçek ölçüm, sonsuz sayıdaki gözlenen ölçümlerin aritmetik ortalamasıdır. Bu nedenle gerçek ölçüm şöyle formüle edilebilir: Gerçek ölçüm = Gözlenen ölçüm ± Hata.

Hatadan kaçınılamayacağına göre, duyarlığı artırmak için hatayı azaltmak gerekir. Bunun anlamı şudur: Eğer hatayı azaltmak istiyorsanız, birimi küçültmelisiniz. Eğitimde kullanılan ölçme araçlarında birim, karşımıza soru maddeleri ve puanlama olarak çıkmaktadır. Birimi küçültmenin yolu ise, açıktır ki soru sayısını artırmaktır.

Hata Kaynakları Ölçme işleminde hatanın kaynağı yalnızca birimde, bir başka deyişle ölçme araçlarında aranmamalıdır. Ölçmede hata ölçen kişi, ölçme ortamı ve ölçülen nitelikten de kaynaklanabilir. Hatanın ölçenden kaynaklanma durumunu kontrol etmek için başka ölçmeciler kullanılabilir. Ortam ve koşulların etkisini kontrol etmek için ölçme yeniden yapılabilir.

Eğitimde de, ölçülen nitelik insan davranışı olduğu için hataya daha açık olması kaçınılmazdır. Ölçme aracı, bulunması gereken nitelikler açısından uzmanlar ve ilgililer tarafından gözden geçirilebilir. Ancak, ölçülen nitelik açısından hatayı azaltmak çok zordur.

türlerine göre hatalar: sabit, sistematik ve tesadüfi olabilir.

Sabit hata Eğer ölçme aracı hazırlanırken, yanıt anahtarında bilinmeden bir yanlışlık yapılmışsa, bu, sabit hata yaratır. Böyle bir durumda sınıfın dağılımı değişmez. Hatayı gidermenin yolu, anahtarı tekrar gözden geçirmektir.

Sistematik hata Sistematik hata bir yanlılık hatasıdır. Güzel yazı, düzgün kâğıt, cinsiyet vb. ölçülmesi istenmeyen değişkenlerin bilinçli olarak puanlamaya etki etmesi anlamına gelir. Bu, bir öğretmenin hiç yapmaması gereken bir hatadır. Öğretmen için en olumsuz davranış, öğrenci ayırımı yapmaktır.

Tesadüfi hata Tesadüfi hata bilinçsizce yapılan bir hatadır. Bunu önlemenin yolu yorgun, üzgün, coşkulu vb. olağandışı ruh durumu içindeyken puanlama yapmamaktır. Çok sayıda ölçme yapıldığında ise, bu tür hata sıfıra yaklaşabilir.

Yani Sabit hatalar: Yapılan ölçmeye aynı yönde ve aynı derecede etki eden hatalardır. Her kağıda 5 puan fazla vermek. Sistemli (sistematik) hatalar: Yapılan ölçmelere belli esaslara göre belli miktarda hatanın ölçümlere karışmış olmasıdır. Yazısı okunaklı ve düzgün olan öğrencilere 5 puan fazla vermesi gibi. Tesadüfi (Rasgele) hatalar: Miktarını, yönünü, derecesini ve şiddetini kestirmek mümkün olmayıp tesadüfen ortaya çıkan hatalardır. Öğrencinin sınava gireceği gün rahatsızlanması, öğretmenin puanları yanlış toplaması gibi.

Tutarlılık Buraya kadar güvenirliği oluşturan boyutlardan duyarlık üzerinde duruldu. Güvenirliğin diğer boyutu da, tutarlı, bir başka ifadeyle kararlı olmasıdır. Tutarlılık, bazen sabit hatadan kaynaklanabilir. Ancak burada istenilen, sabit bir hatadan arınmış olarak, ölçmenin aynı sonuçları verebilmesidir. Bunlar nasıl kontrol edilebilir? Güvenirlikte de istatistiksel işlemler yapılarak güvenirlik katsayıları hesaplanmaktadır.

güvenirlik katsayıları 1. test – tekrar test 2. Paralel (eşdeğer) testler 3. iki eşit yarıya bölme

test – tekrar test Verilen test birkaç hafta sonra aynen tekrar edilebilir. Bu işleme test – tekrar test adı verilmektedir (Aynı test formunun iki ayrı zamanda uygulanması).

Paralel (eşdeğer) testler Paralel (eşdeğer) testler hazırlanarak bunlar arasında korelasyon aranabilir (Testin eş formlarını kullanma yöntemi).

iki eşit yarıya bölme Test, iki eşit yarıya bölünerek iki yarıdan elde edilen puanlar arasındaki ilişkiye bakılabilir. Bu da test – yarı test olarak ifade edilir. Yarı test oluşturmanın en uygun yolu, testin tek ve çift sayılı maddelerini ayrı puanlayarak, her öğrenci için tek sayılı ve çift sayılı madde puanlarının belirlenmesidir. Daha sonra bu iki puan arasındaki ilişkinin miktarı belirlenir. Elde edilen katsayının yüksek olması, güvenirliğin de yüksek olması anlamına gelir (Bir testi iki eşdeğer yarıya bölme(Sperman Brown Formülü ve Cronbach Alfa(α) eşitliği).

Bunlar; formül olarak: Sperman Brown formülü Cronbach  eşitliği Pearson momentler çarpımı korelasyon katsayısı Kullanılarak bulunabilir.

Örnek 3: Bir öğretmen hazırladığı bir testin güvenirliğini belirlemek amacıyla, testi bütün olarak uygulamış ve testi tek ve çift numaralı sorulardan alınan puanlara göre puanlamıştır. Öğrencilerin tek ve çift numaralı sorulardan aldıkları puanlar aşağıda verilmiştir. Bu verilere göre testin güvenirlik katsayısı nedir?

Öğretmenlerin devinişsel alan becerilerinin performans kalitesinde yargıya varmada kullanacağı kaynaklar, 1. beceri testleri, 2. kontrol listeleri, 3. öz değerlendirme formları, 4. dereceli puanlama anahtarları, 5. gözlem formları, 6. çalışma yaprakları, 7. günlük uygulama ödevleri, 8. projeler gibi araçlardır

Gözlem, beden eğitimi derslerinde kullanılan en genel değerlendirme formlarıdır. Özellikle de devinişsel değerlendirme araçları daha çok gözleme dayalı değerlendirme araçlarıdır

Kontrol listeleri hareketlerde ve becerilerdeki yeterliliği değerlendirmek için kullanılan gözlem formlarıdır. Hareketler anında değerlendirilebildiği gibi videoya çekilerek daha sonra öğretmen, akran ya da kişinin kendisi tarafından değerlendirilir.

A. Kontrol listeleri, herhangi bir konu ya da beceriye ilişkin performansı oluşturan öğelerin, ne kadarının öğrenciler tarafından gösterildiğinin belirlenmesi için uygun bir araçtır. B. Gözlemci bunları kullanarak öğrencinin performans kalitesini belirler. C. Seçenek sayısı sınırlıdır. “evet” ya da “hayır” veya 3 seçenekli olabilir. D. Ayrıca geliştirilmesi ve uygulanması kolay olduğu için bütün sınıf E. düzeylerinde rahatlıkla kullanılabilir

Kontrol listeleri bir beceri ya da hareketin sonucundan çok ortaya konuluşunun kalitesini değerlendirir. Kişinin yaptığı hareketin daha önceden belirlenmiş hareket şekillerine ne kadar uygun olup olmadığı değerlendirilir. Kontrol listesi geliştirilmesi; ölçme konusu olan performansın bütün kritik yanlarının bilinmesini, tanınmasını gerektirir. Bunun için de gözlenecek performansın önceden analizinin yapılması gereklidir

SUNUM BECERİSİNE YÖNELİK KONTROL LİSTESİ Tarih: ÖlçütlerEvetHayır Dinleyici ile göz teması kuruyor Beden dilini etkili kullanıyor Anlaşılır bir tonda konuşuyor Yerinde vurgulamalar yapıyor √ Akıcı konuşuyor Düzgün ifadeler seçiyor √ Gereksiz tekrar yapmıyor Düşüncelerini ifade edebiliyor Bilgiyi organize edebiliyor Sonuç bölümünde özetleyebiliyor Geliştirilmeli

YAŞSORULARDAVRANIŞLAR Evet / Hayır 3-6 AY Onunla konuştuğunuz zaman ne yapıyor? Annesinin sesini duyunca uyanır veya yatışır. Sizi görmese de sesinize tepki gösteriyor mu ? Gözlerini ve başını sesin geldiği yere çevirir AY Etrafta olup biteni görmediği zaman, tanıdığı ayak seslerini, telefonun çalışını, herhangi birinin sesini veya kendi adını duyarsa ne yapıyor? Etrafta olup biteni görmese bile, başını ve omuzlarını tanıdığı sese doğru çevirir AY Kendisinden, tanıdığı cisimleri veya şahısları göstermesi veya bulması istendiği zaman bunu yapabiliyor mu? Örnek "Ahmet nerede?" "Topu bul" gibi. Kendine özgü davranışlarda bulunarak bazı kelimeleri anladığını gösterir. Örneğin, kendisinden istendiğî zaman tanıdığı cisimleri veya şahısları işaret eder ya da onlara bakar Değişik seslere değişik şekillerde mi tepki gösteriyor? İnsan sesi duyduğu zaman kendince mırıldanır, gök gurultusu duyduğunda ağlayacak gibi olur veya azarlandığı zaman kaşlarını çatar. Bazı sesleri dinlemekten ve taklit etmekten hoşlanıyor mu? Taklit etmesi, sesleri duyduğunu ve bu sesleri kendi çıkardığı seslere benzetebildiğini gösterir.

 Yeterli /Yetersiz olma durumu, Başarılı /Başarısız olma durumu gibi kararların verilebilmesi için elde edilen ölçmelerin bir kriter/ kıstas/ ölçüt ile karşılaştırılması gereklidir.  Verilen örneklerin sayısal sonuç içerme zorunluluğu yoktur. Örneğin ; Bu gün havada mevsim normallerinin üzerinde bir nem oranı var.

I.Ölçme işleminde gözlem yapılır, değerlendirme işleminde ise gözlemin sonuçlarına ilişkin karar verilir. II.Değerlendirme yapmak için ölçme işlemi yapılmış olmalıdır. Ölçme sonuçları olmadan değerlendirme yapmaya, önyargı denir. III.Ölçme işlemi ile incelenen özelliğin miktarı belirlenirken, değerlendirme işlemi ile bu miktarın yeterli olup olmadığına karar verilir. IV.Ölçme işlemi nicelik, değerlendirme işlemi nitelik belirlemedir. V.Ölçme işlemi objektif, değerlendirme işlemi sübjektiftir.

ÖĞRENCİ ÜRÜN DOSYASI (PORTFOLYO) Öğrencilerin zaman içindeki çalışmalarının sistemli olarak bir araya getirilmesidir. Öğrencilere ve öğretmenlere, öğrencilerinin gelişimini ve büyümesini değerlendirme konusunda yardımcı olur.

Öğrenci ürün dosyası Hazırlama Sürecinde Öğretmenin Yapacakları Öğrenci ürün dosyasını hazırlamadan önce, hangi kazanıma yönelik çalışmak istediğinizi belirleyiniz. Öğrenci ürün dosyasını sınıfınıza tanıtınız. Varsa elinizde bir örnek bunu öğrencilerinize gösteriniz. Öğrencilerinize ürün dosyasının bir değerlendirme aracı olduğunu söyleyiniz. Öğrenci ürün dosyalarında nelerin bulunabileceğini söyleyiniz (sınavlar, projeler, değerlendirme ölçekleri, yazılar vb.).

Dosyaya fazla ürün koyarak öğrencilerin cesaretlerini kırmayınız (başlangıçta 4-5 madde). Öğrencilerden, her öğrenme ürünüyle ilgili materyali seçmek için bir gerekçe göstermeleri ve çalışmalarını eleştirmelerini isteyiniz. Öğrencilere akranlarıyla birlikte ürünlerini paylaşma fırsatı veriniz. Her aşamanın nasıl değerlendirileceğini açıklayınız (Öğrencilerinize puanlama ve dereceleme ölçekleri konusunda bilgi veriniz.).

Öğrenci Ürün Dosyasının İçeriği Dosyanın “içindekiler” bölümü Önsöz, özet (ya da Özgeçmiş) (Burada öğrenci çalışmalarının başlangıçtan o ana kadarki gelişimini anlatır. Öğrenci başlangıçta neredeydi? Bu aşamaya nasıl geldi?) Öğrenci tarafından dosyaya konulan tüm ürünler ya da çalışmalar. Yapılan her çalışmanın değerlendirilmesi ile ilgili dereceleme ölçeği, kontrol listesi ya da öz değerlendirme formları gibi araçlar.

Her ürünün dosyaya konulmasının nedeni? Burada öğrenci kendisi ile ilgili görüşlerini belirtir. Bundan ne öğrendim? Bu çalışmayı neden sakladım? Çalışmayı yaparken beklemediğim nelerle karşılaştım? Benim için bu çalışmanın anlamı nedir? Hangi alanda zayıfım? Öğrenci Ürün dosyasının değerlendirilme Ölçütleri

Öğrenci Ürün Dosyası neler içerir? Öğretmen tarafından hazırlanan rehber Öğrencilerin yazılmış ödevleri(taslak yada bitmiş parçaları) Araştırmalar, problemler ve stratejiler Diyagramlar, fotoğraflar, resimler Videoteypler ve audioteypeler Grup ödevleri ve projeler Öğretmen anektodları Kelime geliştirme çalışmaları Öğrencilerin mektupları, şiirleri, raporları Bir kitap incelemesi Öğretmen kontrol listeleri Öğrencilerin zorlukla tekrar yapmak istediği ödevler Özel ödevlerin içinden seçtiği örnekler Değerlendirme kağıtları (öğrenci çalışmalarındaki gelişimleri nasıl değerlendirileceğini gösteren kağıtlar)

Ü R ÜN DOSYASI DEĞERLENDİRME KRİTERLERİ Çalışmaların tamamlanmış olması Yaratıcılık taşıması ve özgün olması Anlamayı gösteren kanıtlar içermesi Konu ve kavram hakkında bilgi Bilginin doğruluğu Başlanan işi bitirebilme Ürün kalitesi Alanlar arası geçişin görülmesi Problem çözme

Çalışma Dosyası Değerlendirme Ölçeği -1

Çalışma Dosyası Değerlendirme Ölçeği -2

Örnek sayfalar

Örnek formlar 2

Örnek formlar 1

ÜRÜN DOSYASI DEĞERLENDİRME FORMU Gelişim Alanları Nasıl Bir Gelişim Gösterdi? Bilimsel Kavramlar Bilimsel Süreç ve Kritik Düşünme Becerileri Bilimsel Muhakeme Becerisi Bireysel ya da Grupla Çalışma Becerisi

Öğrenci Adı: ____________________________ Sınıf: _________ Öğretmen: ________________ Analiz Tarihi: _____________ Eğitim Hedefi: _____________________________________________ NesnelNesnellikle İlgili Öğrencinin Süreç Örnekleri Referanslar ____________________ Şekil 1. Portföy Analiz Formu

Çok İyi 4 İyi 3 Geliştirilmeli 2 Zayıf 1 Kabul edilemez 0 Adı Soyadı: Sınıf: Puan: Ödevin Konusu: Tüm kaynakları kullanarak somut bir anlatım ve yöntem kullanmış Çözüm yolunda pratikliği Bütün konular öncelik ve ilgilere göre sunulmuş Kendi yorumunu kullanmış Ödevin sunumunu farklı sorulara cevap verecek düzeyde hazırlamış Sunulan örnekler yeterli ve etkili Görünüş ve geçerliği uygun Cümleler düzgün, yazım yanlışı yok Ödev yeterli başlıklardan oluşmuş ÖDEV SUNUMUNDA ÖĞRENCİYİ DEĞERLENDİRME ENVANTERİ

KRİTERLER 4 Çok başarılı 3 Başarılı 2 Geliş tirilmeli 1 Başarısız Puan Vücut Dili Göz Teması Giriş ve Kapanış ÖDEV SUNUMU PUANLAMASI Adı Soyadı:Öğretmen: Tarih:Çalışmanın Başlığı:

YANSITICI SORGULAMA RUBRİĞİ 1. Bana ne yaptığını anlatır mısın? 2. Bunu nasıl düşündün? 3. Bu sana neyi hatırlatıyor? 4. Bunu destekleyen ne gibi kanıtların var? 5. Peki ya bunlar başka bir sırada gerçekleşseydi? 6. Eğer bu işe yaramasaydı ne yapardın? 7. Sence.....ve arasında bir ilişki var mı?

ADI SOYADI Sınıf Tarih DEĞERLENDİRDİĞİ ÖĞRENCİNİN Adı Soyadı PROBLEM: Bu neden bir problemdi? Nasıl Çözdü? İşe yaradı mı? Bir dahaki sefere benzer bir problemi ben çözebilir miyim? Kullanabileceğim başka yollar öğrendim mi? PROBLEM ÇÖZMEDE ÖĞRENCİNİN DİĞER BİR ÖĞRENCİYİ DEĞELENDİRME ÖLÇEĞİ

ÖĞRENCİNİN ADI SOYADI: ÇALIŞMANIN KONUSU: ÇALIŞMANIN HEDEFİ: ÖĞRENCİNİN NOTLARI ÖĞRETMENİN NOTLARI ’yı yaparken neler hissettin? Hakkında ne düşünüyorsun? Cevabın hakkında ne düşünüyorsun? Bu ödevi yaparken yeni düşüncelerin oldu mu? Problemin çözüm yolunu nasıl buldun? Yapmanın başka yolunu söyleyebilir misin? Olsaydı ne olurdu? Yolunda gitmeyen bir sorun yaşadın mı?  Bana dan bahset.  dan ne öğrendin?  Başka ne bilmek istersin?  Değiştirmek istediğin bir şey var mı?  Ne derece iyi yaptığını düşünüyorsun?  Başka olası çözümler var mı?  ’yı nasıl, ne zaman ve nerede kullanabilirsin?

Uygulanmış bir örnek (Selçuk Üniversitesi Eğitim Fakültesi İlköğretim Matematik Eğitimi Araştırma Grubu Problem Çözme Becerisi Projesi). 1. Kapak dosyası

2. İçindekiler

3. Özgeçmiş

4. Veli Formu

5. Değerlendirme Formu