Ölçme AraçlarInda BulunmasI İstenen NİTELİKLER

... konulu sunumlar: "Ölçme AraçlarInda BulunmasI İstenen NİTELİKLER"— Sunum transkripti:

1 Ölçme AraçlarInda BulunmasI İstenen NİTELİKLER

2 Ölçme, bir niteliğin gözlenip gözlem sonuçlarının sayı ya da sembollerle gösterilmesidir.
Ölçme yapabilmek için ölçülen niteliğe uygun ölçme aracına ihtiyaç vardır. Özellikle eğitimde öğrencilerin yetenek, tutum gibi özelliklerini bir dersle ilgili sahip oldukları davranışları duyu organlarımızla gözleme imkânımız yoktur. Bu nedenle eğitimdeki ölçmelerde bu gözlemleri yapabilmek için soru ya da sorulardan oluşan ölçme araçlarından yararlanırız.

3 Kullanılan ölçme aracının ölçülen özelliğin gerçek değerine yakın ölçüler vermesi istenir.
Fen bilimlerinde yapılan ölçmelerde ölçülen özellikler daha çok görülebilir olduğundan ve bu özelliği ölçmede standart bir araç kullanıldığından (metre vb.) yapılan hata miktarı azdır.

4 Sosyal bilimlerde ölçmeye konu olan özellikler doğrudan gözlenemediğinden sınavlar gibi göstergeler yardımıyla dolaylı ölçme yapılır. Özelliğin doğrudan ölçülememesi ve aynı özellik için geliştirilmiş standart bir ölçme aracının olmaması ölçme işlemindeki hata miktarını artırır.

5 Eğitimde öğrenciler hakkında alınan kararların doğruluğu ve isabetliliği için kullanılan ölçme araçlarının bazı niteliklere sahip olması gerekir. Bu nitelikler; GEÇERLİK KULLANIŞLILIK GÜVENİRLİK

6 Güvenilir, geçerli ve kullanışlı olmayan ölçme araçları bireyler hakkında yanlış kararların alınmasını sağlamaktadır.

7 Güvenirlik Ölçme araçlarında bulunması istenen niteliklerden ilki güvenirliktir. Güvenirlik çeşitli anlamalarda kullanılır. Bunlar duyarlık , kararlılık ve tutarlılıktır.

8 Güvenirlik Duyarlılık, bir ölçme işleminin küçük farkları görebilme özelliğidir. Duyarlılık ölçme aracının birimi ile ilgilidir. Birimi küçük olan araçlarla yapılan ölçmeler birimi büyük olan araçlardan daha duyarlıdır. Örneğin, cm bölmeli bir araçla elde edilen ölçmeler metre bölmeli bir araçla elde edilen ölçmelerden daha duyarlıdır. Eğitimde 10luk not verme ölçeği 5lik not verme ölçeğinden daha duyarlıdır. Ölçme aracındaki soru sayısını artırmak duyarlığı artırır.

9 Güvenirlik Kararlılık anlamında güvenirlik, bir özelliğin benzer koşullar altında aynı araçla birden fazla ölçülmesiyle elde edilen ölçme sonuçlarının birbirini tutmasıdır. Aynı bireylere ait bir nitelik aynı araçla farklı zamanlarda ölçülmüş, farklı ölçme sonuçları alınmış ise bu ölçme sonuçları kararsızdır.

10 Güvenirlik Fiziksel özelliklerin aynı araçla farklı zamanda ölçülmesinde ölçülen nitelikte bir değişme olmadığından iki ölçme arasında fark çıkıyorsa bu ölçmeyi yapan kişiden, araçtan kaynaklı olabilir. Fakat eğitim ve psikolojide bu fark ölçülen nitelikteki değişme, ölçmeyi yapan kişi ya da araçtan kaynaklı olabilir.

11 Güvenirlik Tutarlılık anlamında güvenirlik, ölçme aracının kısa aralıklarla uygulanmasından elde edilen sonuçların tutarlılığıdır. Testte bulunan soruların testin bütünü ile tutarlılığıdır. (Cronbach alpha, KR-20,21)

12 Güvenirlik Aynı zamanda güvenirlik, bir ölçme aracı hangi özelliği ölçüyorsa ölçsün, aracın ve yapılan ölçmenin hatasızlığıyla ilgilidir. Bu anlamdaki güvenirlik ölçme sonuçlarının ölçme hatalarından arınıklık derecesi olarak tanımlanır.

13 HATA Ölçme ve değerlendirme hangi amaç için yapılırsa yapılsın elde edilen ölçümlerin hatasız ya da az hatalı olması beklenir. Ancak, gerek fiziksel bilimlerdeki ölçmelerde gerekse eğitim ve psikolojide ölçme sonuçlarına bir miktar hata karışır.

14 HATA Ölçmede amaç, ölçülen özelliğin gerçek değerini ortaya koymak, yani hatasız ölçme sonucu elde etmektir. Hata bir özelliğin gerçek değeri ile ölçülen değeri arasındaki farktır.

15 HATA Ölçme Hataları; Ölçmede kullanılan araçtan, Ölçme yönteminden,
Ölçmeyi yapan kişiden, Ölçmenin yapıldığı ortamdan Bireyden kaynaklanabilir.

16 HATA Bir ölçme sonucunda bu hataların biri ya da birden fazlası bulunabilir. Oysaki eğitimdeki ölçmeler, değerlendirmelere veri sağlamak amacı ile yapılır. Bu nedenle kararın isabetli olabilmesi için, ölçmelerin belli bir dereceye kadar hatalardan arınmış olması gerekir.

17 Hata türleri Eğitimdeki ölçmelerde; Sabit, Sistematik,
Tesadüfi hatalar mevcuttur.

18 Bir ölçmeden diğerine miktarı değişmeyen hatadır.
Sabit hata: Bir ölçmeden diğerine miktarı değişmeyen hatadır. Ölçme sonuçlarına aynı miktarda karışan hatalar sabit hatadır. Sınıftaki herkese 2 puan verme, cetveldeki bölmenin sıfır yerine 1 den başlaması (ucu kırık cetvel) gibi.

19 Sabit hata: Örneğin; toplam puanı 5 olan bir yazılı yoklamada 2 puanlık bir soru, verilen zamanın yeterli olmaması nedeniyle, tüm sınıf tarafından bos bırakılmış olsun. Öğretmen, tüm öğrenciler bu soruyu doğru cevaplamış gibi her birine 2 puan verirse bu türden bir hata yapmış olur. Böylece, bu soruyu doğru cevaplayamayacak bir öğrenci de 2 puan almış olur.

20 Sistematik hata Ölçülen büyüklüğe, ölçmeye veya ölçme koşullarına bağlı olarak sistematik olarak değişen hata türüdür. Öğretmenin kız öğrencilere erkeklerden daha fazla puan vermesi durumunda öğretmen cinsiyete bağlı olarak sistematik hata yapmış olur. Yazı güzelliğinin puanı etkilememesi gereken bir durumda öğretmenin yazısı güzel olan öğrencilere daha fazla puan vermesi Eğitimdeki sistematik hatalar yanlılık içerir. Cinsiyet ayrımı, yazı güzelliği gibi

21 Tesadüfi hata Yönü ve miktarı belli olmayan, ölçme sonuçlarına gelişigüzel karışan hatalardır. Tesadüfi hatalar ölçmenin yapıldığı ortam, ölçmeyi yapan kişinin dikkatsizliği, ölçme aracı vb. hata kaynaklarından gelen hata türüdür. Şans başarısı (atıp tutturma), sınav günü öğrencinin hastalanması, sınav koşullarının elverişsizliği veya tüm öğrenciler için eşit olmayışı, öğretmenin cevapları puanlarken dikkatsizlik yapması gibi etkenler bu türde hatalara yol açar. Sabit ve sistematik hataların kaynağı ve miktarı bellidir. Bu nedenle önceden alınabilecek önlemlerle önlenebilir. Fakat tesadüfî hatalar önlenemez. Güvenirlik diğer bir anlamda ölçme sonuçlarının tesadüfi hatalardan arınıklık derecesidir

22 Güvenirlik Kestirme Yöntemleri:
Test-tekrar test yöntemi Paralel formlar yöntemi Eşdeğer yarılar yöntemi İç tutarlılık yöntemi GÜVENİRLİK KATSAYISI 0 İLE +1 ARASINDA DEĞER ALIR. +1 MÜKEMMMEL GÜVENİRLİK , 0 TAMAMIYLA GÜVENİLİR OLMAYAN BİR ÖLÇMEYİ İFADE EDER

23 Test tekrar test yöntemi
TEST A TEST A ZAMAN İkinci uygulama Birinci uygulama GRUP Test tekrar test güvenirliği testin 1. ve 2. uygulamasından elde edilen puanların tutarlık düzeyini ve testin zamandan zamana ne düzeyde kararlı ölçmeler yapabildiğini gösterir.

24 Paralel formlar yöntemi
ZAMAN FORM B FORM A GRUP FORM A ve FORM B arasındaki korelasyon testin güvenirlik katsayısını gösterir

25 Paralel formlar yöntemi
Paralel formlar yöntemi test-tekrar test yönteminde ortaya çıkan hatırlama ve gerçek puanın değişmesi etkilerini azaltır. Paralel formların hazırlanmasının güçlüğü ve iki uygulama gerektirmesi bu yöntemin olumsuz yanlarındandır.

26 Eşdeğer yarılar yöntemi:
TEST GRUP 1. Yarı puanları 2. Yarı puanları Birinci yarı ve ikinci yarı puanları arasındaki korelasyon yardımıyla güvenirlik katsayısı hesaplanır.

27 Eşdeğer yarılar yöntemi:
Bu yöntem test-tekrar test ve paralel formlar yönteminin taşıdığı iki test ve iki uygulamanın getirdiği sakıncaları ortadan kaldırır.

28 İç tutarlılık yöntemi Testte bulunan soruların testle olan tutarlılığıdır. Bu yöntemde test bir gruba uygulanır. Test maddelerinin birbirleri ile tutarlı olup olmadığına bakılır. Testin iç tutarlılığı Cronbach Alpha katsayısı, KR-20 ve KR-21 güvenirlik katsayıları ile hesaplanır.

29 İç tutarlılık yöntemi Cronbach Alpha tüm sınav türleri için kullanılır. Çoktan seçmeli testlerin güvenirliğini hesaplamak için ise KR-20 ve KR-21 kullanılır.

30 İç tutarlılık katsayıları

31 GÜVENİRLİĞİ ARTIRMADA ALINABİLECEK ÖNLEMLER
Ölçmede hata kaynaklarından biri ölçme aracını oluşturan sorulardır. Sorular iyi ifade edilmemişse öğrenciler gerçek performanslarını gösteremez. Böylece güvenirlik düşer. Soruların açık ve anlaşılır olması ölçme aracının güvenirliğini artırır.

32 GÜVENİRLİĞİ ARTIRMADA ALINABİLECEK ÖNLEMLER
Sınavın yapıldığı ortam öğrencilerin soruları cevaplama durumlarını etkiler. Işık, ısı ,ses gibi nedenler öğrencilerin soruları yanıtlayamamalarına neden olur. Bu durum sınavın güvenirliğini düşürür.

33 GÜVENİRLİĞİ ARTIRMADA ALINABİLECEK ÖNLEMLER
Sınavda kullanılan soru sayısı da güvenirliği etkiler. Soru sayısının belli bir noktaya kadar artırılması güvenirliği artırır.

34 GÜVENİRLİĞİ ARTIRMADA ALINABİLECEK ÖNLEMLER
Sınav süresi güvenirliği etkiler. Süre yetersiz olduğunda öğrenciler bazı maddeleri cevaplayamayacaktır. Buda soru sayısının azalmasını sağlar. Aynı zamanda öğrencilerin gerçek performanslarını göstermesini engeller.

35 GÜVENİRLİĞİ ARTIRMADA ALINABİLECEK ÖNLEMLER
Sınavlara karışan hataların bir başka nedeni de öğrencinin psikolojik özellikleridir. Kaygı, heyecanlanma vb. özellikler nedeniyle öğrenciler doğru bildiklerini yapamazlar. Bu durum da güvenirliği düşürür. Güvenirliği artırmak için sınav öncesi öğrenciler güdülenmeli kaygı düzeyleri azaltılmalıdır.

36 GÜVENİRLİĞİ ARTIRMADA ALINABİLECEK ÖNLEMLER
Sınav sonuçlarının güvenirliğini etkileyen bir başka yöntemde puanlama şeklidir. Eğer sınavlar puanlanırken yazı güzelliği, dilin akıcılığı vb. nedenlerle puanlama etkilenirse güvenirlik düşer.

37 Geçerlik Bir ölçme aracının ölçülmek istenen özelliği başka özellikler ile karıştırmadan ölçme derecesidir. Kullanılan ölçme aracının ölçme amacına hizmet etmesidir. Kullanılan ölçme aracı özelliği ölçerken amacı haricinde başka değişkenleri ölçüyorsa, ölçmede yetersiz kalıyorsa amacına hizmet etmiyor demektir.

38 Geçerlik Geçerlik, bir ölçme aracının ölçmeyi amaçladığı özelliği, başka herhangi bir özellikle karıştırmadan, doğru olarak ölçebilme derecesidir. Örneğin bir sınıfın Türkçe dersindeki başarısının ölçülmesi için bir sınav yapılacaksa, bu sınavın Türkçe dersindeki başarıyı tanımlayan tüm değişkenleri ölçmesi, bu değişkenler dışındaki değişkenleri ölçmemesi istenir.

39 Geçerlik Örneğin; öğrencilerin sayısal yeteneklerini belirlemek isteyen bir öğretmen güvenirliliği kanıtlanmış bir sözel yetenek testi kullandığını varsayalım. Kullanılan test güvenilir fakat geçerli değildir. Bu durumda testin kullanış amacına hizmet etmediği söylenebilir. Çünkü geçerlik, ölçme aracının ölçmek istediği özelliği başka değişkenlere karıştırmadan ölçebilme derecesidir. Güvenirlik ve geçerlik bir ölçme aracında bulunması gereken en önemli özelliklerdendir. Geçerli olmayan bir ölçme aracı güvenilir olsa bile bu bir anlam ifade etmez.

40 Geçerlik Eğitimde değişik amaçlarla ölçmeye başvurulur. Öğrencinin başarısının belirlenmesi, bir okula öğrenci alınması, öğrencilerin duyuşsal özelliklerinin belirlenmesi gibi. Bu nedenle farklı geçerlik türleri vardır.

41 Geçerlik Testin kullanılış ve geliştirilme amacına bağlı olarak farklı geçerlik türleri söz konusudur. 1.KAPSAM GEÇERLİĞİ 2. BİR ÖLÇÜTE DAYALI GEÇERLİK 3. YAPI GEÇERLİĞİ

42 Kapsam geçerliği Bir ölçme aracının bu araçla ölçülmek istenen davranışları ne derece kapsadığıdır. Ne amaçla kullanılırsa kullanılsın, ölçme aracı kapsam açısından ölçmeye konu olan davranışları yeterli derecede temsil etmelidir. Örneğin bir dersin iki ünitesindeki öğrenci başarısını belirlemek için yapılacak sınavın iki üniteye ait soru içermesi gerekir. Eğer bir üniteye ait soru sorulmuşsa sadece o ünitedeki başarı yoklanmış olur, böylece kapsam geçerliği düşer.

43 Kapsam geçerliği Kapsam geçerliği belirlerken kullanılan yöntemler:
1. Uzman kanısına başvurma 2. Belirtke tablosu (ölçülecek davranışlar, konu kapsamı açıkça bellidir.) kullanarak sınav hazırlama 3. Aynı kapsamı ölçtüğü bilinen bir testle korelasyona bakmakta geçerlik kanıtıdır.

44 Bir ölçüte dayalI geçerlik:
Bir testle doğru kararlar verilip verilmediğini inceler. Bir işe elaman alırken, işin ölçülerine uygun eleman seçmede kullanılan testlerde ya da okula öğrenci alırken okulun gerektirdiği yetenek ve bilgi düzeyine sahip bireyleri seçme ve yerleştirmede kullanılan testlerin geçerliği ölçüte dayalı geçerlik ile bulunur.

45 Bir ölçüte dayalI geçerlik:
Ölçüte dayalı geçerlik ölçütün elde ediliş zamanına bağlı olarak zamandaş ve yordama geçerliği olarak ikiye ayrılır.

46 Bir ölçüte dayalı geçerlik:
Zamandaş Geçerliği: Ölçütten elde edilen puanlar ölçme aracından elde edilen puanla aynı zamanda ya da daha önce elde edilmiş ise bu puanlar arasındaki korelasyon zamandaş geçerliğidir. LYS sınavının geçerliği için sınavdan alınan puan ve öğrencilerin ortaöğretim başarı puanları (ölçüt) arasındaki korelasyona bakılabilir.

47 Bir ölçüte dayalı geçerlik:
Yordama Geçerliği: Ölçüt durumundaki puanlar ölçme aracından elde edilen puanlardan daha sonra elde edişmiş ise bu puanlar arasındaki korelasyon yordama geçerliği kanıtıdır. LYS sınavının yordama geçerliği öğrencilerin yerleştirildikleri üniversitedeki akademik ortalamaları arasındaki korelasyondur.

48 Yapı geçerliği: Testin ölçmek istediği yapıyı ölçme derecesidir. Burada yapı zeka, tutum, ilgi vb. olabilir. Belirleme Yöntemleri: Aynı yapıyı ölçtüğü bilinen başka testlerle korelasyon Ölçülmek istenen yapı bakımından farklı olduğu bilinen gruplara uygulama Uzman görüşü Faktör analizi

49 Geçerliği artırmada alınacak önlemler
Bir ölçme aracı kapsadığı soruların geçerliği oranında geçerli olabilir. Bu nedenle, her bir sorunun o araçla ölçülmek istenen bilgi, beceri ve yeteneklerden en az bir tanesini ölçmesi sağlanmalıdır.

50 Geçerliği artırmada alınacak önlemler
Her soru, o soruyla ölçülmek istenen bilgi ve becerilere sahip öğrencilerin tereddütsüz olarak doğru cevaplandırabileceği; bu bilgi ve becerilere sahip olmayanların doğru cevaplandıramayacağı nitelikte olmalıdır.

51 Geçerliği artırmada alınacak önlemler
Test, belli bir sürede kazandırılması hedeflenen bütün konuları, bilgi, beceri ve yetenekleri temsil etmelidir. Bunların yanı sıra, güvenirliği artırmaya yönelik tüm önlemler geçerliği de artırır.

52 Kullanışlılık Bir ölçme aracında güvenirlik ve geçerliğin yanı sıra bulunması gereken bir başka nitelik ise kullanışlılıktır. Kullanışlılık bir testin kullanılmasındaki kolaylık ile yakından ilişkilidir. Bir ölçme aracının veya yönteminin, geliştirilme, çoğaltılma, uygulanma ve puanlama yönünden kolaylık, nesnellik ve ekonomiklik özelliklerine sahip olması anlamına gelir.

53 Kullanışlılık Ölçme araç ve yöntemlerinin kullanışlılığı hakkında yargıya varılırken şu noktalar dikkate alınmalıdır. Ekonomi: kullanılacak araç maliyet yönünden ekonomik olmalıdır. Hazırlanma süresi Uygulama süresi Uygulama kolaylığı Puanlama kolaylığı Puanları yorumlama kolaylığı Hazýrlanan bir ölçme aracýnýn kullanýþlý olmasýnýn geçerlilik ve güvenilirliðine etkilerinin neler olabileceðini düþünerek

54 Bir araştırmacının bir tutum ölçeğinden elde ettiği puanların güvenirliğini kestirmek için aşağıdakilerden hangisini hesaplaması beklenmez? A) Ölçeğin belirli bir zaman aralığının ardından aynı gruba ikinci kez uygulanmasıyla elde edilen puanlar arasındaki korelasyonu B) Ölçeğin denk iki yarısından alınan puanlar arasındaki korelasyonu C) Ölçeğin, eşdeğer bir formu ile birlikte aynı gruba uygulanmasıyla elde edilen puanlar arasındaki korelasyonu D) Ölçekten elde edilen puanlara dair iç tutarlılık katsayısını E) Ölçekteki maddelerin uygunluğunu iki uzmanın puanlaması sonucunda elde edilen puanlar arasındaki korelasyonu

55 Bir öğretmen, dönem sonu sınavını hazırlarken soruları; dersin dönem içindeki tüm kritik kazanımlarını konu ve bilişsel beceri boyutuyla temsil eden bir örneklem oluşturacak biçimde seçmiştir. Öğretmenin bu uygulaması, sınavın en çok hangi özelliğini iyileştirir? A) İç tutarlılığını B) Yapı geçerliğini C) Kararlılığını D) Kapsam geçerliğini E)Yordama geçerliğini

56 Aşağıda belirtilen değişkenler arasındaki ilişkilerden hangisi, kamu personel seçme sınavı eğitim bilimleri testinin yordama geçerliği hakkında bilgi verir? 1. Değişken Değişken A) Testten alınan toplam puanlar Lisans mezuniyet not ortalamaları B) Testten alınan toplam puanlar Yeni atanan öğretmenlerin ilk yıl sonundaki yeterlik puanları C) 2010 yılında uygulanan testin madde ayırt edicilik indeksleri yılında uygulanan testin madde ayırt edicilik indeksleri D) Testin 2010 yılı uygulamasından alınan toplam puanlar Testin 2011 yılı uygulamasından alınan toplam puanlar E) 2010 yılında uygulanan testin madde güçlük indeksleri yılında uygulanan testin madde güçlük indeksleri

57 Geniş ölçekli sınavlar yapan bir kurumda çalışan bir uzman, eğitim bilimleri testiyle ilgili olarak aşağıdaki açıklamayı yapmaktadır: “Çoktan seçmeli madde formatıyla üst düzey düşünme becerilerinin ölçülmesinin zor olduğunun farkındayız. Örneğin bir kişinin ne kadar iyi bir öğretmen olduğunun en geçerli değerlendirmesi için açık uçlu maddeler kullanılmasına ve performans değerlendirme uygulamalarına ihtiyaç vardır. Ancak bizim sınavımıza yaklaşık bir milyon aday katılmaktadır. Geliştirilecek performans görevleriyle değerlendirme süreci, en az bir yıllık bir zaman dilimine ve sınırsız ölçüde kaynağa ihtiyaç duyacaktır.” Uzmanın açıklamasına göre, belirtilen sınavda açık uçlu madde formatı ve performans değerlendirmenin yerine çoktan seçmeli madde formatının kullanılmasının gerekçesi aşağıdakilerden hangisidir? A) Kapsam geçerliği B) Kullanışlılık C) Ölçme hassasiyeti D) İç tutarlılık E) Yordama geçerliği

58