Sunum yükleniyor. Lütfen bekleyiniz

Sunum yükleniyor. Lütfen bekleyiniz

TIP EĞİTİMİNDE DR. BELDE KASAP DEMİR. ÖLÇME - DEĞERLENDİRME ÖLÇME: Herhangi bir niteliği gözlemek ve gözlem sonuçlarını sayı ya da başka sembollerle ifade.

Benzer bir sunumlar


... konulu sunumlar: "TIP EĞİTİMİNDE DR. BELDE KASAP DEMİR. ÖLÇME - DEĞERLENDİRME ÖLÇME: Herhangi bir niteliği gözlemek ve gözlem sonuçlarını sayı ya da başka sembollerle ifade."— Sunum transkripti:

1 TIP EĞİTİMİNDE DR. BELDE KASAP DEMİR

2 ÖLÇME - DEĞERLENDİRME ÖLÇME: Herhangi bir niteliği gözlemek ve gözlem sonuçlarını sayı ya da başka sembollerle ifade etmektir. DEĞERLENDİRME: Ölçme sonuçlarını bir ölçüt ile karşılaştırarak ölçülen nitelik hakkında bir değer yargısına varma sürecidir. ÖzellikUygun ölçme aracı Ölçüm sonucuÖlçüt UzunlukMetre160 cm>150 cm olma KütleTerazi80 kg<90 kg olma SıcaklıkTermometre 23  C>25  C olma BaşarıBaşarı testleri75 puan>60 puan olma

3 Tıp Eğitiminde Ölçme ve Değerlendirmenin Amaçları: Önceden belirlenmiş öğrenme hedeflerine ulaşılıp ulaşılamadığının saptanması, Öğrenmenin desteklenmesi, Sertifikasyon ve yeterlilikler hakkında karar verilmesi, Öğretim programının geliştirilmesi ve değerlendirilmesi, Öğrenme sürecinin anlaşılması, Gelecekteki performans hakkında öngörüde bulunması Amin & Khoo, 2004 Newble, 1998

4 Sınavların Risk Dereceleri Biçimlendirici (formatif) değerlendirme  düşük risk Sürekli Ölçme-Değerlendirme  düşük/orta risk Karar verdirici (sumatif) değerlendirme  yüksek risk Düşük Riskli SınavlarYüksek riskli sınavlar Yazılı Yoklama  Çok sayıda kısa cevaplı sorular Geleneksel uzun vaka sınavı  Çok istasyonlu OSKE

5 Ölçme İlkeleri –Geçerlik –Güvenirlik –Ayırdedebilirlik –Nesnellik –Kullanışlılık

6 Geçerlik Bir ölçme aracının ölçmeyi amaçladığı özelliği başka herhangi bir özellik karıştırmadan doğru ölçebilme derecesidir (uygunluk ve güvenirlik) –Bir yazılı sınav yüksek okuma gücü ve kelime bilgisi gerektirecek şekilde hazırlanmışsa ve öğrencinin bu yetenekleri düşükse, konuyu iyi bilse bile zayıf alır.

7 Geçerlik Türleri Görünüş Geçerliği: Niteliğin ölçüldüğünün öğrenciler ve eğiticiler tarafından kabul görmesi. Kapsam Geçerliği: Öğrenim hedeflerinin ne ölçüde temsil edildiğini gösterir. Ölçüt Bağıntı Geçerliği: Gelecekteki performansı öngörebilme yetisi Yapı Geçerliği: Ölçme değerlendirme aracının amaç ile uyumu (ör. İletişim becerileri yazılı olarak ölçülemez)

8 Geçerliği Arttırmak İçin Öneriler: Soruları belirlemek için belirtke tablosu* kullanın. Önemli konulara odaklanın (ör. Çekirdek müfredat konuları) İçerik ve öğrenme alanlarına yönelik (bilgi, beceri, tutum) geniş bir örneklem belirleyin. Bir doktorun gerçekte yapmak zorunda kalacağı herhangi bir performans ile en çok örtüşen ölçme değerlendirme aracını seçin. Çeşitli sınav yöntemlerini bir arada kullanın.

9 “Belirtke Tablosu” geçerli bir ölçme değerlendirme aracı geliştirmenin en can alıcı aşamasıdır ve atlanmamalıdır.

10

11 Geçerliği Arttırmak İçin Öneriler: Soruları belirlemek için belirtke tablosu* kullanın. Önemli konulara odaklanın (ör. Çekirdek müfredat konuları) İçerik ve öğrenme alanlarına yönelik (bilgi, beceri, tutum) geniş bir örneklem belirleyin. Bir doktorun gerçekte yapmak zorunda kaldığı herhangi bir performans ile en çok örtüşen ölçme değerlendirme aracını seçin. Çeşitli sınav yöntemlerini bir arada kullanın.

12 Güvenirlik Güvenirlik türleri: Değerlendiriciler arası güvenirlik Olgular arası güvenirlik Test-tekrar test güvenirliği: Bir testi değişik zamanlarda alan kişilerin o testten aldıkları puan ya da puanlara göre aynı kişilerin grup içindeki sıraları değişmiyorsa söz konusu test güvenilirdir. Güvenirlik için bazı kılavuz kaysayılar: 0.90= yüksek güvenirlik 0.80= orta güvenirlik 0.70= düşük güvenirlik

13 Ayırdedebilirlik Bilenle bilmeyeni ayırt edebilme yeteneğidir.

14 Kullanışlılık Ölçüm aracının geliştirilmesi, uygulanması ve puanlamasının da kolay ve masrafsız olması beklenir.

15 Nesnellik

16 Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. Knows (ne olduğunu bilir) Shows how (gösterir) Knows how (nasıl oyapıldığını bilir) Does (yapar) Bilişsel alan Davranış alanı Metakognitif beceriler

17 5/30/2016 SINAV SEÇENEKLERİ

18 Knows (ne olduğunu bilir) Shows how (gösterir) Knows how (nasıl yapıldığını bilir) Does (yapar) Bilişsel alan Davranış alanı "Ne olduğunu bilir" ve "Nasıl yapıldığını bilir" basamaklarında ölçme değerlendirme 1. Sözlü Sınav 2. Yazılı Yoklama 3. Kısa Cevaplı Sorular 4. Çoktan Seçmeli Sorular 5. Çok Seçenekli Eşleştirme Soruları 6. Kilit Noktalar Testi

19 5/30/2016 1. SÖZLÜ SINAV

20 5/30/2016 Tavsiye Edilen UygulamalarEtki ve Gerekçesi Sözlü sınavlar yüksek riskli sınavlarda kullanılmamalı Güvenilir değil ve geçerliği düşük Sözlü sınavlar sınırdaki adayların geçme/kalma değerlendirmelerinde kullanılmamalı Daha güvenilir ölçme değerlendirme araçları kullanılmalıdır

21 Yapılandırılmış Sözlüler Klinik durum ya da olay açıkça tanımlanır. Başlangıç soruları hazırlanır. Her bir başlangıç sorusu için derinleştirici sorular ve ayrıntı soruları hazırlanır. Verilecek cevapların nasıl skorlanacağı tanımlanıp gözlemci formuna yazılır.

22 Yapılandırılmış Sözlüler için Öneriler Birden fazla gözlemci (sayı arttıkça güvenilirlik artıyor) Sınavdan önce gözlemciler arası uzlaşma ve netlik Soru sayısını sabit tutmak İpucu ya da yönlendirici soru sormamak Olası tüm doğru yanıtların gözlemci formunda var olması

23 Hastanın kan basıncını ölçünüz. 1. Tansiyon arteriyel ile ilgili olarak hastaya bilgi verme 2 2. Hastanın TA ölçmeden önce 15 dk istirahati 7 3. Hasta kolu çıplak ve giysi sıkmamalı 2 4. Tansiyon aletinin manşonu dirsek üstü 2 cm’ye yerleştirilmeli ve kolu kavramalı 12 5. Civa basıncının 0 mmHg da olduğun emin olunmalı 1 6. Ölçmeden önce brakiyal arter palpe edilmeli ve steteskop yerleştirilmeli 11 7. Steteskop kulağa takılmalı ve manşon yavaş yavaş şişirilmeli 2 8. Manometre kalp seviyesinde olmalı 3 9. Sistololik basıncın ses duyuluncaya kadar yükseltilmesi 3 10. Manşonun havası saniyede 2-3/mm indirilerek ölçülmesi 4 11. Sistolik ve diastolik basıncın ölçülmesi 2 12. TA ölçümünün yorumlanması ve HT tanımı yapılması 1 13. TA yüksek saptanırsa ölçümün tekrarlanması 1 14. Her iki koldan ölçüm yapılması 3 15. Yatarak ve ayaktan ölçülmesi 4 Soru 1.

24 SORU 2: TA: 150/110 mmHg saptanan hastada hangi hastalıkları düşünürsünüz? 1. İdiyopatik ve esensiyel hipertansiyon8 2. Kronik böbrek yetmezliği8 3. Renovasküler HT5 4. Primer Hiperaldestronizm3 5. Kardiyovasküler HT3 6. Diabetik nefropati3 7. Feokromasitoma3

25 5/30/2016 2. YAZILI YOKLAMA

26 5/30/2016 Tavsiye Edilen UygulamalarEtki ve Gerekçesi Uzun yazılı yoklama soruları, geçme kalma sınavları gibi yüksek riskli sınavlarda kullanılmamalı Güvenirliği zayıf ve kapsam geçerliği düşük Yerine çok sayıda kısa cevaplı sorular kullanılmalı Kapsam geçerliğini yükseltir Klinik senaryo temelli yazılı sınav soruları kuıllanılmalı Daha üst bilgi seviyesini ölçer Her soruda sadece birkaç önemli öğrenme hedefinin değerlendirilmesine yönelik yazılı sınav soruları hazırlanmalı Daha odaklanmıştır, güvenirliği daha yüksektir, puanlama daha kolaylaşır Yapılandırılmış ve önceden oluşturulmuş puanlama tablosu kullanılmalı Puanlamanın güvenirliğini arttırır

27 5/30/2016 Mutlaka kullanılacaksa.... ODAKLANMAMIŞ YAZILI YOKLAMA SORUSU (ÖNERİLMEYEN)... Aydınlatılmış onam ve onun mediko-legal yönlerini sağlık hizmetleri bağlamında tartışınız.... ODAKLANMIŞ YAZILI YOKLAMA SORUSU (ÖNERİLEN)... a. Doktorun aydınlatılmış onam almadaki rol ve sorumluluklarını anlatınız. b. Aydınlatılmış onamın rutin olarak istenmediği durumlara örnekler (en fazla 3 örnek) veriniz... c. Aydınlatılmış onamın geçersiz sayılabileceği durumlara örnekler (en fazla 3 örnek) veriniz...

28 5/30/2016 3. KISA CEVAPLI SORULAR

29 5/30/2016 Örnek Olgu Sunumu Bir saat önce doğan, takipne ve subkostal çekilmeleri olan bir bebeğin 35. haftada C/S ile, annenin kontrol edilemeyen kan basıncı yüksekliği nedeni ile doğurtulduğu, annede gestasyonel diyabet ve preeklampsi saptanmış olduğu öğrenildi. Soru 1: Bu vaka için olası tanılarınız nelerdir? (2 tanı yeterli) Soru 2: Her bir tanınız için birer primer patofizyolojik mekanizma yazınız. Soru 3: Bu durumda yapılabilecek tetkikler neler olmalıdır? (3 tetkik yeterli) Cevap 1: Hyalen membran hastalığı, yenidoğanın geçici taşipnesi (2 puan) Cevap 2: Sürfaktan eksikliği, akciğer sıvısının geri emiliminin yetersizliği (2 puan) Cevap 3: Tam kan sayımı, akciğer grafisi ve arteryel kan gazları

30 5/30/2016 Tavsiye Edilen UygulamalarEtki ve Gerekçesi Uzun cevaplı klasik yazılı soruların alternatifi olarak kullanılmalı Gerek kapsam geçerliliği, gerekse de sınavın güvenirliği daha da yükselir Sınav için belirtke tablosu oluşturDeğerlendirilmesi gereken içerik daha iyi temsil edilir; diğer soru şekilleriyle örtüşme ihtimali azalır Geniş bir bilgi alanından sınav yapılıyorsa çoktan seçmeli sorular kullanılmalıdır Çoktan seçmeli sınavlar geniş bir bilgi alanını test etmek için daha uygundur Yapılandırılmış ve önceden belirlenmiş puanlama tablosu kullan Puanlamanın güvenirliğini arttırır Sorular olgu senaryoları üzerinden olmalıdır Klinik yeterlilik daha iyi ölçülür

31 5/30/2016 4. ÇOKTAN SEÇMELİ SORULAR

32 5/30/2016 5. ÇOK SEÇENEKLİ EŞLEŞTİRME SORULARI (ÇES)

33 5/30/2016 İÇERİK Yeni bir nesnel değerlendirme yöntemidir. Tek bir konu hakkındadır. Ezberi önler. Uzun bir seçenek listesi sunar. "Seçenekli eşleştirme konuları" olarak da bilinir

34 5/30/2016 Örnek Konu: boğaz ağrısı olan olgular Aşağıdaki her bir senaryo için olası etkeni seçiniz. Senaryo 1: 18 yaşındaki bir erkek çocuğu aile hekimine boğaz ağrısı şikayeti ile başvurur. Aynı zamanda 4 gündür devam eden ateş ve halsizlik şikayetleri de vardır. Muayenesinde servikal lenf bezlerinin büyümüş olduğu saptanır. Kız arkadaşında da benzer belirtiler vardır. Periferik yaymasında atipik lenfositler saptanır. Senaryo 2: 7 yaşında erkek çocuk, ani başlayan boğaz ağrısı ve ateş yüksekliği nedeni ile getirilir. Muayenesinde tonsilllerinin şiş ve beyaz eksüda ile kaplı olduğusaptanır. Lenf bezleri şiş ve ağrılıdır. Sınıf arkadaşlarının çoğunda da benzer bulgular saptanmıştır. Tam kan sayımı sonucunda beyaz küre sayısı: 18.000/mm3 ve %84 nötrofil mevcuttur. a.Adenovirus b.Corynebacterium diphteria c.Coxsackie virus d.Cytomegalovirus e.Ebstein-Barr virus f. Haemophilus influenza g. Influenza virus h. Mycoplasma pneumoniae i. Streptococcus pyogenes j. Rhinovirus Cevaplar: Soru 1: e, Soru 2: i

35 5/30/2016 Tavsiye Edilen UygulamalarEtki ve Gerekçesi Hem temel hem klinik bilim sınavlarında kullanılabilir. “Nasıl yapıldığını bilir” basmağını değerlendirir. Madde analizi (zorluk ve ayrıt ettiricilik) uygun olur. Kalitenin sağlanmasında önemli

36 5/30/2016 6. KİLİT NOKTALAR TESTİ

37 5/30/2016 İÇERİK Kanada Tıp Konseyi tarafından lisans sınavları için geliştirilmiştir. Senaryo temelli, yazılı bir sınavdır. Öğrencinin verilen senaryoya göre önceden belirlenen kilit noktalara ulaşması için sorular sorulur.

38 5/30/2016 Tavsiye Edilen UygulamalarEtki ve Gerekçesi Klinik karar verme becerisini değerlendirmek için ÇSS ve ÇES ile beraber kullanın. “Nasıl olduğunu bilir” basmağını değerlendirir. Orta derecede riskli sınavlarda daha kısa KNT kullanın Daha az emek ile kabul edilebilir geçerlik sağlar.

39 Knows (ne olduğunu bilir) Shows how (gösterir) Knows how (nasıl olduğunu bilir) Does (yapar) Bilişsel alan Davranış alanı "Nasıl yapıldığını gösterir" basamağında ölçme değerlendirme 1. Uzun Vaka 2. Kısa Vaka 3. Objektif Yapılandırılmış Klinik Sınav (OSCE)

40 5/30/2016 7. UZUN VAKA

41 5/30/2016 İÇERİK Standardize olmayan gerçek bir olgu kullanılır. Aday hastayı muayene ederken gözlenebilir. İki vaka ile yapılan sınavların güvenirliği 0.50. En düşük kabul edilebilir güvenirlik 0.85  10 vaka ve 200 dk gerekiyor.

42 5/30/2016 Tavsiye Edilen UygulamalarEtki ve Gerekçesi Bitirme sınavı gibi yüksek riskli sınavlarda tek bir uzun vaka kullanmaktan kaçının. Uzun vakayı biçimlendirici değerlendirme ve geribildirim için kullanın. Uzun vaka ile yapılan sınavlarda geçerlik ve güvenirliğin arttırılması için: Vaka sayısı arttırılmalı Değerlendirilen yeterliliklerin sayısı arttırılmalı Her istasyonda birden fazla değerlendirici bulunmalı “Nasıl olduğunu bilir” basmağını değerlendirir. Öğrenciler gerçek hastalar ile öğrenmeye devam ederler. Sınavdan daha güçlü ve genellenebilir sonuçlar alınabilir.

43 5/30/2016 8. KISA VAKA

44 5/30/2016 İÇERİK Standardize olmayan üç ya da dört gerçek hasta ve bir ya da iki değerlendiriciyi içerir. Genellikle tüm vakalar için ortak bir puanlama tablosu kullanılır. Başarılı ve zayıf öğrencilerin ayırt edilmesinde uzun vakalara göre daha iyidir.

45 5/30/2016 Tavsiye Edilen UygulamalarEtki ve Gerekçesi PACES veya OSKE’nin içinde standardize kısa vakalar kullanın. Daha yüksek güvenirlik ve standardizasyon sağlar. Farklı yeterlilikler ve farklı klinik problemlerin test edilebileceği benzer olmayan vakalar seçin. Daha yüksek geçerlilik ve daha çok genellenebilirlik sağlar..

46 5/30/2016 9. OBJEKTİF YAPILANDIRILMIŞ KLİNİK SINAV (OSCE)

47 47 OSCE (Objective structured clinical examination) OSPE (Objective structured practical examination) GOSCE(group objective structured clinical examination) YOKS (Yapılandırılmış objektif klinik sınav) NYKS (Nesnel yapılandırılmış klinik sınav) NÖKS (Nesnel örgün klinik sınav) YKS (Yapılandırılmış klinik sınav)

48 İstasyon1 İstasyon2 İstasyon3 Belirli sayıda durak Her durakta önceden belirlenmiş yeterliklerin değerlendirilmesi Duraklar için önceden belirlenmiş süre Her adayın aynı duraklardan geçmesi Zil ile uyarı-durak değiştirme Her oda kapısında ve içeride adaydan istenenlerin yazılı olması

49 Örnek - 1 Öğrenci Yönergesi: Bu durakta ; Tanımlanan hastaya yönelik fizik muayene yapma beceriniz daha önce öğretilen özelleştirilmiş genel beceri basamakları üzerinden değerlendirilecektir. İstenen fizik muayeneyi yaparken ne yaptığınızı eğiticinize açıklayınız ve bulduğunuz patolojik bulguları tanımlayınız. Açıklama yaparken değerlendirici / gözlemci eğiticinizin size tepki vermesini, yaptıklarınızın ve açıklamalarınızın doğrulanmasını/red edilmesini beklemeyiniz. OLGU: 25yaşındaki Ahmet Yıldırım halı sahada futbol oynarken diz travması geçirmiştir. Bağ yaralanması olup olmadığını anlamak için hastanın diz muayenesini yapınız. 5/30/2016

50 İÇERİK Çeşitli test yöntemlerini kapsayan bir ölçme-değerlendirme organizasyonu Çok sayıda yeterliğin sınanmasını sağlar. Güvenirlik ve kapsam geçerliği yüksektir. Neleri ölçer: İletişim becerileri Öykü alma Fizik muayene El becerileri Veri değerlendirme Tedavi planlama Tutumlar (bilgi verme, açıklama yapma)

51 DEĞERLENDİRME FORMU 5/30/2016 YeterliKısmen yeterliY etersiz Hastaya ilk yaklaşım (kendini tanıttı, ne yapacağını açıkladı) 210 İnspeksiyon yaptı (sağlam taraf ile karşılaştırma, şişlik ve renk değişikliği, defromite) 210 Palpasyon yaptı (Patella mobilizasyonu, balltoman, bağ trasesi palpasyonu) 210 Özel testler: Ön çapraz bağ Lachman Öne çekme 420

52 5/30/2016 Tavsiye Edilen UygulamalarEtki ve Gerekçesi Bir OSKE en az 14-18 istasyondan oluşmalıdır. Kabul edilebilir bir güvenlik seviyesine ulaşmak için gerekir. Bütüncül değerlendirme ölçeği kullanın ve değerlendiricileri eğitin. Bütüncül değerlendirme ölçeği de yoğun emek gerektiren kontrol listeli notlandırma tablosu kadar başarılıdır. Hastalar da değerlendirmeci olarak puan versinler Uzman gözlemci ihtiyacını azaltır, eşdeğer sonuçlara ulaşılır

53 Knows (ne olduğunu bilir) Shows how (gösterir) Knows how (nasıl olduğunu bilir) Does (yapar) Bilişsel alan Davranış alanı "Yapar" basamağında ölçme değerlendirme 1. Mini Klinik Değerlendirme Sınavı (Mini-KEDS) 2. Uygulama Becerilerinin Doğrudan Gözlemlenmesi 3. Klinik Çalışmaların Değerlendirilmesi (KÇD) 4. Kontrol Listesi 5. 360 Derece Değerlendirme 6. Karne (Seyir Defteri) 7. Gelişim Dosyası (Portfolyo)

54 5/30/2016 9. MİNİ KLİNİK DEĞERLENDİRME SINAVI (MİNİ-KEDS)

55 İÇERİK Farklı zamanlarda, farklı ortamlarda, farklı hastalarla, farklı değerlendiricilerin gözetiminde gerçek klinik durumda hasta-doktor görüşmesini 15-20 dk izlemesi ve geribildirim vermesi sürecidir. Kabul edilebilir güvenirlik için 4-6 uygulama gereklidir. Güvenirlik ve tekrar edilebilirliği yüksektir. Amerikan İç Hastalıkları Yeterlik Kurulu tarafından UZMANLIK EĞİTİMİ ALMAKTA OLAN DOKTORLARIN 6 temel yeterliliği değerlendirmek üzere geliştirilmiştir. Tıbbi görüşme becerileri Fizik muayene becerileri İnsani yaklaşım / profesyonellik Klinik karar verme Organize ve etkin olabilme

56 56 Mini-KEDS nasıl yapılır? Hastadan öğrencinin görüşmesi için onay alınır. Öğrenci hastayla görüşür. Değerlendirici görüşmeyi; İzler Skorlandırır Geribildirim verir Mini-KEDS formunun bir nüshasını öğrenciye, bir nüshasını fakülteye verir.

57 5/30/2016

58 10. 360 derece değerlendirme 5/30/2016

59 59 kendisi Öğretim üyesi Uzmanlar Akran Sağlık çalışanları kendisi İÇERİK Sorular doğrudan yapılan performansla ilgili olmalı 15-25 dakika soru cevaplama süresi olmalı Genellikle 15-30 soru olmalı Açık uçlu sorular önerilmektedir

60 60 360 derece değerlendirmede iletişim ve profesyonellik yeterlilik alanları için değerlendiricilerin vermiş oldukları ortalama puanların sıralaması (Akdeniz üniversitesi, 2007)

61 5/30/2016 Tavsiye Edilen UygulamalarEtki ve Gerekçesi 360-derece değerlendirmenin adayların yataklı servis görevleri sırasında uygulanması Öğrencilerin gerçek performanslarını gerçek ortamlarda değerlendirmek 360-derece değerlendirmeyi meslektaşları ile çalışma uyumu, ulaşılabilirlik, iletişim ve profesyonel davranış gibi ölçümü zor olan özelliklerin değerlendirmesinde kullan Bu özelliklerin diğer mevcut araçlar ile ölçülmesi zordur.

62 11. Portfolyo/ öğrenci karnesi

63 5/30/2016 Tavsiye Edilen UygulamalarEtki ve Gerekçesi Öğrenci karnesini adayların yataklı servis görevleri sırasında uygulanması Öğrencilerin gerçek performanslarını gerçek ortamlarda değerlendirmek Başarı hedefini (görülmesi gereken vaka sayısı, yapılması gereken işlem) uzman kişilerin fikir birliği ile sağlayın. Gelecekte gerçek performansın geçerliğinin sağlanması için gerekli Portfolyoyu biçimlendirici değerlendirmenin bir parçası olarak kullanın. Öğrenmeyi destekler.

64 Başarılı Uygulamalar İçin Öneriler: Ö-D öğrenme hedeflerine uygun olarak planlanmalıdır. Ö-D ile anlamlı ve geçerli sonuçlar elde edilmelidir. Ö-D yöntemleri güvenilir ve genellenebilir sonuçlar sağlamalıdır. Ö-D amaca yönelik olmalıdır. Miller piramidindeki her basmağı içerecek şekilde çok çeşitli Ö-D yöntemi kullanılmalıdır. En yüksek kapsam geçerliliği öğrenme hedeflerini içeren uygun belirtke tabloları oluşturulması ile sağlanabilir. Kabul edilebilir güvenirliğe ulaşabilmek için öğrencilere çeşitli vaka örnekleri ve senaryolar içeren sınavlar yapılmalıdır. Sınavlar mutlak ölçüt temelli olacak şekilde oluşturulmalıdır. 5/30/2016

65 Knows (ne olduğunu bilir) Shows how (gösterir) Knows how (nasıl olduğunu bilir) Does (yapar) Bilişsel alan Davranış alanı 1.Klinik durumların temel alındığı çoktan seçmeli sorular 2.Çok Seçenekli Eleştirme Soruları 3.Kısa cevaplı sorular 1.OSKE 2.Çok sayıda kısa vaka ve değerlendiriciden oluşan yapılandırılmış sınavlar 1.Mini-KEDS 2.Uygulama becerilerinin doğrudan değerlendirilmesi 3.360-derece değerlendirme 4. Portfolyo/öğrenci karnesi ?? 40 30 2015-16 PEDİATRİ STAJ SINAVLARI

66

67

68

69 5/30/2016

70 ÇOKTAN SEÇMELİ SORULAR

71 5/30/2016 İÇERİK Yanıtın seçenekler ile sınırlandırıldığı objektif bir Ö-D aracıdır. 4 saatlik ÇSS için güvenirlik >0.90 (ihtiyacın çok üzerinde, Val Wass et al., 2001) 90 soruluk ÇSS'ın tekrarlanabilirlik değeri 0.88 (Norcini, 2002) Eğiticilerin eğitimi soru kalitesini arttırır. Çoktan seçmeli bir sorunun bileşenleri: Problemin tanımlanması Soru cümlesi Cevap

72 5/30/2016 ÇSS Türüne Özgü Temel Terimler Test maddesi: Bir testte bağımsız olarak kendi başına puanlanabilen en küçük birimdir. Test maddesi, madde kökü ile doğru cevap ve çeldiricilerden oluşan seçeneklerden oluşur. Örnek: Sindirim kanalı gelişirken primitif bağırsağın vitellus kanallı ile bağlantısı tam kapanmazsa hangi anomali oluşur? a.Özofagus atrezisi b.Pilor stenozu c.Meckel divertikülü d.Gastroşizis e.Omfalosel Test maddesi Seçenekler (doğru cevap ve çeldiriciler) Madde kökü

73

74 5/30/2016 AVANTAJLARI Kapsamlı olarak bilgi sınanabilir. Nispeten kısa bir zaman dilimi içinde büyük miktarda bilginin ölçme ve değerlendirmesine olanak sağlar. Sorularda klinik durum veya senaryo kullanılarak sınavın geçerliği arttırılabilir. Güvenirlik ve objektifliği yüksektir. Puanlandırmanın bilgisayar ortamında yapılması mümkündür. Sonuçlar kısa sürede alınır.

75 5/30/2016 DEZAVANTAJLARI İyi kalitede çoktan seçmeli soru hazırlamak güç olabilir. İstemeden ipucu verme riski vardır. Teknik yanlışlara eğilim yüksektir. İyi-doğru/yanlış soruları geliştirmek zordur ve daha düşük seviyedeki bilgiyi test etmeye yöneliktir. Üst öğrenmenin (analiz, sentez, değerlendirme) sınanması güçtür.

76 5/30/2016 Tavsiye Edilen UygulamalarEtki ve Gerekçesi Belirtke tablosu kullanınKapsam geçerliliğini yükseltir ÇSS'ları hasta hikayesi veya klinik bir senaryo üzerinden oluşturun "Nasıl olduğunu bilir" basamağındaki daha üst düzey bilginin değerlendirilmesini sağlar ÇSS'ları kullanmadan önce her bir soru için standart kontrol listesi* ile soruyu değerlendirin Eğer varsa soru içindeki yanlışlığın saptanmasını kolaylaştırır ve etkin geri bildirim sağlar Sizinle aynı düzeyde birinin soruları gözden geçirmesini isteyin Fark edilmemiş olası yanlışların saptanmasını sağlar ÇSS'de madde (zorluk ve ayırt edicilik) analizi yapın* Kaliteyi güvence altına alır Doğru/yanlış tipindeki sorulardan kaçınınSınavın öğrenme üzerindeki negatif etkilerini azaltır

77 5/30/2016 ÇOKTAN SEÇMELİ SORU HAZIRLAMA KILAVUZU

78 5/30/2016 ÇSS Hazırlarken Kaçınılması Gereken Terimler Soruda belirsizlik yaratması, anlaşılmayı zorlaştırması ya da ipucu vermesi nedeniyle kaçınılması gereken terimler: Asla Her zaman Bazen Genellikle Yaygın olarak Çoğunlukla Benzer şekilde Olabilir Olma ihtimali vardır Görülebilir Mümkündür (belki)

79 Çoktan Seçmeli Madde Türleri I. Tek bir doğru cevap isteyen maddeler II. En doğru cevabı isteyen maddeler III. Bileşik yanıtlı maddeler IV. Kökü eksik cümle olan maddeler

80

81

82

83

84 IVKÖKÜ EKSİK CÜMLE OLAN MADDELER Kökü eksik cümle olan maddelerde, madde kökü ile seçeneklerin her biri birleştirildiğinde dilbilgisi ve anlam bakımından tan bir cümle ortaya çıkmalıdır. Toplum bazlı çalışmalar otozomal resesif durumların otozomal dominant durumlardan daha nadir olduğunu göstermiştir. Bu sıklık farkının nedeni: a.Popülasyonda resesif genlerin nadir olmasıdır. b.Bir etki oluşturmak için 2 gene ihtiyaç duyulmasıdır. c.Resesif gen ürününde tam supresyon olmasıdır. d.Cinse bağlı gen ekspresyonunun olmasıdır. e.Genomik imprinting olmasıdır.

85 ÇSS Hazırlarken Uyulması Gereken Genel Kurallar

86

87

88

89

90

91

92

93

94 ÇSS Hazırlarken Uyulması Gereken Kök ile İlgili Kurallar

95 ÇSS Hazırlarken Uyulması Gereken Kurallar Soru kökü olumsuz ise: Kökü olumsuz yapan ifadenin altı çizilerek ya da büyük harfle yazılarak belirtilmelidir. Görece düşük güçlük düzeyinde olur. Cevaplayıcının doğru cevabı vermiş bulmuş olması istenilen bilgiye sahip olduğunun güvencesi olmaz. Seçeneklerde olumsuz sözcük ya da ifade bulunmamalıdır (Aksi halde soru kelime oyununa dönüşür).

96 ÇSS Hazırlarken Uyulması Gereken Kurallar Birçok soru yazarı maddeyi güçleştirmenin onun anlatımını belirsizleştirmek ile mümkün olduğunu düşünür. Oysa, bir soru(madde)nun güçlüğü, üst düzeydeki bir davranışı ölçmesi ya da çeldiricilerin doğru cevaba yakın olması ile ilişkilidir.

97

98

99

100

101

102 Özetle soru kökü: 1. Daha seçenekleri okumadan fark edilen tek ve temel bir fikir içermelidir. 2. Yoruma açık, belirsiz ifadeler içermemelidir. 3. Yalın, açık ve basit bir dille ifade edilmelidir. Ortalama bir öğrencinin anlayabileceği dille yazılmış olmalıdır. 4. İlgisiz ve gereksiz ifadeler ile kalabalıklaştırılmamalıdır. 5. Mümkünse maddenin büyük bir kısmını oluşturmalıdır  Aksi takdirde sözcük/sözcükler seçeneklerde tekrarlanır. 6. Şıklar kapatılsa bile yanıtlanabilmelidir.

103 ÇSS Hazırlarken Uyulması Gereken Seçenekler ile İlgili Kurallar

104

105

106

107

108

109

110

111

112

113

114 1.“HEPSİ”, “HİÇBİRİ” gibi seçenekler içermemelidir. 2. Eşanlamlı, karşıt anlamlı ifadeler içermemelidir. 3. Benzer yapı ve uzunlukta olmalıdır. 4.Birbirlerini içermemelidir. 5.Sayısal ise sıralı olmasına özen gösterilmelidir. 6.Gereksiz sözler ile uzatılmamalıdır. Özetle seçenekler:

115 5/30/2016

116

117 ÇSS’de Değerlendirme Test puanlarının analizi En yüksek ve en düşük puan arası fark Aritmetik ortalama, ortanca Standard sapma Çarpıklık- basıklık Ortanca > ortalama  test öğrencilere kolay gelmiş

118 Madde Analizi Madde güçlüğü: Soruya verilen doğru cevap oranıdır. 0-1 arasında değer alır. Herkesin yanıtladığı sorularda güçlük indeksi “1”, kimsenin yanıtlayamadığı sorularda indeks “0”dır. Madde güçlüğü (pj)Anlamı 0.00-0.20Çok zor bir madde 0.21-0.40Zor bir madde 0.41-0.60Ortalama güçlükte bir madde 0.61-0.80Kolay bir madde 0.81-1.00Çok kolay bir madde

119 Madde ayırıcılık gücü indeksi: Soru puanları ile test puanları arasındaki korelasyondur. (-1)-(+1) arasında değer alır. Madde ayırıcılık gücü indeksi (rjx) Anlamı (-)Kullanılmaz 0.00-0.20Ayırt edici olmayan bir madde 0.21-0.30Düzeltilerek kullanılabilir bir madde 0.31-0.40Kabul edilebilir bir madde 0.41-0.55Ayırt edici, iyi bir madde 0.56 ve üstüÇok iyi bir madde

120 5/30/2016

121 121 Kaynaklar 1.Eğiticilerin Eğitimi Kursu Ders slideları (Ocak 2014). 1.Dr. Ayşen Melek Aytuğ Koşan 2.Dr. Nazan Karaoğlu 2.Tıp Eğitiminde Ölçme Değerlendirme için Pratik Rehber. Amin Z, Seng CY, Eng KH 3.

122 Teşekkür ederim


"TIP EĞİTİMİNDE DR. BELDE KASAP DEMİR. ÖLÇME - DEĞERLENDİRME ÖLÇME: Herhangi bir niteliği gözlemek ve gözlem sonuçlarını sayı ya da başka sembollerle ifade." indir ppt

Benzer bir sunumlar


Google Reklamları