Klinik Objektif Mantık Yürütme Sınavı Y. E. Kocabaşoğlu, MD, MPH, PhD WHO Collaborating Centre for Pharmacotherapy Teaching and Training University of.

... konulu sunumlar: "Klinik Objektif Mantık Yürütme Sınavı Y. E. Kocabaşoğlu, MD, MPH, PhD WHO Collaborating Centre for Pharmacotherapy Teaching and Training University of."— Sunum transkripti:

1 Klinik Objektif Mantık Yürütme Sınavı Y. E. Kocabaşoğlu, MD, MPH, PhD WHO Collaborating Centre for Pharmacotherapy Teaching and Training University of Groningen Faculty of Medical Sciences The Netherlands

2 Klinik mantık yürütme Hasta yönetim problemleri (PMP) PMP ve CORE’a giden yol CORE neyi ölçer Avantaj ve dezavantajları Klasik CORE yapısı Bilgisayarlı CORE yapısı Özet Kavramların gözden geçirilmesi

3 Kliniğe Yönelik Mantık Yürütmeye Kısa Bir Bakış Kliniğe Yönelik Mantık Yürütme Sınavı February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands

4 Bir karar, seçenekleri açıklamaktan ve her sonuçla ilgili seçenekleri açıklığa kavuşturmaktan ibarettir. Sonuçlara uygun olasılıkları belirlemek Sonuçlara giden değer ve işlemleri belirlemek Farklı olan olasılık ve işlevlerin değerlendirilmesi ya da yeniden gözden geçirilmesi Eğer en iyi cevap bile şüpheli geliyorsa, daha iyi bir sonuca doğru yönlendirecek başka bir alternatif aranabilir, ama risk vardır. Kliniğe Yönelik Mantık Yürütme Kesin olmayan, tamamlanmamış veya tutarsız bilgilerle doğru karar verme yeteneğini ölçme. Seçenekler arasından seçme şeklindeki karar analizi bilimsel bir metottur.

5 Bilgiyle güçlü bağlantısı vardır (miktardan çok organizasyon & erişim,) Yeni başlayanlarla uzmanlar arasında kalitatif farklılık acemiler = kısa yoldan tüme varım uzmanlar = model, şablon tanıma Genel beceri değil, içerikle ilgili beceri Problem çözme becerisi (tahmin de var). Karmaşık! Kliniğe Yönelik Mantık Yürütme

6 Çalışmalar  PMP ve profesyonel uygulamalar arasındaki bazı tutarsızlıklar (pratik ortamda daha büyük atlama ve hatalar). Problem çözme yeteneğinin yaygın bir tanımlaması henüz yapılamadı Zayıf problem çözme performansı çoğunlukla bir doğal problem çözme beceri eksikliğini değil özel bir bilgi yoksunluğunu gösterir. Kliniğe Yönelik Mantık Yürütme

7 Tarihsel Gelişim 1994: CORE kullanıma girdi 1975  MCQ nun sınırlılıklarına bağlı memnuniyetsizlik ve PMP ile ilgili problemler 1975+  PMP ile ilgili problemler, içerik özgünlüğünün keşfi 1950’ler: öğrenci kayıtlarında hızlı artış  güvenilir test ihtiyacında artış 1960: USA National Board of Medical Examiners MCQ kullanımını başlattı 1963: PMP’nin kullanıma girmesi

8 Kliniğe Yönelik Mantık Yürütmeyi Değerlendirmede PMP’ler Kliniğe Yönelik Mantık Yürütme Sınavı February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands

9 Neden: aslına uygunluğu ve dolayısıyla geçerliliği arttırmak Ne: ayrıntılı hasta simülasyonları Nasıl: genellikle açık uçlu sorular Patient Management Problems(PMP) Hastaya Yaklaşım Problemleri

10 Flanagan’ın eleştirel insidans tekniği PMP karar ağacı modeline göre yapılandırılmıştır. Hastaya Yaklaşım Problemleri(PMP) Klinik durumun özelliklerini yeterince anlatan klinik koşullar Neyin değerlendirileceği ve hangi skorlama elemanlarının kullanılacağına karar vermek Seçenekleri açıklığa kavuşturmaktan ibaret bir karar Her seçenekle ilgili sonuçları açıklığa kavuşturma Kesin bilinmedikleri zaman olasılıkları sonuca götürme Değerleri bu sonuçlarla bağdaştırma

11 Klinik senaryo Action Hastaya Yaklaşım Problemleri(PMP)

12 Bir işlevi(aksiyonu) yapması ya da yapmaması konusunda öğrenciden bir karar vermesi istenir Her karar yeni bir karar vermenin gerektiği yeni bir duruma sürükler Sınavın ilerleyiş yolunu kararlar çizer. PMP boyunca seçilen aksiyonlarla ilgili simüle hastaların vital bulgularına ulaşılabilir. PMP klinik durumun bir yazılı (veya multimedia) tanımlamasıyla başlar. Hastaya Yaklaşım Problemleri(PMP)

13 Klinik Senaryo Action Hastaya Yaklaşım Problemleri(PMP)

14 Öğrencinin şu yeteneklerini ölçer Anormal belirti ve bulguları araştırma ve yeterince değerlendirme Mantıklı tanılara ulaşma Tedavi seçiminde tatminkar bir karar verme PMP’ler uygun olmayan tetkik ve tedavilerin zarar ve maliyetleri de dahil olmak üzere tüm klinik, laboratuar ve sonuç kısımlarını kapsar. Hastaya Yaklaşım Problemleri(PMP)

15 Alanın özgünlüğü Problemler Problem çözme sürecinde uzmanların görüş birliğine varamaması Hastaya Yaklaşım Problemleri(PMP)

16 Olgu 1Olgu 2Olgu 3 Güvenilirlik düşük Problemler: Alanın özgünlüğü Hastaya Yaklaşım Problemleri(PMP)

17 Ortada birikim Alanın özgünlüğü Problemler Problem çözme sürecinde uzmanların görüş birliğine varamaması Hastaya Yaklaşım Problemleri(PMP)

18 skor % acemi orta uzmanlar Geçerlilik yok Problemler: Ortada birikim Hastaya Yaklaşım Problemleri(PMP)

19 Daha üstün bir soru formatının olmaması Problem çözme sürecinde uzmanların görüş birliğine varamaması Alan özgünlüğü Ortada birikim Problemler Hastaya Yaklaşım Problemleri(PMP)

20 Çoktan seçmeli sorulardaki ipucu etkisi Paralel testleri karşılaştıran pek çok çalışma Ortalama skorlardaki farklılıklar Yüksek gerçek korelasyon, dolayısıyla???? Değişik formatlar değişik özellikleri ölçer ? Değişik formatlar benzer özellikleri ölçer ? Problemler: Daha üstün soru formatı Hastaya Yaklaşım Problemleri(PMP)

21 PMP’den CORE’a Uzanan Yol Kliniğe Yönelik Mantık Yürütme Sınavı February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands

22 Biçimlerin önemli değişikliklere uğratılması sonuçları etkiler Skorlama işlemleri standardize edilmemiştir. Problemler içeriğe özgüdür, dolayısıyla problem çözme gibi genel yetenekleri geçerli bir şekilde ölçemez Çoktan seçmeli sorular hasta yönetim problemleriyle aynı şeydir, üstelik daha etkili, güvenilir ve geçerlidir. PMP’nin dezavantajları Bazı yazarlar PMP’lere karşı çıkmaktadır:

23 Öğrenilen dersler Tek bir ölçüm tüm piramidi değerlendiremez  metodlar karışımına gerek var Kurul karşısında checklistlerin skorlamasının standardizasyonu dikkat gerektirir  Groningen Modeli Değerlendirme öğrenmeyi yönlendirir  arzulanan öğrenme etkisine ulaşmak için değerlendirmeyi stratejik olarak kullanın. Ustalık genel değil, özel  geniş örneklem zor

24 Klinik senaryo Action Hastaya Yaklaşım Problemleri(PMP)

25 Action Klinik senaryo Action Temel özellikler

26 Test zamanı Olgu 1 Olgu 2 PMP integral Olgu kullanıyor Olgu 1 Olgu 2 Olgu 3 Olgu 4 Olgu 5 Olgu 6 Olgu 7 CORE temel Özellikleri kullanıyor PMP ile CORE karşılaştırması

27 Kliniğe Yönelik Mantık Yürütmeyi Değerlendirmede CORE Kliniğe Yönelik Mantık Yürütme Sınavı February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands

28 NE anlama gelir? Clinical (Kliniğe Yönelik) Objective (Tarafsız) Reasoning (Mantık Yürütme) Examination (Sınavı)

29 Miller‘in Ustalık Piramidi Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. Ne olduğunu bilir Gösterir Nasıl olduğunu bilir Yapar Bilişsel Davranışsal Profesyonel güvenilirlik

30 Miller‘in Ustalık Piramidi Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. Ne olduğunu bilir Nasıl olduğunu bilir Yapar Professional güvenilirlik Yazılı, Sözlü veya Bilgisayar temelli değerlendirme Gösterir Performansın değerlendirilmesi

31 OSPE neyi ölçer? Beceri Entelektüel İletişim Uygulamaya yönelik Bilir Nasıl bilir Gösterir Yapar Bilgi Davranış (Objektif Yapılandırılmış Pratik Sınav)

32 OSPE neyi ölçer? Entelektüel beceriler Bilginin hatırlanması Verilerin kullanılması Problem çözme Bilir Nasıl bilir Gösterir Yapar İletişim becerileri Dikkat Cevap Empati Uygulamalı beceriler Taklit Kontrol Otomatikleşme

33 Temel özellikler Karar verilebilir içerik ve değişkenler Olguların temeli gerçek hastalar Yüksek orijinallik Güçlü eleştiri, inceleme süreci Kritik kararlara yönelik kısıtlı sayıda soru Değişik soru formatları Her test için pek çok değişik vaka Bilgisayar sunumları için ideal (multimedia, otomatik skorlama, anında geri bildirim) Bir dizi kağıtta (veya sözlü) olgular

34 Action Klinik Senaryo Action CORE: Temel özellikler

35 Öğrenciye başlangıçta anlatılan duruma uygun bir dizi kararlar listesi sunulur. Bir işlevi yapmak ya da yapmamak öğrencinin kararıdır. Genellikle kaç tane doğru seçeneğin olduğu söylenmez. CORE: Temel özellikler CORE yazılı (veya multimedia) bir klinik durum tanımlaması ile başlar.

36 Klinik senaryo Action CORE: Temel özellikler

37 Her basamak yeni bir durum ve yeni bir karar demektir. Bağlantılı istasyonlarda gereken her ilave bilgi öğrenciye verilir Başlangıç istasyonlarında öğrencinin model alabileceği yeni bir olgu işlenmektedir. CORE: Temel özellikler Her kararı sonucunda öğrenci bir geri bildirim alır.

38 Bazı şehirler kendi sakinlerinden daha çok yabancı barındırırlar. Bu, aşağıdaki şehirlerden hangisi için geçerlidir? A.Antalya B.Groningen C.Pilsner Stimulus formatı Yanıt formatı Stimulus formatı yanıt formatından daha önemlidir Stimulus’a karşı Yanıt

39 Objektiflik ve geçerlilik Avantajları Bilgisayarla en iyi yapılabilen Eşit koşullarda aynı değerlendirme Kritik profesyonel kararları değerlendirebilme Çok sayıda alanda çok sayıda bilgiyi aynı anda değerlendirebilme Farklı soru formatlarını kullanabilme Zaman içerisinde ilerleyebilen senaryolar kullanabilme Hemen geri bildirim Değerlendirme öğrenmeyi teşvik eder.

40 Yoğun kaynak (Senaryo, karar ağaçları ve checklistlerin oluşturulması gerekir) Dezavantajları Sınavı yapan genellikle pasif (sözlü hariç) Problem çözme işleminde görüş birliğinin olmaması Uzmanlar genellikle orta derecede bilenlerden daha kötü. İpucu etkileri, ancak ÇSS’lara göre çok daha az 6’dan az istasyon olursa güvenilirliği az

41 Bir mantık yürütme sınavının yapısı Kliniğe Yönelik Mantık Yürütme Sınavı February 2002: Y. E. Kocabaşoğlu, University of Groningen, the Netherlands

42 İstasyon 3 İstasyon 2İstasyon 1 Klasik düzende CORE

43 Geliş sırasına göre hastaları muayene etmeye başlarım Siz Ali AK ile görüşmeye başladınız. Bu sırada bekleme salonundaki çocuklardan birisi konvülsiyon geçirdi

44 Hastaların mevcut durumlarına göre öncelik sırası oluşturur ve o sırayla muayeneye başlarım Klasik düzende CORE İyi bir seçim. Lütfen acil görmeniz gereken 3 çocuğu seçiniz

45 Klasik düzende CORE 3,4 ve 6. hastaları acil röntgene göndermekle işe başlarım Bu üç çocuk hemşire tarafından Radyoloji Bölümüne götürüldü. Lütfen devam edin. Kalan hastaları öncelik sırasına göre muayeneye alırımİyi bir seçim. Hemen ilgileneceğiniz üç çocuğu belirleyin. Siz 3 çocuğu seçerken, 3 numaralı çocuk Radyoloji bekleme odasında konvulsiyon geçiriyor

46 Klasik düzende CORE Fizik muayenede takipne (28/dk), siyanoz, interkostal çekilmeler mevcut (...) Rektal vücut ısısı 40,2°C. Oksijen vermeye karar verdiniz. Vereceğiniz oksijenin akım hızını lütfen belirtiniz İlaç tedavisine başlamaya karar verdiniz. Lütfen bir reçete yazınız Öncelik sırasına göre çocukları almaya karar verdiniz. 3 aylık erkek çocuk Ali AK’ ı seçtiniz. Bilginin birikimi

47 Linear olmayan yapı Metin Resim Görüntü Sesler FilmsMetin Bilgisayarda CORE

48 Örnek ekran

49 Örnek görünüm

50

51 Bilgisayarda Klinik Sınavın Avantajları Yüksek orijinallik, gerekirse multimedia Eşit sunum yapısı Farklı soru formatları Bilgisayarla idare Müşteriye hizmet eden biçim Yüksek kabul edilebilirlik Ana özellikler Olguların temelinde gerçek hastalar Öğrenmeye etkisi daha çarpıcı Güçlü inceleme süreci

52 Olgu ya da seçeneklerin tekrar kullanımı daha etkili Öğrenmeyi daha çok etkiler Kaynakların yeniden yönlendirilebilmesi Yüksek kabul edilebilirlik Bilgisayarda Klinik Sınavın Avantajları Alet, zaman ve yer konusunda esneklik

53 Başlangıç maliyetleri yüksek Sektörün hızlı gelişmesi Parmak ucuyla cevabı tahmin edebilme Yüzleşme daha zor Sınavın tümüyle kontrolü mümkün değil Soru bankasının etkinliği kısıtlı İlave sistem yöneticisi gerekli Bilgisayarda Klinik Sınavın Dezavantajları Açık uçlu sorular mümkün değil

54 Öneriler???? Lojistik avantajlarınızı sonlandırmayın Maliyeti düşünün ve Murphy’yi hatırlayın Eğitim sisteminizin gereksinimlerine yönelik gelişmelere odaklanın Bilgisayarın size fazladan ne katacağını tam olarak belirleyin

55 DEMONSTRASYON Clinical Objective Reasoning Examination

56 This presentation (methods_CORE.zip) can be found at: http://www.indepth.org/assess

57 © 2000-2002. Y. E. Kocabaşoğlu. All rights are reserved. WHO Collaborating Centre for Pharmacotherapy Teaching and Training University of Groningen, Faculty of Medical Sciences Discipline Group for Clinical Pharmacology The Netherlands