Workplace-based Assessment İş Odaklı Değerlendirme Yrd. Doç. Dr. Zeliha Cansever Mevlana Üniversitesi Tıp Fakültesi Tıp Eğitimi ve Bilişimi Anabilim Dalı,

... konulu sunumlar: "Workplace-based Assessment İş Odaklı Değerlendirme Yrd. Doç. Dr. Zeliha Cansever Mevlana Üniversitesi Tıp Fakültesi Tıp Eğitimi ve Bilişimi Anabilim Dalı,"— Sunum transkripti:

1 Workplace-based Assessment İş Odaklı Değerlendirme Yrd. Doç. Dr. Zeliha Cansever Mevlana Üniversitesi Tıp Fakültesi Tıp Eğitimi ve Bilişimi Anabilim Dalı, Konya

2 Amaç: İş odaklı değerlendirme hakkında bilgi vermek. Hedefler: Katılımcılar; İş yerinde değerlendirme yöntemlerini sıralayabilecek, Avantaj ve dezavantajlarını söyleyebilecek, Hangilerini kullanmayı düşündüklerini nedenleriyle tartışabilecek.

3

4 Miller’s Pyramid Dr Jane Mamelok, RCGP WPBA Lead Associate Director GP Education

5 Öğrenenin spesifik bir işteki performansı hakkında yargıya varmaktır. İşinin gelecekteki performansı için rehber niteliğinde etkili geri bildirim fırsatı sunar

6 Miller‘in Ustalık Piramidi Yapar Gösterir Nasıl olduğunu bilir Ne olduğunu bilir Davranışsal (Nonstandardize) Bilişsel, Duyuşsal, Beceri Bilişsel (Standart)

7 Communication and consultation skillsFitness to practiseMaintaining an ethical approach to practiceMaintaining performance, learning and teachingCommunity orientationWorking with colleagues and in teamsPrimary care administrationManaging complexity and promoting healthClinical managementMaking a diagnosis / making decisionsPractising holisticallyData gathering and interpretation

8 Klinik eğitim ortamı değerlendirildiğinde, özellikle mezuniyet sonrası eğitimde mezuniyet öncesi eğitim kadar değerlendirme alanı gelişmemiştir. Birçok klinik eğitim ortamında müfredat daha az yapılandırılmıştır ve eğiticilerin sorumluluğu çok fazladır. Bu nedenle, kompleks olanlar da dahil olmak üzere o kadar geniş hasta problemleri, akut bakım gerektiren, birçok sistemi barındıran hastalıkları ve prosedürel beceriyi değerlendirmeye gereksinim duyulmaktadır. Norman GR ( 2002 ) Research in medical education: three decades of progress. British Medical Journal 324 : 1560 – 2.

9 Pratisyen hekimlerle karşılaştırıldığında klinik ortamda stajyerler hastalar için büsbütün sorumlu değildirler ve uzmanlık alanları bulunmamaktadır. Mevcut uygulamayı değerlendirmeye gereksinim vardır. Buna ilaveten de eğitimsel girişimleri destekleyen değerlendirme programına da gereksinim duyulmaktadır. Norcini JJ ( 2005 ) Current perspectives in assessment: the assessment of performance at work. Medical Education 39 :880 – 9.

10 Eğitici özelliği sergileyen, çok tecrübeli donanım ve beceriye sahip eğitici Klinik eğitim ortamında değerlendirmek iki yönden avantaj sağlamaktadır: Birincisi; hastalar ve eğiticiler, sağlık hizmeti veren ekip üyeleri arası rutin etkileşimler bulunmaktadır ve bu yüzden klinik materyal kolayca ulaşılabilen bir temel değerlendirme aracı sunar. İkincisi; bu alanda yetenekli klinik eğiticiler görev yapabilirler. Bununla birlikte eğitim sürecini destekleyen bu yöntemlerin kullanımı formatif geribildirim vermede ve ihtiyaç duyulduğunda iyileştirme planını geliştirmek için fırsatlar sağlar.

11 Klinik eğitim ortamında gözleme dayalı farklı değerlendirme yöntemleri kullanılmıştır. Mini –klinik değerlendirme sınavı (mini - CEX) Prosedürel becerileri direkt gözlemleme (DOPS) Vaka tabanlı tartışma (CbD) Mini-PAT (Mini peer assesment tool) Çok yönlü geri bildirirm (MSF) Patient Survey (PS) Acute Care Assessment Tool (ACAT)

12 Mini-cex Değerlendirmede kolaylık İyi bir klinik bakım Anında geribildirim Eğitici klinik ortamda öğrencinin hasta ile olan ilişkisini gözleme fırsatı Tipik olarak öğrenci ya da stajerin sistem muayenelerini, hastadan öykü alışını gözlemler ve eğiticiye öğrenci ile ilgili bir kanı uyandırır 10-15 dak. süresince gözlem olanağı, 5 dak. geribildirim Farklı değerlendiriciler,1 yıl boyunca

13

14 Mini-cex Böylece tek bir kişiye bağlı olarak yapılan önyargılar Tıbbı görüşme, fiziksel muayene, profesyonellik, klinik yargıya varma, danışmanlık, iletişim becerileri,organize olma, verimlilik ve bütün bunlarla birlikte klinik yeterliliğe Burada amaç, öğrencilere uygun bir geri bildirim verilerek yeterli olanların yanı sıra yetersiz olanların belirlenmesi Stajerler arasında karşılaştırma yapmak ya da yüksek risk değerlendirmeleri yapmaya yönelik değildir Stajerin performansının resimlenmesi için 4-8 arasında gözlem yapılması gerekmektedir

15 Mini-cex Zayıf öğrenci ya da stajer için daha fazla gözlem Örn: programlarda her bir öğrenci için herhangi bir yıl içinde 4-6 arasında mini-cex tavsiye edilmektedir. 1995 yılından bu yana orijinal girişiyle yaygın olarak kabul görmüştür. Doğasına uygun farklı klinik uzmanlıklar ve farklı seviyedeki stajer yeterliliklerinin belirlenmesi beklenmektedir. Yaygın olarak kullanılan,nispeten hızlı ve mükemmel geribildirim veren, sayısız düzenlemelerle geçerli Buna karşılık klinik servislere öncelik olduğundan itirazlar Klinik gözlemlere odaklanmak için zaman bulmak güç Farklılıklar, farklı zorluk dereceleri değişik skorların elde edilmesi

16

17

18 Mini-cex Yapıtaşları Değerlendirilen AlanTanımlama Öykü almaHastanın aile öyküsü, sosyal yaşam, meslek, yaşam tarzı özellikleri Fizik ve mental durum muayenesiProbleme yönelik muayene becerisini sergileme Prosedürel beceriyi gerçekleştirmeYaygın prosedürel beceriyi en doğru şekilde gerçekleştirmek Ayırıcı tanıyı yapabilmeMuhtemel tanıları listeleyip, doğru tanıya doğru yönelebilme İletişim becerisiHastayla açık, duyarlı ve effektif iletişim, aktif dinlemeyi başarabilme Profesyonel davranış sergilemeHastaya empati, şefkat ve saygı gibi profesyonelisme yönelik davranışı gösterebilme James Kwan, Associate Professor, Emergency Medicine and Medical Education

19 Doğrudan Gözlem  Hem mezuniyet öncesi hem de mezuniyet sonrası tıp eğitiminde direkt gözlem öğrencilerin iş ortamındaki performanslarının değerlendirilmesinin kolaylaştırılması için  Doğrudan gözlem araçları testler arasında uzlaşma sağlamakta, işteki performansı değerlendirmede kullanışlı,yeterli ve pratik bir araç  Bunların çoğu tek değerlendirme ile karşılaştırıldığında kullanışlıdır, böylece farklı değerlendiriciler tarafından çok fazla gözlem gerektirir.

20 DOPS Royal College of Physicians tarafından, mini-cex e adapte edilerek klinik prosedürlerin uygulanmasında,özellikle de performans değerlendirilmesinde kullanılmak üzere tasarlanmıştır. Eğiticinin stajeri spesifik uygulama becerisinde direk olarak gözlemlediği bir standart form şeklini almaktadır. Danışman gözlemci tarafından 11 alanda scorlama yapılmaktadır.

21 DOPS Her bir eğitim ünitesinde, detaylı olarak,özel uygulamaları değerlendiren çok sayıda örnek uygulama prosedürleri bulunmaktadır. Her bir prosedürün değerlendirilmesine bütün olay, basit olmayarak, örneğin başarılı bir kanül yerleştirmek, direk denetlemeksizin bireysel olarak o işlemi gerçekleştirme yeteneğini ölçmek olmalıdır. Oturum sonunda tartışma ve geribildirim verme zorunluluktur.

22

23 DOPS Tıpkı mini-cex te olduğu gibi danışman tarafından DOPS değerlendirme için yer ve zaman konusunda hemfikir olunur ve stajer genellikle onaylanmış listeden bir prosedür seçmektedir. Skorlama da benzerdir. Bütüncül bir değerlendirmeye dayanmaktadır. Kayıt almaya teşvik edilmekte, kayıt değerlendirme, komplex bir vaka verilmekte, danışma zamanında olmakta ve geribildirim verilmektedir. Tipik olarak, DOPS, prosedür için endikasyonların gözden geçirileceği, nasıl elde edileceğini, analjeziklerin gerektiğinde uygun kullanılıp kullanılmadığını, teknik yeterliliği, profesyonelliği, klinik karar vermeyi ve komplikasyonlardan kaçınmayı değerlendirir Stajerler farklı gözlemcilerden yararlanılarak yılda 6 ya da daha fazla kez değerlendirilir

24 DOPS Çok geniş alanda,çok fazla alanlar üzerinden DOPS ile değerlendirme yapılabilmektedir. Deri biopsisi, otopsi yöntemleri, histoloji yöntemleri, frozen raporlamalar, operasyon becerileri. Avantajına gelince klinik prosedürlerin direkt değerlendirmeye izin vermekte, hemen yapıcı bir geribildirim verilmesini sağlamaktadır. Rutin prosedürel aktiviteleri içermekte ve artık yaygın olarak kullanılmaktadır

25 CSR- VAKA TEMELLİ TARTIŞMA( chart simulated recall) USA da acil tıp bağlamında geliştirilmiştir. CBD olarak ta adlandırılmaktadır. Değerlendirici stajerin tanı doğrulama kalitesi ile ilgilenmektedir. Tanı seçimindeki hareketini, farklı tanılardaki farkındalığını ele almaktadır. Bu bağlamda stajere sorular sormaktadır. Vakanın detaylarını paylaşmasını istemekte, değerlendirici stajerin fikrine odaklanmakta, tedavi stratejileri ve incelemeleri gibi vakanın seçici yönleri ile ilgili karar vermesini değerlendirmektedir. Biyokimya, radyoloi, endokrinoloji gibi lab, sonuçlarını anlama ve yorumlamaya yönelik değerlendirme olanağı sunar.

26 CBD CSR-CBD tipik olarak stajer yaygın vakalarda tartışmak ve değerlendirme eleştirilerini almak için seçer. Değerlendirme stajerin etik konulardaki farkındalığını, bilgisini, duyarlılığını ölçer. Özellikle klinik branşlarda endokrinoloji, radyoloji, klinik biyokimya gibi sonuçları yorumlamasını, laboratuvar tekniklerindeki bilgisini değerlendirir. Başka tekli karşılaştırma gözlem yöntemi ve bir dizi önlemler vaka özgünlüğü gibi alınmasına ihtiyaç duyulmaktadır. Böylece farklı değerlendiriciler tarafından 4-6 düzenleme yapılması olağan olur. Bu yöntem de performansı iyi olmayan doktorları göstermekte ve diğer bilişsel değerlendirme formları ile iyi korelasyon göstermektedir.

27 DOPS ve MİNİ-CEX te olduğu gibi zaman yokluğu, tutarsızlık bu araçların kullanımındaki etkinliği zayıflatmaktadır.

28 MSF-Çoklu kaynak geribildirimleri Rutin pratik ile kıyaslandığında tekli değerlendirme ile ölçmek çok zordur. Çoğu tek kaynak ölçümleri yukarıda tanımlandığı gibi dolaylıdır. Kendi pratik uygulamasından ziyade rutin uygulamaya bakmak gerekir. Her ne kadar akranlarının gözüyle de olsa daha fazla pratik uygulamaya bakan bir yöntem MSF’ dir. MSF araçları, meslektaşları ve hasta perspektiflerini toplar, sistematik olarak tutumları harmanlayabilir, böylece hem performansı değerlendirir hem de doktor eğitimleri için bir şekilde geribildirim kaynağı sağlamaktadır. SPRAT= Sheffield Peer Review Assesment Tool Yılda 2 kez, aynı anda 8 değerlendirici

29 İNG de MSF yaygın olarak kullanılmaktadır. Mini-pat mini akran değerlendirme tekniğidir. SPRAT ise kısaltılmış bir versiyonudur. Tipik olarak mini-pat ta, stajer kıdemli danışmanlar arasından akranları, hemşireler, klinik personelden oluşan 8 değerlendirici seçer.

30 Mini-PAT Her bir değerlendiriciye doldurmaları için bir anket formu gönderilir. Stajer dahi bu soru formu ile kendini değerlendirir. Bu anket stajerin akranları ile ve hasta ile ilişkileri gibi stajerin çalışma ortamındaki çeşitli yönleriyle değerlendirmek için her birine yönelik bir değerlendirme gerektirmektedir. Anket stajerin akranlarının verdiği değerlendirmeyi bir araya getirdiğinde kendi durumunu görmesini sağlamakta ve akranlarıyla kendisini karşılaştırmasına izin vermektedir.

31

32

33 Ölçme- değerlendirme Geçerli Güvenilir ----------Tutarlılık, Duyarlılık, Kararlılık Kullanışlı Ekonomik Uygulanabilir Puanlanabilir

34 Sonuçlar eğitim danışmanları tarafından gözden geçirilmektedir. İşteki daha fazla takım çalışmasına gerek duymaları, ustalıkları, klinik yönleri ve akranları ile iyi çalışmaları, hemfikir olmaları değerlendirilir.

35 EĞİTİM DEĞERLENDİRİCİLERİ Performansa dayalı değerlendirmenin ana kaynağı değerlendiricidir Varyanslar farklı olabilmekte, değerlendiricilerin hem güvenilirlik hem de araçların güvenli kullanılmasını elde etmeliler. Ayrıca değerlendiriciler arasında yeterli kanıt ta yoktur. Değerlendiricilerin farklı seviyedeki stajerler olduğunu,klinik sunumlara bakışın farklılığını, performansları ölçen araçların nasıl farklı yansıttığını bilmesi gerekir. Uygulamayı direkt gözlem fırsatı verilmelidir, canlı performans ya da video kayıtlarla.