XIV. TUEK ’08 UYEK PANELİ, TTB-UDEK

... konulu sunumlar: "XIV. TUEK ’08 UYEK PANELİ, TTB-UDEK"— Sunum transkripti:

1 XIV. TUEK ’08 UYEK PANELİ, TTB-UDEK
MÜTF TEAD XIV. TUEK ’08 UYEK PANELİ, TTB-UDEK Klinik Ortamlarda Ölçme-Değerlendirme Mehmet Ali GÜLPINAR MD, PhD 29 Kasım 2008, Ankara

2 Kapsam 1 Ölçme-değerlendirme (ÖD): Tanımlar, yaklaşımlar, ilkeler Bir Sistem Olarak ÖD 2 3 Uzmanlık Eğitiminde Öğrenme ve ÖD 4 Performansa ve İşe Dayalı ÖD Yöntem ve Araçları

3 Birkaç tanım Yeterlik:
İlgili bilgi, beceri, tutum ve/ veya alt yeterliklerden oluşan bütün Yeterlikler Klinik nedenselleştirme ve karar verme İletişim becerileri Tıbbi görüşme Fizik muayene becerileri Teknik/ psikomotor beceriler Profesyonellik Organizasyonel, yönetimsel beceriler vs Bilgi Bi Y2 Bc Alt-yeterlik2 Beceri Yeterlik Y2 T Alt-yeterlik1 Tutum

4 Performans Klinikte bir işi yerine getirirken sergilediğimiz, ilgili tüm yeterliklerin bir araya gelmesiyle oluşan davranış bütünü Kendini oluşturan yeterliklerin toplamından fazla Bağlamsal bilgi ve beceriler gerektirir Klinik karar verme Y1 Organizasyon Planlama Y5 Y2 İletişim Performans Y4 Y3 Psikomotor beceri X Profesyonellik

5 “Compartmentalizations of skills”
Yeterliğe Dayalı ÖD Standartlaştırılmış, temsili (simüle) klinik ortamlarda yeterlik alanlarının ayrı ayrı değerlendirilmesi Son yıllarda yaşanan değişim Daha bütüncül yaklaşım Yeterliklerin entegrasyonu ve Global derecelendirme Eğitime/ öğrenmeye etkisi: Yeterliklerin ayrı ayrı ele alınması Yeterliklerinin/ becerilerin izolasyonu “Compartmentalizations of skills” Yeterlikler arası geçişlerin zorlaşması, bağlantıların, entegrasyonun yitirilmesi Yeterliklerdeki yetkinlikler performans için gerekli ama tek başına yeterli değil

6 Performansa Dayalı Öğrenme ve ÖD
Klinik ortamlarda, iş sırasında öğrenme ve değerlendirme Merkezinde ilgili yeterlikleri açıkça tanımlanmış PERFORMANSLAR var İşe dayalı (work-based) öğrenme ve işe dayalı ölçme-değerlendirme Bağlamsal (contextual), yaşantısal öğrenme Klinik bağlam ve yaşantılar

7 Yaklaşımlar, ilkeler… Ölçme-değerlendirme sistemi/ programı
Öğrenim hedefleri Öğretim yöntemleri Ölçme-değerlendirme sistemi/ programı ÖD’yi eğitimsel perspektiften, program tasarımı bağlamında ele alma Başka bir ÖD sistemini alıp adapte etmek yerine ÖD ile ilgili kavram ve ilkeleri temel alıp kuruma uygun ÖD sistemini geliştirme UYGUNLUK Planlama Geliştirme İyileştirme ÖD’nin amaç ve hedefleri Uygulama Değerlendirme

8 Genel Olarak ÖD Süreci ÖD Süreci
Veri/ bilgi toplama: Belirlenmiş hedefler doğrultusunda veriler toplama Karar verme: Toplanan verileri belirlenmiş standartlar, ölçütler ile karşılaştırarak karar verme Savunulabilir HEDEFLER KANITLAR STANDARTLAR ÖLÇÜTLER

9 ÖD Tasarım Sürecinin Aşamaları
ÖD’nin amacının belirlenmesi Niçin yapıyoruz, amacımız ne? Tasarım ve uygulama sürecinin planlanması Tasarım ve uygulama sürecini nasıl ve kimlerle yürütelim, nasıl koordine edelim? Değerlendiricileri nasıl seçelim, nasıl yetiştirelim? Takvimlendirme Ne zaman/ hangi dönemlerde değerlendirelim? ÖD alanlarının belirlenmesi Neleri Değerlendirelim?

10 ÖD Tasarım Sürecinin Aşamaları
ÖD içeriğinin seçilmesi ve oluşturulması Uygun ve kapsayıcı örneklemi nasıl oluşturalım? ÖD yöntem ve araçlarının seçilmesi Değerlendirmeyi hangi yöntem ve araçlarla yapalım? Başarı standartların belirlenmesi (standart setting) Sonuçları nasıl kullanalım, nasıl karar verelim? Ölçme-değerlendirme sisteminin değerlendirilmesi ve düzeltilmesi Geliştirilen ölçme-değerlendirme sisteminin uygunluğunu/ uygulanabilirliliğini, etkinliğini nasıl değerlendirelim?

11 Tasarım Süreci - Yaklaşımlar, İlkeler…
Eğitim programının bileşenleri arasında karşılıklı etkileşim ve uygunluk aranması Öğrenim hedefleri Öğretim yöntemleri ve stratejileri Ölçme değerlendirme yöntemleri ÖD için uygun/ kapsayıcı örneklem ve yöntem seçimi EŞLEŞTİRME/ TABLOSU (BLUEPRINT)

12 Eşleştirme Tablosu: Şablon
“TASK” LİSTESİ YETERLİK ALANLARI ÖĞRENME ORTAMLARI DEĞERLENDİRME 1 2 3 4 5 6 7 Klinik Ortam/ Öğretim ortamı Öğrenme Yöntem ve Stratejileri Performans standardı/ düzeyi ve ölçütleri Değ. Yöntem ve Araçlar 1……………….. 2. ……………… 3. ………………

13 Eşleştirme Tablosu - Bir Örnek
Hamdy, The Clinical Teacher, 2006, 3, 175-9

14 Tasarım Süreci - Yaklaşımlar, İlkeler…
Herhangi bir ölçme değerlendirme yöntemi/ aracı yerine bütün olarak ölçme-değerlendirme sistemine odaklanma Mutlak olarak “güvenilir” veya “geçerli” bir yöntem??? Önemli olan nokta: her biri belirli alanları değerlendirmek için daha uygun olan yöntemlerin, birden çok farklı yöntem ve araçların kullanımı (çoklu değerlendirme) seçilen bu yöntemlerin bütün içindeki yeri, uygunluğu ve birbirlerini tamamlaması bu yöntem ve araçların sınırlıkları dikkate alınarak kullanılması

15 ÖD Yöntem ve Araçlarının Seçilmesi
Seçim sırasında şu beş ölçüt birlikte dikkate alınır fakat değerlendirmenin amacına göre kendi aralarında ağırlıklandırılır. Güvenirlik Geçerlilik Eğitime/ öğrenmeye etkisi Maliyeti Kabul edilebilirliği/ uygulanabilirliği

16 Yaklaşımlar, İlkeler Bütüncül, dinamik ve otantik
Yeterliklerin entegrasyonu, performans Çok-boyutlu, çok-yöntemli “tüm resmin” farklı ölçme değerlendirme yöntem ve araçları ile çoklu değerlendirilmesi İhmal edilebilen boyutlar: duyuşsal ve metabilişsel!!! Gelişimsel ve bireyselleştirilmiş Mesleki ve kişisel gelişim Öğrenme süreci ile ÖD sürecini mümkün olduğu kadar içi içe (embeddedness) tasarlama ve yürütme ÖD’nin boyutlar: Bilişsel, duyuşsal metabilişsel ve kendilik bilinci (kendini gerçekleştirme) boyutları

17 Uzmanlık Eğitiminde Öğrenme ve ÖD
Tek başına BİLMEK ve/veya YAPMAK üzerinden giden eğitim etkinlikleri yeterli değil DÜZEYLENDİRİLMİŞ ve YÖNLENDİRİLMİŞ KLİNİK YAŞANTILAR/ PERFORMANSLAR (Graded & Guided Clinical Experiences) + REFLEKSİYON (Reflection on) Yeterliğe Dayalı Eğitim (MAG?) Öğrenen/ asistan performansları/ öğrenme çıktıları üzerinden giden eğitim. Belirlenmiş amaç ve öğrenim hedefleri doğrultusunda yaşana klinik yaşantılar/ uygulamalar sonucçunda ortaya çıkan öğrenen performansları/ eğitim çıktıları Competency based residency education focuses on a resident’s performance (learning outcomes) The major goals of the Outcome Project are: • Develop competence as a physician • Improve patient care Introduction to Competency-based Education B. Joyce, Ph.D. Facilitator’s Guide, ACGME, April 2006 (belirlenmiş genel ve özel yeterlikler doğrultusunda giden düzeylendirilmiş ve yönlendirilmiş klinik yaşantılarla ortaya çıkan performanslar MAG)

18 Uzmanlık Eğitiminde Öğrenme Süreci
Düzeylendirilmiş, Yönlendirilmiş (Graded & Guided) Zengin Klinik Yaşantılar İlgili yeterlik alanları tanımlanmış PERFORMANSLAR Önceki klinik yaşantılar Bilgiler, Yeterlikler GELİŞİMSEL REFLEKSİYON (Yansıtıcı düşünme, Geribildirim) EĞİTİM PROGRAMI ÇEP + Bireysel Gelişim Koridorları İşe dayalı + öz düzenlemeli öğrenme Çekirdek “task”ları, genel ve özel yeterlik alanları belirlenmiş Etkin ve sürekli danışmanlık ÖĞRENME/ İŞ ORTAMININ İKLİMİ Güvenli, insani ve yapıcı Makul, esnek, dengelenmiş iş yükü (eğitim, hizmet, araştırma)

19 Uzmanlık Eğitiminde Temel Yeterlik Alanları
*PMETB’nin belirlediği teknik olmayan (genel profesyonel) yeterlik alanları: Profesyonellik İletişim becerileri Liderlik, yönetim ve takım çalışması Hasta güvenliği Araştırma Eğitim ve öğretme Teknik ve teknik olmayan becerilerin entegrasyonu ve dengelenmesi Uzmanlık eğitiminde tanımlanan temel yeterlik alanları, beceriler POSTGRADUATE MEDICAL EDUCATION AND TRAINING BOARD (PMETB; UK) Non-technical skills (or generic professional skills): The range of essential skills which all doctors in postgraduate training must be equipped with, regardless of their specialty. 1. Medical professionalism Definition: ‘a set of values, behaviours and relationships that underpin the trust the public has in a doctor’. Excellence, integrity, compassion and continuous improvement. Six recurring domains: respect for patients ethical practice reflection/ self-awareness responsibility and commitment to excellence/lifelong learning teamwork and social responsibility 2. Communication skills Guiding patients to appropriate sources of information on health and healthcare Educating patients on how to protect their health and prevent occurrence or recurrence of disease Eliciting and understanding patients’ preferences, Communicating information on risk and probability Sharing treatment decisions Providing support for self-care and self-management. 3. Leadership, management and team working Leadership, management and team working skills. Multidisciplinary and multiprofessional teams. The ability of a doctor to communicate skilfully with colleagues and work as part of a team, common learning, appreciation of the value and roles of other professionals, Shared leadership Managing resources 4. Patient safety The ability to recognize personal limitations and know when to seek help. Safe and effective practice. Reflective practice as an element of learning and drive for excellence. Awareness of patient safety and skills for quality and safety improvement, including risk assessment and management Quality improvement. 5. Research Understand research methodologies and principles. Critically appraise research as part of a culture for improvement in quality, safety and clinical effectiveness Basic research skills and enhance research awareness, to ensure that doctors are able to source, critically appraise and translate research and evidence base into daily practice 6. Education and teaching Teaching, supervising and assessing others, and will be acting as role models. Basic teaching and assessing skills to support the learning of others within the multidisciplinary team. Basic understanding of, and the key skills in, learning, teaching, training and assessing, to enable them to provide effective day-to-day support to junior colleagues as well as support their own learning. 7. Integration and balance of technical and non-technical skills It is accepted that leadership, communication, organisation, IT skills, multitasking, managing workload, dealing with numerous opinions, making decisions and the other skills outlined previously are part of every specialist’s and general practitioner’s daily clinical activity. While there is some generic (i.e. common across all specialties) element to these skills, they are most meaningful and useful to doctors in the context of their specialty and day-to-day interaction with patients and colleagues. The correct balance between technical and non-technical skills in postgraduate medical education and training is crucial, and any required increase in the emphasis on, for example, communication and leadership should not be achieved to the detriment of doctors’ technical skills. Postgraduate Medical Education and Training Board. Educating Tomorrow’s Doctors – Future models of medical training; medical workforce shape and trainee expectations. June Erişim tarihi ve adresi, , *POSTGRADUATE MEDICAL EDUCATION AND TRAINING BOARD (PMETB, UK)

20 Uzmanlık Eğitiminde Temel Yeterlik Alanları
*ACGME’in uzmanlık eğitimi için belirlediği genel yeterlik alanları: Hasta bakımı Tıbbi bilgi Uygulamaya-dayalı öğrenme ve gelişim Kişilerarası ve iletişim becerileri, Profesyonellik Sağlık sistemlerine-dayalı uygulama Accreditation Council for Graduate Medical Education (ACGME): Six general competencies of ACGME for residency education 1. Patient care (Hasta bakımı) Caring and respectful behaviors Interviewing Informed decision-making Develop & carry out pt. Management plans Counsel & educate pt’s. & families Performance of procedures Routine physical exam Medical procedures Preventive health services Work within a team 2. Medical Knowledge (tıbbi bilgi ve becer Investigatory & analytic thinking (eleştirel, analitik, entegratif, bütüncül, reflektif düşünme) Knowledge & application of basic sciences 3. Interpersonal & Communication Skills (kişilerarası & iletişim becerileri) Creation of therapeutic relationship with patients Listening skills 4. Professionalism (profesyonellik) Respectful, altruistic Ethically sound practice Sensitive to cultural, age, gender, disability issues 5. Systems-Based Practice (sağlık sistemlerine dayalı uygulamalar (sağlık ve eğitim sistemlerine MAG) Understand interaction of their practices with the larger system Knowledge of practice and delivery systems Practice cost effective care Advocate for patients within the health care system 6. practice based learning and improvement (uygulamaya dayalı öğrenme ve gelişim) Analyze own practice for needed improvements Use of evidence from scientific studies Application of research and statistical methods Use of information technology Facilitate learning of others Professionalism: Residents must demonstrate a commitment to carrying out professional responsibilities, adherence toethical principles, and sensitivityto a diverse patient population. Residents are expected to:1.Demonstraterespect, compassion and integrity2.Demonstratea commitment to ethical principles3.Demonstratesensitivity and responsiveness to patients’culture, age, gender and disabilities 1. Professionalism is composed of three parts. We know those residents who consistently demonstrate professional behavior in our programs by 1) demonstrating respect and compassion to others; 2) managing conflict; and 3) behaving in a manner consistent with their values. 2. Professionalism includes the knowledge and ability to act in an ethical fashion. 3. Professionalism also includes the ability to be sensitive to those whose culture, age, or gender is different from our own. Introduction to Competency-based Education B. Joyce, Ph.D. Facilitator’s Guide, ACGME, April 2006 *ACCREDITATION COUNCIL FOR GRADUATE MEDICAL EDUCATION (ACGME)

21 Uzmanlık Eğitiminde Nihai Hedefler
HEKİM Genel ve uzmanlık alanına spesifik temel yeterliklere sahip Kişisel gelişim Yaşam boyu bağımsız birer öğrenen olma (STE, SMG) Temel genel yeterlikler ve alana özel yeterlikler + Bireyselleşmiş Esnek, diverse, farklı kariyer koridorları Genel ve alana spesifik temel yeterliklerde yetkinlik Kişisel gelişim Yaşam boyu bağımsız birer öğrenen olarak yetişme HEKİM EĞİTİCİ ARAŞTIRICI KİŞİ ve TOPLUM SAĞLIĞININ, HASTA BAKIMININ NİTELİĞİNİ ARTIRMA 21

22 Klinik Ortamlarda ÖD İş süreci, öğrenme süreci ve ÖD süreci iç içe (embedded) Gelişimsel ve sürekli Biçimlendirici değerlendirme geribildirim verme, güçlü ve zayıf yönleri ortaya çıkarma ve performansı geliştirme VE Karar vermeye yönelik değerlendirme Bir üst düzeye geçme, sertifikasyon, yeniden sertifikasyon What does the ACGME expect? Program should be able to document and demonstrate: •Learning opportunities in each competency domain •Evidence of multiple assessment methods •Use of aggregate data to improve the educational program Site reviewers are interested in knowing how you teach each competency domain. 1. What activities would you list as learning opportunities (teaching) in Medical Knowledge? In all likelihood, your learning activities include a series of didactic lectures, journal club, morning report (or a similar variation), or specialty-specific conference (M & M or CPC). 2. What activities would you list as learning opportunities (teaching) in Professionalism? Such activities might include role-modeling by faculty, discussion with mentors or program directors, ethic conferences or lectures, experiences and/or lectures in cultural competency and examples of teaching/learning opportunities. We can use several methods to assess how well residents are achieving the competency-set goals. Here are some examples of multiple assessment methods: • In- training exam or other objective cognitive exam • 360° or Multisource Professional Feedback • Portfolios • Case logs • Focused direct observation experiences • Simulations This is the ACGME timeline provided Program Directors and faculty with guidelines for implementation of the competencies into their program. In Phase 2, each program is expected to: 1. provide learning opportunities in all competency domains; 2. improve the evaluation process to use multiple assessment tools; 3. provide aggregate resident data to GMEC Internal Review; and 4. show reviewers evidence of learning opportunities in the six competency domains and assessment tools. (Note: RRC reviewers may look for evidence that GMEC’s internal review of the program reviewed aggregate resident performance data). During Phase 3 ( ), programs are expected to: 1. Demonstrate full integration of the competencies and assessments tools with clinical care. 2. Use resident performance data to determine educational improvements in their program. 3. Use external measures, such as clinical quality indicators and external specialty specific benchmarks, as a method of evaluating their educational program.

23 Klinik Eğitimde ÖD Sistemi
Klinik ortamlarda doğrudan gözlem + geribildirim 1.Standartlaştırılmış temsili klinik ortamlarda yeterliklerin değerlendirilmesi Klinik Temsile (Simülasyona) Dayalı Ölçme-Değerlendirme, KTÖD (Simulation-based assessment) 2. Gerçek klinik ortamlarda, iş başında performansın değerlendirilmesi İşe Dayalı Ölçme-Değerlendirme, İDÖD (Work-based assessment) Bilgiye yönelik ÖD (BYÖD) özellikle olguya dayalı sınavlar

24 Klinik Eğitimde ÖD Sistemi
Klinik durum-1 Klinik durum-2 KTÖD ve İDÖD yöntemlerinin psikometrik niteliğini (güvenirlik ve geçerlik) artırmak için; Kapsayıcı/ yeterli örneklem Çok sayıda (6-10) farklı klinik durum/ uygulama Çoklu değerlendirici Değerlendirme formları Klinik uygulama-1 Klinik uygulama-2 Klinik durum-3 Klinik uygulama-3 Klinik durum-4 Klinik durum-5 Klinik uygulama-4

25 Uzmanlık Eğitiminde ÖD Sistemi
MEZUNİYET SONRASI MEZUNİYET ÖNCESİ İDÖD KTÖD BYÖD İŞLEYİŞİNİ/ YAPILIŞINI BİLİR YAPAR YAPILIŞINI GÖSTERİR Metabilişsel bilgi ve beceriler Uzmanlık Eğitiminde ÖD sistemi: 1. Merkeze PDÖD/ İDÖD’yi al 2. PDÖD ile YDÖD iyi dengele 3. Bu ikisini BYÖD ile destekle Rethans et al., Medical Education, 2002, 36, 901-9; Shumway & Harden, Medical Teacher, 2003, 25(6), 25

26 ÖD Alanları ve Yöntemlerin Seçimi
Performans/ Bağlamsal ve işlemsel bilgi ve beceriler Klinik karar verme, Profesyonellik vs Yeterlikler/ işlemsel bilgi ve beceriler: Klinik bec, pratik uygulamalar, iletişim bec. bilgi yönetimi vs İşlemsel bilgiler Olgusal/ Kavramsal bilgi Performansa dayalı ÖD (PDÖD) İşe dayalı ÖD: (MiniCEX, DOPS, CbD, Gelişim dosyası, 360 değer) Yeterliğe dayalı ÖD (YDÖD) Simülasyona dayalı ÖD: (Sim/ Stand. Hasta, OSCE) Bilgiye yönelik ÖD (BYÖD) Yazılı sınav, çoktan seçmeli sınav vs Bilgiye yönelik ÖD İŞLEYİŞİNİ/ YAPILIŞINI BİLİR YAPAR YAPILIŞINI GÖSTERİR Metabilişsel bilgi ve beceriler Rethans et al., Medical Education, 2002, 36, 901-9; Shumway & Harden, Medical Teacher, 2003, 25(6), 26

27 Örnek: Cerrahi Eğitiminde ÖD Sistemi*
Kısaltmalar: F: formative, S: summative assessment Annual Review of Competence Progression (ARCP) Purpose of the ARCP (adapted from the Gold Guide June 2007) The ARCP1 is a formal deanery School of Surgery process which scrutinises each surgical trainee’s suitability to progress to the next stage of, or complete, the training programme. It follows on from the appraisal process and bases its recommendations on the evidence that has been gathered in the trainee’s learning portfolio during the period between ARCP reviews. The ARCP records that the required curriculum competencies and experience are being acquired, and that this is at an appropriate rate. It also provides a coherent record of a trainee’s progress. The ARCP is not in itself an assessment exercise of clinical or professional competence. The ARCP should normally be undertaken on at least an annual basis for all trainees in surgical training. Some deaneries or Schools of Surgery plan to arrange two ARCPs each year in the early years of training. An ARCP panel may be convened more frequently if there is a need to deal with progression issues outside the normal schedule. The Royal Colleges of Surgery use the opportunity afforded, through their representative on the panel, to monitor the quality of training being delivered by the programme and/or its components. Further information on this process can be found in the Guide to Postgraduate Specialty Training in the UK, The Gold Guide June 2007, First Edition. Preparation for the ARCP The trainee’s learning portfolio provides the evidence of progress. It is the trainee’s responsibility to ensure that the documentary evidence is complete in good time for the ARCP. The Annual Review Checklist (PDF: 46kb) lists the components that should normally be completed in time for the panel meeting. The ARCP Panel Please note that during the time of the panel meeting, members of an ARCP panel will have access to the portfolios of the trainees they review. Panel members are appointed by the Deanery and are likely to include the following: Postgraduate Dean or deputy Programme Director Chair of the Specialty Training Committee College/Faculty representatives (e.g. from the specialty SAC) Assigned educational supervisors (including AESs who have not been directly responsible for the trainee’s placements) Associate Directors/Deans Academic representatives (for academic programmes only) A representative from an employing authority *Intercollegiate Surgical Curriculum Programme, ISCP)

28 Objektif Yapılandırılmış Klinik Sınav (OSCE)
Standartlaştırılmış temsili klinik ortamlarda gerçekleştirilen YDÖD Standartlaştırılmış/ simüle hasta kullanılabilir Amaç: Karar vermeye yönelik değerlendirme Değerlendirme alanları: tıbbi görüşme fizik muayene iletişim becerileri uygulamaya yönelik, girişimsel beceriler klinik karar verme tanı ve tedavi planı oluşturma vs

29 Objektif Yapılandırılmış Klinik Sınav (OSCE)
Genellikle her birinde bir yeterlik alanının değerlendirildiği 5-20 dk’lık istasyonlardan (en az 3-4) oluşur. Değerlendirme formu ile gözlem+geribildirim kontrol listesi global derecelendirme

30 OSCE Değerlendirme Formu
Aeder et al. Education For Health 7, 2007,

31 İşe Dayalı Ölçme-Değerlendirme
Mini Klinik Sınav (Mini-clinical evaluation examination, MiniCEX) Uygulamaya yönelik, girişimsel, cerrahi becerilerin doğrudan gözlemle değerlendirilmesi (Direct Observation of Procedural Skills, DOPS) (Procedure-Based Assessment, PBA) Olguya dayalı tartışma (Case-based discussion, CbD) 360 derece değerlendirme,mini-akran değerlendirme aracı (Mini-peer assessment tool, MiniPAT) Gelişim dosyası (portfolio) Focused Observation Methods – Patient Encounter/Procedural Skill Observation of Patient Care Encounter (SEGUE) Observation of Procedural Skill (OSATS) Speaker Notes Focused Observation Tools The Focused Observation method requires direct observation of a resident-patient encounter and concurrent written evaluation. Evaluation of Interpersonal and Communication Skills, by using the SEGUE or a similar tool, can occur by having faculty or others observe live or videotaped resident-patient encounters in typical patient care settings, followed by assessment and feedback using an instrument developed especially for communication skills. Alternatively, a standardized patient could evaluate the resident and provide feedback. Direct observation of procedural skills can be assessed using the OSATS (Objective Structured Assessment of Technical Skills) or a similar tool while the resident is completing a surgical procedure. Suggestions for using focused observation: • Train faculty to use the instrument; • Observe resident’s core skills early in the educational program to identify skills that need improvement, and then later to gauge improvement; and • Conduct observations involving many types of patients (e.g., old vs. young, different communication scenarios, differential diagnosis). Benefits: • Communication skill rating forms or checklists direct an observer’s attention to important communication skills that need to be evaluated; • Improvements can be tracked; and • Facilitates the provision of immediate feedback to a resident, based on his or her actual behavior (rather than global impressions). Disadvantages: • Conducting direct observation may be inconvenient or too time consuming for faculty; • Faculty must be trained to use the evaluation tools; and • It may be difficult to track improvement unless an electronic system is used. Developing an Assessment System”: © 2006 ACGME. A product of the ACGME Outcome Project, 2006; 3. B. Joyce, Ph.D.

32 Mini Klinik Sınav, MiniCEX
Klinik ortamlarda yapılandırılmış gözlem formu ile doğrudan gözlem (15-20 dk) + geribildirim Amaç: Biçimlendirici değerlendirme Karar vermeye yönelik değerlendirme Değerlendirilen yeterlikler: Tıbbi görüşme, Fizik muayene, İletişim, Klinik değerlendirme, Profesyonellik, Organizasyona ve yönetmeye yönelik beceriler Profesyonellik: kariyer planlama, proje yazımı, makale yazımı, yönetimsel işler, supervizyon becerileri, kendisinden beklenen işlerle ilgili geniş bir kapsam Bireysel ve yönetsel etkinlik: stres ve zaman yönetimi, sağlık yönetimi, kişiler arası yönetsel beceriler

33 MiniCEX Değerlendirme Formu
Intercollegiate Surgical Curriculum Programme, ISCP,

34 Uygulamaya Yönelik, Girişimsel Becerilerin Doğrudan Gözlemle Değerlendirilmesi
Yapılandırılmış gözlem formu ile pratik, girişimsel ve cerrahi becerilerin doğrudan gözlenmesi + geribildirim iv kanulasyon, iv infüzyon EKG’nin çekilmesi ve yorumu üretral kateterizasyon NG tüp, endoskopi Kolonoskopi Entübasyon Abse drenajı Ameliyatlar vs DOPS, cerrahi DOPS, PBA

35 DOPS Değerlendirme Formu
Healthcare Assessment & Training, HcAT,

36 PBA Değerlendirme Formu (Apendektomi)

37 PBA Değerlendirme Formu

38 PBA Değerlendirme Formu
Intercollegiate Surgical Curriculum Programme, ISCP,

39 Olguya Dayalı Tartışma
Yapılandırılmış olgu sunumu ve tartışması Hasta kayıtlarının/ dokümanlarının kullanılması Değerlendirme formları kullanılarak yıl içinde 4-6 farklı olgu üzerinden değerlendirme yapılır Değerlendirme alanları: Klinik nedenselleştirme, karar verme Tıbbi bilginin klinik durumlarda kullanılması Etik ve yasal tartışma

40 CbD Değerlendirme Formu
HcAT,

41 360 Derece Değerlendirme 360 derece değerlendirme, mini-akran değerlendirme (MiniPAT) Amaç: biçimlendirici değerlendirme karar vermeye yönelik değerlendirme Çok sayıda kişiden değerlendirme alınır üstler, akranlar, hasta ve yakınları, kendisi vs Ölçekler ve anketler kullanılır Değerlendirme alanları Profesyonellik Kişilerarası ve iletişim becerileri Yönetim becerileri Hasta yönetimi Kendi kendini yönetim Ekip çalışması vs Multi-rater(360°) Evaluation 􀂉 Evaluation of resident by multiple individuals such as self, peers, nurses, technicians, allied health professionals, and patients 􀂉 Provides multiple perspectives of resident’s performance 􀂉 Provides opportunity for residents to improve selfassessment skills Speaker Notes Multi-rater (360°) evaluations provide multiple perspectives on various aspects of the resident’s performance. For residents, Multi-rater (360°) assessment might entail evaluation by attendings, other residents, medical students, nurses, ancillary staff, clerical/administrative support staff, and patients. Self-evaluation is an important part of the Multi-Rater (360°) assessment. Suggestions for a Multi-Rater (360°) Assessment: • Ask members of the healthcare team (nurses, technicians, and allied health professionals, resident peers) to complete a Multi-Rater (360°) evaluation to take a current snapshot of a resident’s performance. • Collect Multi-Rater (360°) assessment data, and give residents aggregate feedback at the semiannual Program Director meeting. (This helps protect the anonymity of the raters.) • Use an electronic database to manage the information. • Include a resident self-evaluation to compare the resident’s self-perception of his or her skills with that of other evaluators. • Allow the resident to distribute evaluations to patients, but provide a mechanism of direct return to the Program Coordinator. Benefits: • Multiple perspectives on resident abilities can be obtained. • Ratings from multiple evaluators can help increase data validity and reliability. • Residents’ ability to accurately self-assess may improve through comparison of self- and other assessments. Developing an Assessment System”: © 2006 ACGME. A product of the ACGME Outcome Project, 2006; 3. B. Joyce, Ph.D.

42 360 Derece Değerlendirme Formu
Whitehouse et al., Medical Teacher, 2007, 29, 171-6

43 Mini-Akran Değerlendirme (MiniPAT) Formu
Intercollegiate Surgical Curriculum Programme, ISCP,

44 Asistan Gelişim Dosyası (Portfolio)
Öğrenme ve ölçme değerlendirme yöntemi Öğrenme ve gelişim sürecini öğrenciyle birlikte planlama, izleme, değerlendirme ve revize etme Bireyselleştirilmiş/ farklılaştırılmış eğitim Belirlenmiş hedefler doğrultusunda öğrencilerin, yaptıkları işleri ve bu işlerle ilgili refleksiyonları amaçlı olarak bir araya getirmesi bireysel, akran ve eğitici refleksiyonları Düzenli aralıklarla (3-6 ayda bir) asistan ile eğitim danışmanının buluşması Learning Portfolio A collection of materials that represents the resident’s efforts, progress and achievements in multiple areas of the curriculum Speaker Notes A learning portfolio is a collection of materials that represents a resident’s efforts in multiple areas of the curriculum. The purpose of a learning portfolio is to improve ability. Key components of a learning portfolio include: • Self-assessment and goal setting; • Mentored observation and feedback; • Works in progress with formative feedback; • Self reflection on work; and • Final materials documenting achievement. Fundamentals of portfolios: • Provides a mechanism for integrating the six domains of competence into developing competence as a physician; • Promotes reflection and self-assessment on the essential skills of a competent physician (and requires active and ongoing mentoring; ability to reflect is a skill, and may need to be taught to some individuals); • Facilitates a learner-centered curriculum design/implementation (a focus on resident outcomes), in contrast to the traditional teacher-centered curriculum design/implementation (a focus on instructional activity); • Enables a holistic evaluation approach (the evaluation of the collected evidence provides a ‘picture’ of the whole individual and enhances reliability), rather than a reductionist approach (where each item of evidence evaluated individually provides only a snapshot of proficiency); • Because the nature of portfolio evidence is variable and not exclusively numerical, qualitative criteria for credibility and dependability (i.e. believable and supported by evidence) are more appropriate for summative evaluation of portfolios than traditional psychometric criteria for validity and reliability. Strategies for realizing these criteria are: combining different information sources and looking to see if they are consistent with each other; involving the same set (or at least one) faculty in assessing portfolio materials over a prolonged period of time; and discussing portfolio materials with the resident to check your interpretation against the resident’s understanding. Evaluative components of portfolios: • Portfolios must reflect the expected resident outcomes in the curriculum; both the resident and faculty must know and understand the expected outcomes and the forms of portfolio evidence needed to demonstrate progress and achievement. • For resident reflection to be successful, the resident must be able to clearly state his or her thought and reasoning process. He or she must be able to self monitor his or her progress, as well as state how the final materials demonstrate achievement of the criteria for components. This provides faculty evaluators with insight into the resident’s developmental growth as a competent physician. • Portfolio materials used for summative evaluation must have criteria for acceptable completion and be clearly identified as material that will be used to make promotion or graduation decisions. These materials become part of the permanent file. • Portfolio materials used for formative evaluation require criteria for acceptable completion as well, but are not used for promotion or graduation decisions. These materials are not included in the permanent file. • Portfolio materials should be gathered over the course of training so there is adequate time for remediation, and so that developmental growth in knowledge, attitudes, and abilities can be demonstrated. Developing an Assessment System”: © 2006 ACGME. A product of the ACGME Outcome Project, 2006; 3. B. Joyce, Ph.D.

45 Asistan Gelişim Dosyası
ÖD yöntemi olarak amaç: Biçimlendirici değerlendirme ve bireysel gelişim Güçlü ve zayıf yönlerini ortaya çıkarma Bireysel gelişimini takip Karar vermeye yönelik değerlendirme yeniden sertifikasyon, bir üst düzeye geçiş Performans standartları ve değerlendirme ölçütlerinin açıkça belirlenmiş olması önemli

46 Geliştirilen ÖD sisteminde
Bitirirken… Uzmanlık eğitiminde Eğitim programını yeterlik alanları tanımlanmış klinik performanslar + refleksiyonlar üzerinden tasarlama ve uygulama Geliştirilen ÖD sisteminde yeterli/ kapsayıcı örneklem çok sayıda değerlendirici çoklu değerlendirme İDÖD’yi merkeze alma ve bunu YDÖD ile dengeleme ÖD yöntem ve araçlarını ayrı ayrı ele almak yerine seçilen bu yöntemlerin bütün içindeki yerine, uygunluğuna, birbirini tamamlamalarına odaklanma

47 MÜTF Teşekkür ederim... Sunum ile ilgili değerlendirmeleriniz, önerileriniz ve sorularınız için: