Tıp Eğitiminde Program Değerlendirme Dr. İskender Sayek Emekli Öğretim Üyesi Hacettepe Üniversitesi Tıp Fakültesi Kocaeli Üniversitesi Tıp Fakültesi Tıp Eğitimi Seminerleri 9 Nisan 2013

Terminoloji Evaluation/Assessment/Appraisal ... Değerlendirme/ Ölçme-değerlendirme/Değerlendirme Evaluation/Research Değerlendirme/Araştırma Output/Outcome Ürün/Çıktı Curriculum/Programme Müfredat/Program

Eğitimde Değerlendirme/Araştırma Değerlendirme: Yerel olarak kullanılacak veri ve bilgiyi üretmek için yapılan ve genellikle etik kurul onayına gerektirmeyen ancak etik ilkelere uygun olarak yapılması gereken (sonuçların kullanılabilirliğini arttırmak için) çalışmalar Araştırma: Genelleştirilebilir sonuçları üretmek için yapılan, akran değerlendirmesi olan bir dergide yayınlanması hedeflenen, etik kurul onayı gerektiren çalışmalar Morrison J BMJ 2003; 326:385-87

Tıp Eğitiminin Özellikleri Karmaşık (Kompleks) bir sistem Farklı komponentleri ve komponentler arası etkileşim vardır Değerlendirme bütüncül bir yaklaşım gerektirir: Bireysel komponentlerin değerlendirilmesi yararlı değildir Programın tümü komponentlerinin toplamından fazladır Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99

Tıp Eğitimini Etkileyen Faktörler Program katılımcıları Eğitim ortamı Program özellikleri İç ve dış faktörler Bileşenler ve düzenleyicilerin etkisi Mesleki uygulamalar Alan ile ilgili bilgi değişimi Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99

Tıp Eğitiminde Program Değerlendirme Tıp eğiticisi/eğitimcisinin sorumluluğudur Eğitimde değişimin anahtarıdır Program geliştirme için önemli Eğitim programının durumunu ve bunu sağlayan faktörleri belirler Program geliştirme ya da eğitim programlarının incelenmesi ile ilgilenenler değerlendirme ile ilgili teorik ilkeler çerçevesinde daha yapıcı ve etkin değerlendirme yöntemlerini kullanır Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99

Tıp Eğitiminde Program Değerlendirme Nedir? Bir eğitim programının kavramsallığı, tasarımı, uygulamaları ve yararı ile ilgili verilerin toplaması, analizi ve yorumunu sağlayan sistematik bir yaklaşımdır. Bir kurs veya eğitim programı ile ilgili eleştirel değerlendirme yapma ve karar vermek için bilgi toplama sürecidir. Wall D; in Understanding Medical Education 2010

Tıp Eğitiminde Program Değerlendirme Nedir? Eğitim programlarına bir ‘’değer biçme’’ sürecidir Eğitim programının tasarımı, uygulanması ve ürün/çıktılarının niteliğinin izlenmesi ve geliştirilmesi ile etkililiğini değerlendirmek amacıyla kullanılacak verilerin sitematik toplanması ve analizidir (ACGME) Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99

TEPDAD : Program Değerlendirme Eğitim programının değerlendirilmesi, program geliştirme ve öğretim tasarımı sürecinin bir parçasıdır. Eğitim programının değerlendirilmesi, programın geliştirilmesi ve/veya etkinliğinin gösterilmesi amacına yönelik olarak eğitimle ilgili tüm ögeler üzerinden kesitsel ve/veya sürekli veri toplanması, analizi ve yorumlanması süreci olarak tanımlanabilir.

Program Değerlendirme İçin Nedenler Program çıktılarının ölçümlenmesi Program geliştirme Akreditasyon kurumları Kaynak sunucular Eğiticilerin sorumlu olduğu kurumlar Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99

Tıp Eğitiminde Program Değerlendirme Amaçları? Eğitimin öğrenenin beklentilerini karşıladığının güvencesini vermek Eğitimde düzeltilmesi gereken alanları belirlemek Kurum kaynaklarının uygun kullanımını sağlamak Eğiticilere geri bildirim vermek ve teşvik etmek/ödüllendirmek : Eğiticinin gelişimini sağlamak Tıp fakültelerinin ‘‘değerlerini’’ ortaya çıkarmak Müfredat geliştirilmesini kolaylaştırmak Morrison J BMJ 2003; 326:385-87

Tıp Eğitiminde Program Değerlendirme Amaçlar ? Gelişme amaçlı değerlendirme Tanınırlık amaçlı değerlendirme Bilgi amaçlı değerlendirme

Tıp Eğitiminde Program Değerlendirme Amaçlar ? Müfredat ilişkili Ölçme-Değerlendirme ilişkili Eğitim ve Öğrenme ilişkili

Tıp Eğitiminde Program Değerlendirme Amaçlar ? Müfredat Müfredat/Program geliştirme Öğrenim amaç ve hedeflerine uygunluğun değerlendirilmesi Program çıktılarının değerlendirilmesi Eğitim ve Öğrenme Öğrenenin gereksinimlerinin karşılanma güvencesi Kötü/Uygun olmayan eğitimin belirlenmesi Eğitim programlarının onaylanması Eğitici ve kurumlara geri bildirim verilmesi Eğiticilere yıllık değerlendirme Yükselme ve kariyer geliştirme

Tıp Eğitiminde Program Değerlendirme Amaçlar ? Ölçme-Değerlendirme Ölçme-Değerlendirme çıktılarını değerlendirme : sınavların değerlendirilmesi (Kurumsal , Ulusal) Değerendirme araçları geliştirme: Değerlendirme araçlarının geçerliliği ve güvenirliğinin değerlendirilmesi Değerlendirme stratejilerinin uygunluğunu belirleme

Program Değerlendirme Planlaması Değerlendirmenin amaç ve hedefleri nedir? Değerlendirme sonuçları kime verilecektir? Hangi analiz, yorumlama ve karar verme süreç kuralları uygulanacaktır? Sorumlu kimdir? Kimden ve nasıl bir veri toplanacaktır? Verileri kim toplayacak ve analiz edecektir? Wall D; in Understanding Medical Education 2010

Program Değerlendirme Çeşitleri Tanılayıcı Değerlendirme Biçimlendirici Değerlendirme Düzey Belirleyici Değerlendirme Programa girişte yapılan değerlendirme Program sürecinde yapılan değerlendirme Program çıkışında yapılan değerlendirme Demirel Ö Kuramdan Uygulamaya 2002

Tıp Eğitiminde Program Değerlendirme Tanılayıcı Değerlendirme (Diagnostic Evaluation) Düzey Belirleyici Değerlendirme (Summative Evaluation) Programa girişte yapılan değerlendirme: bilişsel davranışları, duyuşsal özellikleri ve devinişsel becerileri değerlendirir Biçimlendirici Değerlendirme (Formative Evaluation) Program sonunda yapılan değerlendirme: Kazanılmış davranış, özellik ve becerileri ölçmeye yararan değerlendirme Program sürecinde yapılan değerlendirme: Öğrenme güçlüklerini ortaya çıkarmak ve gerekli düzeltmeler ve planlama yapılması amaçlanır Demirel Ö Kuramdan Uygulamaya 2002

Değerlendirme Modelleri Deneysel/ Yarı-deneysel modeller: Yeni uygulamalar ile eski uygulamaları karşılatırmak; uygulanması zor Kirkpatrick’in dört-düzey değerlendirme modeli: Program çıktıları ile ilgili değerlendirme Mantık modeli: Değişim sürecine odaklı; eğitimde yenileşim (inovasyon) içerikli CIPP (context/input/process/product) modeli

Kirkpatrick’in Değerlendirme Hiyerarşisi Sonuçların Değerlendirilmesi (Topluma etkisi) Tutum/Davranışın Değerlendirilmesi (öğrenmenin çalışma ortamına taşınması) Öğrenmenin Değerlendirilmesi (Gerekli bilgi ve beceriler) Eğitilenin memnuniyeti ya da tepkisinin Değerlendirilmesi Wall D; in Understanding Medical Education 2010

Tıp Eğitiminde Kirkpatrick’in Hiyerarşisi Sağlık hizmet sunumunda iyileşme Mesleki davranışta değişim Öğrenme gerçekleşmesi Yanıtlayanların memnuniyeti Eğitim etkinliğine katılım Wall D; in Understanding Medical Education 2010

Kirkpatrick‘in Değerlendirmede Odaklanma Düzeyleri Düzey 1— Öğrenenlerin memnuniyet ve tepkileri Düzey 2a—Tutum ve algıların modifikasyonu Düzey 2b—Bilgi ve becerilerin edinilmesi Düzey 3—Davranış değişikliği Düzey 4a— Kurumsal uygulamalarda değişim Düzey 4b— Hasta yararı Morrison J BMJ 2003; 326:385-87

Mantık (Logic) Modeli Girdi Etkinlikler Çıktı (Outputs) Ürün (Outcomes) Girişimler Stratejiler Yenileşimler Hedeflenen değişimler Eğitilenin bilgi veya becerileri Yeni bilgi ve becerilerin uygulanması Hasta yararı Kaynaklar Alt yapı İnsangücü Kurum kültürü Eğitilen sayısı Eğitici özelliği Üretilen modül sayısı

CIPP Modeli CIPP (context/input/process/product) modeli (Bağlam/ girdi/ süreç/ürün) Program geliştirme odaklı , programın başarısını ya da başarısızlığını göstermeyi hedeflemez Programın kısımlarının karmaşık, dinamik ve lineer olmayan bir ilişkide olduğunu fark eden yaklaşımlar için güçlü bir model

CIPP Modeli Bağlam/ girdi/ süreç değerlendirmesi iyi leştirme odaklı : Biçimlendirici değerlendirme (Formative) Ürün değerlendirmesi düzey yükseltici değerlendirme (Summative) Bağlam Değerlendirilmesi: Yeni program planmada ya da planlı değişimlerde yararlı Programın amaç ve hedeflerini gereksinimlere, sorunlara ve olanaklara göre belirler Girdi Değerlendirilmesi: Eğitim planlamasında kaynak kullanımı ile yeni program planlanması ve önerisinde yararlı, sürekli veri sağlar- tıp eğitiminde çok etkili

CIPP Modeli Süreç Değerlendirilmesi: program uygulanmalarını değerlendirmede etkili, çıktının değerlendirilmesini sağlar ve bir program değişiminde yararlı (Sürekli gelişim) Program sonu değerlendirmede kullanılabilir Program bileşenlerine tanınırlık sağlar Ürün Değerlendirmesi: Program çıktılarına odaklı değerlendirme Olumlu-olumsuz, kısa-uzun dönem, beklenen-beklenmeyen çıktıları değerlendirir, Eğitim gereksinimlerinin ne kadar karşılandığını belirler

Değerlendirme Modellerinin Karşılaştırılması CIPP Bağlam Girdi Süreç Ürün Mantık Model Etkinlikler Çıktı Kirkpatrick Eğitilen-ilgili çıktılar Deneysel/Yarı deneysel Program içeriği ile çıktının lineer ilişkisi

Değerlendirme Evreleri Planlama ve Hazırlık Eğitim ve Öğrenim Etkinliği Etkinlik ile İlgili Veri Toplanması Yansıma (Refleksiyon) ve Analiz Wall D; in Understanding Medical Education 2010

Eğitim Programlarında Etkililik Değerlendirmesi Evreleri Veri Toplama Verileri Ölçütlerle Karşılaştırıp Yorumlama Etkililik Hakkında Karar Verme Demirel Ö Kuramdan Uygulamaya 2002

Değerlendirme Yöntemleri Subjektif ve objektif ölçütler içerebilir Niteliksel ve niceliksel yaklaşımlar olabilir Fazla veri toplamaktan kaçınmak gerekir Kolay uygulanabilir ve hızla kullanılabilir bilgi üretmesi gerekir Morrison J BMJ 2003; 326:385-87

Yöntemler Görüşmeler Kurum ziyaretleri Anketler Grup görüşmeleri Mülakatlar Odak grup görüşmeleri Kurum ziyaretleri Anketler Grup görüşmeleri Kar topu inceleme (Snowball review) : Grup üyeleri tartışarak sonuca varır Nominal grup tekniği: Grup üyelerinin hepsi görüş bildirir Öğrenci performans değerlendirmeleri Öğrenim çıktılarının değerlendirilmesi Gözlemler

Öğrenci Değerlendirmeleri Geribildirimler, anket uygulamaları En sık kullanılan yöntem Çok değerli bilgi verir Tek başına kullanılmamalı

Değerlendirme Örnekleri Subjektif Objektif Niteliksel Odak grupları Görüşmeler NÖKS ile başarılı sonuçlandırılmış görevlerin analizi Niceliksel Değerlendirmeler: Anket Sınav sonuçlarının eğilim değerlendirilmesi Morrison J BMJ 2003; 326:385-87

Değerlendirme Araçları Öğrenci değerlendirmeleri Uzman değerlendirmeleri Dış değerlendirmeler Öz-değerlendirme Eğitim video kayıtları Öğrenci görüşmeleri-mülakatları Mezunların değerlendirmeleri İşveren değerlendirmeleri Yönetici değerlendirmeleri Eğitim Bursları/ Ödüllendirmeleri Eğitim çıktılarının ölçümlenmesi Eğitim portfolyoları Wall D; in Understanding Medical Education 2010

Değerlendirmede yanlı tutumu azaltmak için öğrenciler, eğiticiler, diğer klinisyen ve hastalar gibi gruplardan birden çok kişiden görüş alınmalıdır.

Müfredatın tam etkililiği öğrencilerin mezun olmasından belli bir süre geçtikten sonra ancak belirlenebilir.

İdeal bir Değerlendirme Güvenirlik Geçerlik Değerlendiren ve değerlendirilen tarafından kabul edilirlik Düşük maliyetli

TEPDAD: UTEAK Standartları 5. PROGRAM DEĞERLENDİRME 5.1. Program değerlendirme sistemi TS.5.1.1. Tıp fakültelerinde, eğitim programını ve öğrencilerin gelişimini izleyen, programa ilişkin görüş ve önerilerin tanımlanması ve ele alınmasını sağlayan bir program değerlendirme sistemi mutlaka olmalıdır. Program değerlendirme sistemi, mutlaka, düzenli olarak toplanan öğretim üyesi ve öğrenci geribildirimleri ve eğitim programı hedefleriyle ilişkilendirilmiş öğrenci performansı izlemlerini kapsamalıdır.

GS.5.1.1. Tıp fakülteleri evrensel eğitim programı değerlendirme modellerinden yararlanarak, fakülteye özgü kapsamlı bir eğitim programı değerlendirme sistemi geliştirilmelidir. GS.5.1.2. Program değerlendirme kapsamında programın bağlamı, girdileri, süreci ve çıktılarına yer verilmeli, mezunların tıbbi kariyerlerine ilişkin bilgiler değerlendirilmelidir.

5.2. Program değerlendirme sonuçlarının paylaşım ve kullanımı TS.5.2.1. Tıp fakülteleri program değerlendirme sonuçlarını mutlaka fakülte yönetimi, akademik görevliler, öğrenciler ile paylaşmalı ve programın iyileştirilmesi yönünde kullanmalıdır. GS.5.2.1. Tıp fakülteleri, program değerlendirme süreci ve sonuçlarının geçerlik ve güvenirlik kanıtlarını toplamalı ve göstermelidir. GS.5.2.2. Tıp fakülteleri dış değerlendirme yöntem ve süreçlerini kullanmalıdır.

Özet Değerlendirme: Müfredat geliştirmede kullanılabilmeli Tıp fakültesinin akademik gelişimine pozitif süreç olarak katkı sunmalı Değerlendirme hedefleri Açıkça tanımlanmalı Öğretim çıktıları ile ilişkilendirilmeli Değerlendirme yapılırken: Birden çok kaynaktan bilgi toplanmalı Sonuçlar tüm katılımcılarla paylaşılmalı

Öğrenenler: Değerlendirme geliştirilirken mutlaka katkı sunmalı Görüşlerine değer verilmeli Değerlendirenler: Değerlendirme sonuçlarına göre eksikliklerin düzeltilmesi, yöntemlerin ve içeriğin iyileştirmesi ve güncellenmesi sağlanmalı Süreç tekrar edilebilmeli

Tıp Eğitiminde Program Değerlendirme Eğitim süreçlerinin önemli öğelerinden birisidir. Uygulanan eğitim programının etkililiği hakkında karar verme Eğitim araçlarının niteliği ile ilgili sistematik bilgi toplama aracı Eğitim hedeflerinin karşılanma derecesini tayin etme Eğitim programına devam, değiştirme ya da yeni bir aşamaya geçme ile ilgili karar verme

Teşekkür ederim .....