Program Değerlendirme Modelleri ve İlgili Teoriler Program evaluation models and related theories: AMEE Guide No. 67 Zekeriya AKTÜRK Prof. Dr. / 291

Başlıklar Önemli noktalar Giriş – Değişim – Tanım – Neden program değerlendirme? Teoriler – İndirgeyicilik – Sistem teorisi – Kompleksite teorisi Sık kullanılan modeller – Deneysel/yarı deneysel modeller – Kirkpatrik modeli – Logic modeli – CIPP modeli Sonuç / 292

Önemli noktalar Eğitim programları değişimi amaçlarlar. Onun için program değerlendirmede de değişimin olup olmadığına bakılmalıdır. İstemli ve istemsiz değişimler incelenmelidir. Program değerlendirme modelleri indirgemeci teoriden etkilenmiştir. Eğitim programları öğrenenle çevresinin karmaşık etkileşimlerini içerdiğinden sistem teorisi ve kopleksite teorisi daha uygun olabilir. Program bileşenleri ile çıktılar arasındaki ilişki lineer olmayabilir. Hep açık görüşlü olmalı; program çıktılarını tahmin edebileceğini düşünmek kendini sınırlandırır. Eğitim sürecinin karmaşıklığını ve programınızdaki değişimi inceleyebilecek bir yöntem kullanın. / 293

Giriş İster bir saatlik ders, ister bir lisans programı olsun, her program değerlendirilmelidir. Program değerlendirmeyle ilgili ayrıntılı kitap kaynakları vardır. Bu rehberin amacı, program değerlendirme yöntemlerini aşina olmanızı ve doğru seçim yapabilmenizi sağlamaktır. / 294

Değişim Program değerlendirmede değişime odaklı olmak gerekir. Değişim oluyor mu? Nasıl bir değişim gerçekleşiyor? İstenen ve istenmeyen değişimlere bakmalı. Eskiden program değerlendirmelerine sebep- sonuç ilişkisi olarak bakılırdı; şimdi daha karmaşık olduğu kabul ediliyor. / 295

Tanım “systematic collection and analysis of information related to the design, implementation, and outcomes of a program, for the purpose of monitoring and improving the quality and effectiveness of the program” (ACGME 2010) / 296

Neden program değerlendirme? Dış sebepler – ACGME 2010 – LCME 2010 İç sebepler – Programını tanıma ve geliştirme isteği Eskiden sadece çıktıya odaklanılırdı. Şimdi daha dinamik süreçler ele alınıyor. / 297

İndirgeyicilik Eğitim değerlendirme teorilerinin çoğu aydınlanma dönemine aittir. Burada tanrısal bir müdahale görüşünden deneysellik ve araştırmaya geçiş söz konusudur. Kısaca “parçaları inceleyerek tamamı hakkında bilgi sahibi olabiliriz” yaklaşımı olan indirgeyici yaklaşım son 5 asırdır tıbba hakimdir. Burada lineer bir ilişki varsayılır. Yani, programın bir bileşeninde iyileşme, programda oranlı bir iyileşmeyle sonuçlanır. / 298

Sistem teorisi İndirgeyici yaklaşımın tıbba olan katksıına rağmen sınırlılıkları da vardır. Aristo şöyle der: “whole is greater than the sum of its parts.” 1920’de Bertalanffy tarafından ortaya atılan sistem teorisi parçaların yanında bunların arasındaki ilişkileri de incelemeyi önerir. / 299

Kompleksite teorisi İndirgemeci teoriye dayalı lineer modeller, her şeyin sabit olduğu durumdaki dengeyi açıklar. Eğitim programları ise nadiren dengededir. Tıp eğitimi programları iç ve dış birçok faktörden etkilenir. Doll: ‘‘... the striving for certainty, a feature of western intellectual thought since the times of Plato and Aristotle, has come to an end. There is no one right answer to a situation, no formula of best practices to follow in every situation, no assurance that any particular act or practice will yield the results we desire” / 2910

Sık kullanılan modeller Bu rehberde dört modelden bahsedilecek. Bunların seçilmesinin nedeni teorik perspektif açısından kontrast oluşturmaları ve günümüzde sık kullanılmalarıdır. – Deneysel/yarı deneysel modeller – Kirkpatrik modeli – Logic modeli – CIPP modeli / 2911

Deneysel/yarı deneysel modeller 1960’larda gündeme gelmiştir. İndergemeci teoriye dayanır. Biyolojik bilimlerde çok faydaları olmuş olmakla birlikte, eğitimde o kadar faydalı değildir. Eğitimde değişkenlerin tamamının kontrol altına alındığı deneysel ortamlar oluşturmak zordur. – Intact-Group Design – Time-Series Experimental Design – Ex Post Facto Experiment design / 2912

Kirkpatrik modeli (1996) 1.öğrenen memnuniyeti veya görüşleri; – Rutin anketler 2.Öğrenmenin ölçülmesi (örn. Bilgi, beceri, tutum değişimleri); – Bir kontrol grubuyla karşılaştırma 3.Eğitim görülen konuda öğrenen davranışındaki değişim; – Öğrendiklerini uygulayabiliyor mu? İş başında gözlem. 4.daha büyük bağlamda programın sonuçları. – Hasta çıktıları, maliyet, sağlık performansında iyileşme... / 2913

Kirkpatrik’e eleştiriler Karıştırıcı faktörler – Öğrenen motivasyonu, başlangıçtaki bilgi-beceri düzeyi, Program bileşenleri arasındaki ilişkiler Kaynak kullanım etkinliği İndirgeyici teorinin yansıması olarak sebep-sonuç ilişkisini öngörmesi... / 2914

Kirkpatrik modeli başka daha kapsamlı modellerle birleştirilirse eğiticiye daha faydalı bilgiler sağlayabilir. / 2915

Logic modeli Program bileşenleri arasındaki ilişkilere dikkat etmesi sistem teorisinin yansımasıdır. Daha çok program planlamada kullanılmakla birlikte, değerlendirmede de kullanılabilir. Amerika’da bazı bütçe sağlayıcıları Logic modeli ile program değerlendirmesini şart koşmaktadır. CIPP modeli ile ortak yönleri vardır daha çok değişime ve eğitimin gerçekleştiği ortama odaklanır. / 2916

Logic modeli Çoğu kişi çıktılardan hareket edip geriye doğru gitmeyi tercih eder. Burada temel dört bileşen belirtilmiş olmakla birlikte, karmaşık programlar için çoklu bağlantılı Logic modeller de söz konusudur. / 2917

Logic modeli / 2918 Girdiler (inputs): – Maddi ve entelektüel tüm kaynaklar (para, beceri, zaman, teknoloji, kurum kültürü, yönetim desteği). Etkinlikler (activities): – Stratejiler, yenilikler, değişim planları. Önceki etkinlik sonrakini etkiler. Çıktılar (outputs): – Bir ürün çıktığını gösteren belirteçler. Her etkinliğin en az bir çıktısı olur. Ama her çıktı birden fazla etkinlikle ilişkili olabilir. Bazen outcome’dan ayırmak zor olabilir. – Etkinlik: uygun özelliklerde eleman almak > Output: İşe alınan elemanların özellikleri. – Etkinlik: eğitim modülleri oluşturmak > Output: oluşturulan eğitim modülü sayısı. Sonuçlar (outcomes): – Kısa, orta ve uzun vadede oluşan değişimler. Bilgi ve beceri değişimi. Bunların uygulanması.

Logic modeli / 2919 Her bir etkinlik planlandığı gibi yürütüldü mü? Eğer değişiklik yapıldıysa ne yapıldı ve neden? Gerekli personel var mıydı? Yeterli katkı verdiler mi? Bilgi ve tecrübeleri var mıydı? Öğrenen ihtiyaçları ne kadar karşılandı? Hangi engellerle karşılaşıldı; aşmak için ne yapıldı? Eğitici kurslarına katılım oldu mu? İşe yaradı mı? Uygulama değişti mi? Katılımcılar programın etkinliğini, ulaşılabilirliğini vb. nasıl değerlendirdi? Öğrenenler hangi çıktılara ulaştılar? Öğrenenler öğrendiklerini kliniğe ne kadar uygulayabildiler? Program uygulanınca hasta çıktıları nasıl değişti?

CIPP modeli (Stufflebeam 2007) Program hakkında bilgi vermekten çok program iyileştirmeyi amaçlar. Logic modelle benzerlikleri olmakla birlikte, lineer ilişki engeli yoktur. Context Inputs Process Products / 2920

Context: Bağlam analizi için bir dizi veri toplama yolu olabilir: – Doküman inceleme – Demografik veri analizi – Görüşme – Anket çalışması – Kayıtlar – Odak grup çalışması / 2921

Inputs (girdiler): Özellikle bir eğitim planlaması yapılacaksa girdiler (ekip, bütçe, zaman) daha önemli olur. – Literatür inceleme – Benzer programları ziyaret etme – Uzmanlara danışma – İhtiyaçları karşılayabilecek kişilerden teklif alma / 2922

Process (Süreç): – Programın uygulanmasını değerlendirir. – Süreçler her program ve ortamı için değişir; bir program olduğu gibi başka bir yere kopyalanamaz. – Bu değerlendirme olabildiğince dikkat çekmeden, program devam ederken yapılmalıdır. Gözlem Doküman inceleme Röportaj / 2923

Products (Ürünler): – Program çıktılarına odaklandığı için çoğu eğitici için tanıdıktır. Genelde summatif yönden bakar. – Tarafların proje veya programla ilgili görüşleri – Benzer programlarla karşılaştırmalı olarak çıktılar (öğrenci değerlendirmeleri) – Program hedeflerine ulaşılma durumu – Program çıktılarıyla ilgili grup görüşmeleri – Seçilmiş kişilerin tecrübelerini alma – Anket – Projeye katılanların etkinlikle ilgili raporları / 2924

/ 2925

Sonuç Eğitim programları “değişim” odaklıdır. Eğitim programları karmaşıktır. İndirgeyici teori lineer bir yaklaşım getirir. Eğitim programlarında lineer yaklaşımdan uzaklaşılmaktadır. Bu rehberde belirtilen 4 model duruma göre ayrı ayrı veya kombine edilerek kullanılabilir. / 2926

Okuma Önerileri / 2927

[Akademik Genel Kurul] /

/ Atatürk Üniversitesi Eczacılık Fakültesi Program Geliştirme ve Müfredat İyileştirme Toplantısı