Eğitim Araştırmaları İçin Anket Hazırlama (Developing questionnaires for educational research: AMEE Guide No. 87) Zekeriya AKTÜRK Prof. Dr.

... konulu sunumlar: "Eğitim Araştırmaları İçin Anket Hazırlama (Developing questionnaires for educational research: AMEE Guide No. 87) Zekeriya AKTÜRK Prof. Dr."— Sunum transkripti:

1 Eğitim Araştırmaları İçin Anket Hazırlama (Developing questionnaires for educational research: AMEE Guide No. 87) Zekeriya AKTÜRK Prof. Dr. http://aile.sifa.edu.tr / 261

2 Rehberin Bölümleri Önemli noktalar Giriş 7 adımlı yaklaşım 1.Literatür inceleme 2.Görüşme ve odak grup toplantıları 3.Literatür ve odak grupları birleştir 4.Maddeleri hazırla 5.Uzman validasyonu 6.Kognitif görüşmeler 7.Pilot uygulama Sonuç / 262

3 Önemli noktalar Anketler tıp eğitimi araştırmalarında sıkça kullanılır. Araştırmalardaki anket kalitesi yetersizdir. Bu rehberde 7 adımlı bir yaklaşım önerilmektedir: 1- Literatür inceleme, 2-Görüşme ve odak grup toplantıları, 3-Literatür ve odak grupları birleştirme, 4- Maddeleri hazırlama, 5-Uzman validasyonu, 6-Kognitif görüşmeler, 7-Pilot uygulama. Bu rehberin benzerlerinden farkı, konuyla ilgili uzman görüşlerini bir araya toplamış olmasıdır. / 263

4 Giriş Anketler tıp eğitiminde sıklıkla kullanılır. 2011-2012: – Medical Teacher: 37 makale (%24) anket kullanmış. – Journal of Graduate Medical Education: %75 Bununla birlikte, anketlerde geçerlilik- güvenilirlik sorunları vardır ve bu konuda yeterli rehberlik yoktur. / 264

5 Survey: is quite broad and could include the questions used in a phone interview, the set of items employed in a focus group and the questions on a self-administered patient survey Questionnaire (Anket): kendi kendine doldurulan veri toplama formu. Bu rehberde bahsedilenler daha çok anket çalışmaları ile ilgilidir. / 265

6 Anketler, fikir, tutum, inanış gibi daha çok soyut alanlarla ilgili veri toplamakta faydalıdır. Ancak, öncelikle araştırma yapısının ankete uygun olup olmadığına, gözlem yoluyla veri toplamanın mümkün olup olmadığına bakmak gerekir. Eğitimde çoğu kez direkt gözlem yapılamadığından (müfredatla ilgili memnuniyet, fizik konfor, evde ders çalışma gibi) anketler tercih edilir. / 266

7 Eğitimde birçok alanda anketle veri toplamak uygundur. Boy, ağırlık, sınav puanı gibi konularda ölçüm yöntemi ve birim konusunda anlaşmak kolaydır. Gözlem yapılamayan psikolojik durumlar için ise ölçekler kullanılır. Memnuniyeti ölçmek için “Ne kadar memnunsunuz?” gibi direkt bir soru sorabileceğimiz gibi, – Eğitim imkanlarından ne kadar memnunsunuz? – Eğiticilerinizden ne kadar memnunsunuz? – Müfredat planlamasından ne kadar memnunsunuz? / 267

8 1-Literatür inceleme Amaç: – (1) araştırmanın yapısını (construct) belirlemek – (2) bu yapıyı veya (ilişkili yapıları) ölçecek araçlar var mı diye bakmak Grain size – assess their confidence to auscultate the heart (at the small- grain end of the spectrum), – to conduct a physical exam (at the medium-grain end of the spectrum) – or to perform the clinical skills essential to a given medical specialty (at the large-grain end of the spectrum) / 268

9 Bir alanda var olan ölçekleri kullanmak mantıklı olabilir. Ancak, “daha önce geçerliliği gösterilmiş” ifadesi hatalıdır! Her ölçek uygulandığı popülasyon, kullanım amacı ve bağlam için geçerlidir. Mevcut ölçekleri aynen veya hafif değiştirerek kullanmak mantıklıdır. Sonuçta bir hekim de mevcut tedavileri hastası için hafif değiştirerek kullanır; her hasta için yeni ilaç keşfetmez. Bazen mevcut ölçek maddeleri kaliteli olmayabilir ama yine de araştırmacıya yeni sorular oluşturmada yardımcı olabilir. / 269

10 2-Görüşme ve Odak Grup Toplantıları Literatür taraması yapıp yeni bir ankete ihtiyaç olduğuna karar verdikten sonra sıradaki adımda muhtemel katılımcıların anket konusu hakkında ne düşündüğünü öğrenmek gerekir. Doktor iyi bir tedavi önerebilir ama hasta uyumu olmayabilir (örn. Çok pahalı). Doktor ve hasta bir araya gelip daha başlangıçta planı gözden geçirmeli. Hasta örneğinde olduğu gibi, ölçeğin anlaşılabilirliği, uygulanacak kişilerin ne düşündüğü incelenmelidir. / 2610

11 3-Görüşmeler ve Literatürü Birleştirme Sonraki adımda anket maddeleri hazırlanacağından bu adıma dikkat edilmesi önemlidir. Araştırma konusunu (yapısını=construct) gösteren literatürden edinilen alınan bilgiler ve görüşmelerden elde edilen göstergeler yazılabilir. Bu ikisi örtüşüyorsa iş nispeten kolay olacaktır. Eğer içerik örtüşüyor ama terminoloji farklıysa, o zaman katılımcıların terminolojisi kullanılmalıdır. Örnek: Öğretmenin yenilikle ilgili özgüvenini ölçerken; – ‘‘confidence in trying out new teaching techniques’’ – ‘‘efficaciousness in experimenting with novel pedagogies” / 2611

12 4-Maddelerin Hazırlanması Kişilerin anlayacağı dilde ve yapıyı açıklayabilecek sorular sorulmalıdır. Soru sayısı kaç olmalıdır? – Grain size – Fazla soru hazırlanıp sonra bazıları çıkarılabilir. – Çoğu yapıyı göstermek için 6-10 madde yeterlidir. Soru yazarken – İfadeler yerine sorular yazın – Negatif cümleler kurmayın – Anlaşılmaz dil kullanmayın – Şıklara uyacak maddeler hazırlayın / 2612

13 / 2613

14 / 2614

15 / 2615

16 / 2616

17 / 2617

18 / 2618

19 Konuyla ilgili uygun kaynakları edinmek gerekir: Dillman D, Smyth J, Christian L. 2009. Internet, mail, and mixed-mode surveys: The tailored design method. 3rd ed. Hoboken, NJ: Wiley. McCoach DB, Gable RK, Madura JP. 2013. Instrument development in the affective domain: School and corporate applications. 3rd ed. New York: Springer. / 2619

20 Geçerlilik kaynakları “Standards for Educational and Psychological Testing” kitabında şu şekilde tanımlanmaktadır: (1) content, (2) response process, (3) internal structure, (4) relationships with other variables and (5) consequences. https://en.wikipedia.org/wiki/Standard s_for_Educational_and_Psychological_T esting https://en.wikipedia.org/wiki/Standard s_for_Educational_and_Psychological_T esting / 2620

21 5-Uzman Validasynu Taslak maddeler hazırlandıktan sonra sırada “içerik geçerliliğinin” sağlanması gelir. Bu aşamada içerik uzmanlarından maddelerin geçerli olup olmadıkları ve başka madde gerekip gerekmediği sorulur. Uzmanlar panelini belirlemeden önce kimlerin uzman olduğu tanımlanmalıdır. 6-10 uzman tavsiye edilir. Uzmanlardan “representativeness, clarity, relevance and distribution” hakkında bilgi alınır. / 2621

22 / 2622 https://dash.harvard.edu/bitstream/handle/1/8138346/Gehlbach%20-%20Measure%20twice%208-31-11.pdf?sequence=1

23 6-Kognitif Görüşmeler Uzmanların desteğiyle maddelere son hali verildikten sonra sırada “response process validity” gelir. Bunu yapmanın bir yolu kognitif pre-testing dir. Aynen uzmanlara sorulduğu gibi katılımcılara da anketle ilgili sorular sorulur. 10-30 katılımcı önerilir. 5-6 kişi de yetebilir. Katılımcıların şu aşamalardaki sorunlarının anlaşılması hedeflenir: – comprehension of an item stem and answer choices, – retrieval of appropriate information from long-term memory, – judgment based on comprehension of the item and their memory – and finally selection Kognitif görüşmeler think-aloud ve verbal probing teknikleriyle yapılabilir. / 2623

24 / 2624

25 7-Pilot Uygulama Tüm basamaklar doğru olarak uygulansa bile yine de hatalı maddeler olabilir. Ölçek planlanan şekilde uygulanır. – internal structure – relationships with other variables Aralık, varyans, iç güvenilirlik, korelasyon, faktör analizi... / 2625

26 SONUÇ Bu rehberde 7 adımlı bir yaklaşımla anket çalışmalarına standart getiriliyor. Bu rehberde değinilmeyen ama önemli diğer konular: – Etik onay – Örnekleme – Katılım oranlarını artırma – Veri yönetimi Burada belirtilen sistematiğin dışında da kaliteli anket çalışmaları yapılabilir. Burada belirtilen standartlara uyarak eğitim araştırmalarının planlanması, anket çalışmalarının yoğun olduğu bu alandaki araştırmaların kalitesini artıracaktır. / 2626