Çoktan Seçmeli Soru Hazırlama Teknikleri ve Püf Noktaları

... konulu sunumlar: "Çoktan Seçmeli Soru Hazırlama Teknikleri ve Püf Noktaları"— Sunum transkripti:

1 Çoktan Seçmeli Soru Hazırlama Teknikleri ve Püf Noktaları
Mevlana Üniversitesi Tıp Fakültesi 19.Aralık. 2015 Yrd. Doç. Dr Zeliha Cansever Tıp Eğitimi ve Bilişimi Anabilim Dalı

2 Hedefler: Bu sunumun sonunda katılımcılar;
Amaç: Bu sunumun sonunda katılımcıların çoktan seçmeli sınavlar hakkında bilgi sahibi olmaları amaçlanmıştır. Hedefler: Bu sunumun sonunda katılımcılar; Çoktan seçmeli soruların olumlu ve olumsuz yönlerini sayabilmeli Çoktan seçmeli sorularda şans başarısı için düzeltme formülünü belirtebilmeli Çoktan seçmeli soruların yapısını açıklayabilmeli Çoktan seçmeli sorularda dikkat edilmesi gereken noktaları tartışabilmeli Fil örneği anlatılacak

3 Neyi ölçüyoruz? Planlanan Müfredat Uygulanan Müfredat
Değerlendirilen Müfredat

4

5 Miller’in ustalık piramidi
Yapar Performans değerlendirmesi: Çalışma ortamında Yeterlilik değerlendirmesi: OSCE Gösterir Ortama göre değerlendirme: MCQ, CORE, sözlü… Nasıl yapacağını bilir Sadece hatırlama: MCQ, sözlü… Bilir Miller GE. Acad Med 1990

6

7 Çoktan Seçmeli Soru (ÇSS) nedir?
Bilgiyi ölçmenin bir yolu Bireysel ölçme yapmanın etkili bir yolu Tek cevabı olan soru Yukarıdakilerin hepsi???

8 Çoktan Seçmeli Soruların (ÇSS-MCQ) olumlu tarafları
ÇSS en çok kullanılan ölçme ve değerlendirme aracıdır. Tarafsız Geçerli Güvenilir Ucuz Değerlendirme hızlı Değerlendirme objektif Uygulaması kolay Kapsam geçerliliği yüksektir Analizi kolaydır. Soru bankası oluşturulabilir.

9 Çoktan Seçmeli Soruların (MCQ) Olumsuz tarafları
İletişim ve pratik yetenekleri ölçemez, çeldirici hataları olabilir, tekrar sorulması soruyu kolay yanıtlar hale getirir. Hazırlanması uzun zaman alır Şans başarısı vardır. Seçenekler sınırlıdır. Kapalı uçlu sorulardır. Tahmin etme Tekniğin öğrenilmesi

10 Hangi Durumlarda Kullanılmaktadır?
Bilgi, kavrama, uygulama ve analiz düzeyindeki davranışları ve kısmen değerlendirme düzeyindeki davranışları ölçmede etkilidir. Sınavla geniş öğrenme konuları ölçülmek isteniyorsa kullanılır. Sınavla geniş öğrenme konuları ölçmek isteniyorsa kullanılır.(Çok sayıda soru sorularak, konuları temsil gücü sağlanır – kapsam geçerliliği sağlanır).

11 ÇSS’ın Anatomisi Soru Kökü Soru cümlesi Cevap+Çeldiriciler
"John Q'nun oğlu Mike'a kalp nakli yapılması gerekmektedir, ancak sigortaları bu büyüklükteki bir ameliyatı karşılamamaktadır." Yukarıda belirtilen sorun daha çok aile hekimliğinin temel prensiplerinden hangisi ile alakalıdır? A) Sağlık hizmetlerine ulaşım B) Sağlık hizmetlerinin koordinasyonu C) Sürekli sağlık hizmeti sunma D) Kapsamlı sağlık hizmeti sunma E) Ortama uygun sağlık hizmeti sunma Soru Kökü Soru cümlesi Soru kökü ile ilişkili sorudur. Ör: «En olasılıklı tanınız nedir?», «Yaralanma bölgesi en büyük olasılıkla neresidir?» «Aşağıdakilerden hangisi doğrudur/yanlıştır» Cevap+Çeldiriciler

12 ÇSS Hazırlama Kontrol listesi
Evet Hayır 1 Soru kökü tek başına anlamlı mı? (Seçenekler okunmadan da yanıtlanabiliyor mu?) X 2 Soru kökünde, yanıt için gerekmeyen bilgi var mı? 3 Soru kökünde (değildir, yanlıştır vb) olumsuz ifade var mı? 4 Soruda kişisel fikir soruluyor mu? (düşünürsünüz, yaparsınız vb) 5 Seçenekler arası bilgi alanı bütünlüğü var mı? 6 Seçeneklerde gereksiz tekrarlar var mı? 7 Seçeneklerdeki sayısal değer sıralaması / ağırlığı düzenlenmiş mi? 8 Zıt seçenekler kullanılmış mı? 9 Hiçbiri-hepsi seçeneği kullanılmış mı?

13 ÇSS Hazırlama Kontrol listesi
Evet Hayır 10 Görece uzun ifade edilmiş seçenek (doğru ya da yanlış) var mı? X 11 Etkisiz seçenek var mı? 12 Genellikle, sıklıkla, hiçbir zaman, her zaman vb. kullanılmış mı 13 Kök ve seçenekler arası gramer uyumsuzluğu var mı? 14 İstenmeyen ipucu barındırıyor mu? 15 Seçeneklerde gruplama hatası var mı?

14 Aşağıdakilerden hangisi yanlıştır?
A) Kas kasılması esnasında kasın boyu değişmiyorsa bu kasılmaya izotonik kasılma denir. B) Kas hipertrofisinde kas liflerinde miyofibrillerin sayısı hipertrofi derecesiyle orantılı olarak artar C) Kas hipertrofsinde mitokondri enzimleri % 120'den fazla artar. D) Kas hipertrofisinde fosfajen metabolik sistemin komponentleri yüzde 60-80'ne kadar artar . E) Kas hipertrofisinde glikojen deposu yüzde 50 kadar artar. Çoktan seçmeli test maddelerinde, yanıtlayandan ne beklendiği, açık, belirgin ve tamamlanmış bir soru cümlesi ile soru kökünde doğrudan ifade edilmelidir. Seçenekler kapatıldığında sorunun yanıtlanabilmesi, diğer bir deyişle konuyu bilen bir kişinin seçeneklere bakmak zorunda kalmadan soruyu yanıtlayabileceği şekilde ne sorulduğunun açıkça belirtilmiş olması gerekir. "Hangisi yanlıştır", ".. olmayan hangisidir", "Hangisi değildir", ".yapılmaması gereken nedir", " hangisi beklenmez", ". hangisi görülmez" gibi olumsuz soru cümlelerinin yer aldığı sorulara sınavlarda mümkün olduğunca yer verilmemesi uygun olacaktır. Yanlış olanın yerine doğrunun bilinip bilinmediğini ölçmek daha değerlidir; sınav sorularının gerçek yaşamdaki uygulamalar ile paralelliği açısından olumsuz kök taşıyan sorular sınavın geçerliğini zayıflatmaktadır. Bütün bunlara karşın, ölçülmek istenilen hedefi olumsuz soru köküne sahip bir soru ile İstisnai olarak, eğer sıklıkla yapılabilecek bir yanlış, kaçınılması gereken bir durum, öğrenme hedefleri içinde özellikle vurgulanıyorsa olumsuz soru kökü ile birlikte sorulabilir. Kullanılan olumsuz anlam taşıyan kelimenin altı çizilmeli, okuyan için belirgin hale getirilmelidir. Soru kökünde olumsuz ifade kullanılmak zorunda kalınmışsa seçeneklerde olumsuz ifade(ler) kullanmaktan özellikle kaçınılmalıdır. National Board of Medical Examiners® (NBME®) Item writing manual.

15 Soru kökü tek başına anlamlı değil Soru kökünde olumsuz ifade yer alıyor

16 a. her gün b. 2 günde bir c. 5 günde bir d. haftada bir e. ayda bir
Suyun içilebilirliğini ortaya koyan kriterlerden biri de suyun koliform organizma ihtiva etmemesidir. Bunu saptamak için bakteriyolojik analizler yapılır. Nüfusu 'in üzerinde bulunan kentlerde yürürlükteki mevzuata göre, örnek alma ve muayene sıklığı ne olmalıdır? a. her gün b. 2 günde bir c. 5 günde bir d. haftada bir e. ayda bir Çoktan seçmeli test maddelerinin soru kökünde sadece soruyu yanıtlamak için gerekli olan bilgiler yer almalı, yanıt için gerekli olmayan ayrıntılara yer verilmemelidir. Çoktan seçmeli soru, kök ve seçeneklerin anlamı bozulmadan ifade edilebilecek en az sözcükle yazılmalıdır. Bu örnekte, soru kökünün ilk iki cümlesi "Suyun içilebilirliğinianalizler yapılır" çıkarıldığında sorunun ölçmek istediği hedef ve soru içeriğinde hiçbir değişiklik olmayacaktır. Soru kökü "Yürürlükteki mevzuata göre, nüfusu 'in üzerinde olan kentlerde, içme sularının analiz sıklığı nedir?" biçiminde düzenlendiğinde, soru en yalın haliyle aynı hedefi ölçme amacına hizmet edebilir. National Board of Medical Examiners® (NBME®) Item writing manual.

17 Soru kökünde, yanıt için gerekmeyen bilgi var

18 a- zıt akım değiştirici ve çoğaltıcı b- sodyum geri emilimi
Dilusyon konsantrasyon testinde bir hasta idrarını konsantre edemiyorsa aşağıdaki mekanizmaların hangisinde bozukluk beklersiniz? a- zıt akım değiştirici ve çoğaltıcı b- sodyum geri emilimi c- üre atılımı d- amonyak sentezi e- potasyum sağlanması Çoktan seçmeli test maddesinin soru kökünde kişisel fikir ve tercihi soracak şekilde gerçek özne kullanılmamalı, soru cümlesi edilgen yapıda olmalı ve sözde özne kullanılmalıdır. Bu soruda kişisel fikir sorulması nedeniyle verilecek her yanıt doğru kabul edilmek zorundadır. Soru kökünün şu şekilde değiştirilmesi uygun olacaktır: "Dilusyon konsantrasyon testinde bir hasta idrarını konsantre edemiyorsa aşağıdaki mekanizmaların hangisinde bozukluk beklenir?" National Board of Medical Examiners® (NBME®) Item writing manual.

19 Soruda kişisel fikir soruluyor

20 ÇSS tasarlanmış net bir hedefi ölçmeye yönelik olmalıdır.
Bilgi alanında belli bir hedefi ölçmeye yönelik hazırlanan sorunun seçeneklerinin de bu hedefin ölçülmesine hizmet edebilecek şekilde aynı konu/bilgi bütünün parçaları olması beklenir. Örneğin, soru tanıya yönelik olarak tasarlandıysa seçeneklerin her birinin semptom ya da bulgu; tedaviye ait tasarlandıysa seçeneklerin her birinin tedavi alternatiflerinden oluşması gerekir. Seçenekler arasında konu/kavram/bilgi alanı bütünlüğü olmaması soru kökünün belli bir hedefe odaklanmadığının bir göstergesi olabilir. Buna karşın soru kökü belli bir hedefe göre tasarlanmış ancak seçenekler konu/kavram bütünlüğüne sahip değilse, bu durum bazı seçeneklerin çeldirici rolünün zayıf olmasına yol açacaktır. National Board of Medical Examiners® (NBME®) Item writing manual.

21 Kök ve seçenekler arası anlam/gramer uyumsuzluğu var
Aşağıdakilerden hangisi trigeminal nevralji tanımı için doğrudur? a. beşinci kraniyal sinir dağılım alanında ani, şiddetli ve kısa süreli ağrılar b. ağrı nazofarenks, larinks, iç kulak ve dilin 1/3 arka kısmına yayılır c. akut atak tedavisinde NSAE ilaçlar kullanılır d. ağrı sırasında ağrıyan taraftaki gözün kızarması, gözyaşı akması gibi otonomik belirtiler görülür e. tek tedavi şekli cerrahidir Bu örnekte soru kökü "tanım"a uygun ifadeyi sormaktadır; ancak b, c, d, e seçenekleri "tanımlama" ifadeleri olmaktan çok trigeminal nevraljinin değişik özelliklerini ifade etmektedir. Bu durumda yanıtlayan kişi doğru seçeneği bilmiyor olsa bile yanıtın "a" seçeneği olması gerektiğini tahmin edebilir ve diğer dört seçenek işlevsiz kalabilir. National Board of Medical Examiners® (NBME®) Item writing manual.

22 Seçeneklerde gereksiz tekrarlar var
24 saatlik idrar miktarı hangi düzeye düşen hasta anürik olarak değerlendirilir? a. 10 cc nin altına b. 30 cc nin altına c. 100 cc nin altına d. 300 cc nin altına e. 500 cc nin altına 24 saatlik idrar miktarı kaç cc altına düşerse hasta, anürik olarak değerlendirilir? A. 10 B. 30 C. 100 D. 300 E. 500 Aynı sözcüğün seçeneklerde tekrar edilmemesine özen gösterilmeli, soru kökünde olduğu gibi seçeneklerin de en az sözcükle ifade edilmesine dikkat edilmelidir. Her seçenekte kullanılan sözcüğün soru köküne yerleştirilmesiyle seçeneklerde tekrar eden kullanımlar engellenebilir. National Board of Medical Examiners® (NBME®) Item writing manual.

23 Seçeneklerdeki sayısal değer sıralaması / ağırlığı sorunlu
Erişkinlerde ortalama total serebral kan akımı ne kadardır? a. 50ml/100gr/dakika b. 500ml/100gr/dakika c. 5ml/100gr/dakika d. 150ml/100gr/dakika e. 15ml/100gr/dakika Erişkinlerde ortalama total serebral kan akımı 100 gr/dakika için kaç mililitredir ? A. 5 B. 15 C.50 D E. 500 Sayısal bir değerin bilinmesi/bulunması beklenen çoktan seçmeli test maddelerinde seçeneklerde yer alan sayısal değerler büyükten küçüğe ya da tam tersi şekilde sıralanmalıdır. Böyle bir sıralama sorunun yanıtını bilen kişinin doğru seçeneği bulması için harcaması gereken zamanı en aza indirecektir. National Board of Medical Examiners® (NBME®) Item writing manual.

24 Zıt seçenekler kullanılmış
HIV için yanlışı işaretleyiniz. a. Retroviridae ailesi üyesidir b. Zarflı virustur c. RNA virusudur d. pH 2 asitlerle inaktive olur e. Zarfsız virustur Çoktan seçmeli bir sorunun seçenekleri arasında (başka seçeneği dikkate almayı gerektirmeyen, başka alternatifi olmayan) doğru yanıtın tam karşıtı-zıttı seçeneğin yer alması diğer seçenekleri etkisiz hale getireceğinden kullanılmamalıdır. National Board of Medical Examiners® (NBME®) Item writing manual.

25 Hiçbiri-hepsi seçeneği kullanılmış
Yanıt anahtarını bu ifadelerin herhangi birinin bulunduğu seçeneğin oluşturduğu durumda iki seçeneğin doğru ya da iki seçeneğin de yanlış olduğunu bilen bir kişi, diğer seçenekleri değerlendirmeye gerek duymadan "hepsi" ya da "hiçbiri" seçeneklerini doğru yanıt olarak seçecektir. "Hepsi"nin doğru yanıt olarak değil de bir çeldirici olarak kullanılması durumunda da tek bir seçeneğin yanlış olduğunu bilmek, "hepsi" seçeneğini elemeye yetecektir.. Çoktan seçmeli test maddelerinde "Hepsi" ya da "Hiçbiri" seçeneklerinin doğru yanıt ya da çeldirici olarak kullanılmaması gerekir. Yanıt anahtarını bu ifadelerin herhangi birinin bulunduğu seçeneğin oluşturduğu durumda iki seçeneğin doğru ya da iki seçeneğin yanlış olduğunu bilen bir kişi, diğer seçenekleri değerlendirmeye gerek duymadan "hepsi" ya da "hiçbiri" seçeneklerini doğru yanıt olarak seçecektir. "Hepsi"nin doğru yanıt olarak değil de bir çeldirici olarak kullanılması durumunda da tek bir seçeneğin yanlış olduğunu bilmek, "hepsi" seçeneğini elemeye yetecektir. "Hiçbiri"nin çeldirici olarak kullanıldığı durumda seçeneklerin değerlendirilmesi için mantıksal bir ipucu söz konusu değildir, ancak genel olarak bu tür ifadeler yerine doğru yanıta alternatif oluşturabilecek nitelikteki çeldiricilerin kullanılması önerilmektedir.

26 Görece uzun ifade edilmiş seçenek (doğru ya da yanlış)
Basınçlı pnömotoraks tedavisinde aşağıdaki yöntemlerden hangisi uygulanır? a. perikardiosentez b. segmanter rezeksiyon c. hastanın öksürtülmesi d. medioklavikuler çizgi üzerinde, 2. veya 3. interkostal aralıktan su altı drenajı Çoktan seçmeli test maddesinde seçeneklerin tümü hemen hemen aynı uzunlukta ve benzer nitelikte olmalı, yanıt anahtarını oluşturan seçeneğin çeldiricilerden daha uzun, daha özenli ve ayrıntılı olmamasına dikkat edilmelidir. Soru hazırlayanlar yanıt anahtarını oluşturan seçenekle ilgili daha özenli ve ayrıntılı ifadeler kullanma eğilimindedir. Doğruya gösterilen bu özen diğer çeldiriciler için gösterilmediğinde aradaki ifade ve nitelik farkı çeldiricilerin sorunun ölçme gücüne olan katkısını zayıflatacaktır. National Board of Medical Examiners® (NBME®) Item writing manual.

27 Appropriate shaped item

28 Etkisiz seçenek içeriyor
Çocukluk çağı gelişim destek programı kaç yaşına kadar sürdürülür? 1 yaş 3 yaş 5 yaş 7 yaş ömür boyu Çoktan seçmeli soruların seçeneklerinde, sorunun yanıtı olmadığı çok açık veya diğer seçenekler yanında anlamsız kalan/görünen ve öğrenci tarafından seçilmeyeceği açık olan ifadeler seçenek olarak kullanılmamalıdır. National Board of Medical Examiners® (NBME®) Item writing manual.

29 Mutlak / muğlak ifade(ler) kullanılmış (genellikle, sıklıkla, hiçbir zaman vb)
Soru kökü ve özellikle seçeneklerinde genellikle, yaygın olarak, sıklıkla, nadiren, ara sıra, her zaman, hiçbir zaman gibi belirsizlik ve kesinlik ifade eden sözcüklerin kullanılmaması gerekir. Çoktan seçmeli test maddelerinin soru kökü ve özellikle seçeneklerinde genellikle, yaygın olarak, sıklıkla, nadiren, ara sıra, her zaman, hiçbir zaman gibi belirsizlik ve kesinlik ifade eden sözcüklerin kullanılmaması gerekir. Soru hazırlayanlar ve soruları yanıtlayanlar için bu tür sözcüklerin nasıl bir sıklık ifade ettiği ile ilgili çok farklı sonuçlar elde edilmiştir. Kesinlik ifade eden "hiçbir zaman" ya da "her zaman" gibi sözcüklere ait değerler arasında büyük farklılıklar saptanmamıştır; ancak mutlak kesinlik bildirmesi nedeniyle soruyu yanıtlayanlar tarafından bu tür sözcüklerin yer aldığı seçeneklerin doğru olma olasılıklarının zayıf olduğu tahmin edilebilir.

30 İstenmeyen ipucu barındırıyor
Testteki her madde, başka maddelerin cevaplandırılmasında ipucu olmayacak bağımsız bir problemi içermelidir. 1.Aşağıdaki antihipertansiflerden hangisi kuru öksürük yapar? Kaptopril b) Verapamil c) Amlodipin d) Lacidipin e) Rezerpin 2. Aşağıdakilerden hangisi antihipertansif değildir? a) Famotidin b) Verapamil c) Amlodipin d) Lacidipin e) Rezerpin

31 Seçeneklerde gruplama hatası var
Bebeklerde günlük ağırlık artışı kaç gram olmalıdır? a. ilk hafta 1-2gr/gün b. ilk üç ayda 5-10 gr/ay c. ilk üç ayda gr/ay d. ilk üç ayda gr/ay e. ilk üç ayda gr/ay National Board of Medical Examiners® (NBME®) Item writing manual.

32 Soru Tipleri Yorum ve problem çözme soruları: Vaka tipi sorular
72 yaşında sigara içen bir erkek. Uzun süreli kontrolsüz hipertansiyonu var. Bir saattir bele yayılan şiddetli yırtıcı tarzda angina ile acile başvuruyor. Angina şiddetli olarak başlamış ve şiddeti hiç azalmamış. Ağrı için sublingual nitrogliserin alan hastada senkopa yakın tablo gelişmiş. Hastanın görünümü sinirli, soluk ve terli. Kan basıncı 160/100 mmHg ve nabız 110 vuru/dk. Juguler venöz dolgunluk yok. Sternum boyunca yayılan 2/6 şiddetinde decrescendo diyastolik üfürüm ve S4 var. Radiyal nabızlar her iki kolda eşit. EKG' de II, III ve aVF'de 2 mm'lik ST elevasyonu var. Telede mediasten genişlemiş. Bu hasta için yapılacak ilk şey nedir? A. Ağızdan aspirin verip trombolitik tedaviye başlamak B. Transözofageal eokardiyografi C. İV propranolol başlanması D. Sublingual 10 mg nifedipin E. Primer angioplasti için hastayı kateter laboratuvarına taşımak

33 Ezber bilgiyi hatırlamaya yönelik sorular
Soru Tipleri Ezber bilgiyi hatırlamaya yönelik sorular Normal sistolik kan basıncının üst sınırı kaçtır? A. 120 B. 125 C. 130 D. 135 E. 140

34 Tek veya en iyi doğru cevap
 Romatik ateşin önlenmesi için en etkili profilaktik ajan: Asetyl salisilik asit Para aminobenzoik asit Adrenokortikotrophik hormon Kortizon Hiçbiri

35 Çoklu cevap Canlı virüsler hangi durumlarda immunizasyon sağlar?
1. influenza 2. the common cold 3. cholera 4. small pox 1,2,3 1 ve 3 2 ve 4 Yalnız 4 Hepsi

36 Birden çok doğru / yanlış
Batı da çok kullanılmasına rağmen bizde pek yaygın değildir Aşağıdaki modelde sorular olabilir (i) %5 CO solumanın sonucunda ortamda Venöz PCO2 de artış Arterial kan pHsında artış Alveolar ventilasyonda artış Serebral kan akımında azalma

37 Genişletilmiş Eşleme Soruları Extended-Matching Items
İyi yapılandırılmış eşleme soruları 4 temel öğe içerir. 1.Tema; 2.Seçenek listesi; 3.Açıklama kökü; 4. En azından iki soru kökü

38 B. Kronik Hastalık Anemisi C. Konjestif Kalp Yetmezliği D. Depresyon
Tema: Kronik yorgunluk Seçenekler: A. Akut Lösemi B. Kronik Hastalık Anemisi C. Konjestif Kalp Yetmezliği D. Depresyon E. Epstein-Barr virus infeksiyonu F. Folat yetmezliği G. Glucose 6-fosfat dehidrogenazH. Heraditer sferositoz I. Hipotiroidi J. Demir Eksikliği K. Lyme Hastalığı Mikroanjiyopatik hemolitik anemi M. Miliar tuberculoz N. Vitamin B12 (cyanocobalamin) yetmezliği

39 Yönerge:Her iki hasta için en olası tanınız.
Açıklama: 1.19 yaşında bayan hasta iki haftadır boğaz ağrısı, yorgunluk hissi ve ateşi var.Ateşi C ,servikal lenfadenopatisi ve splenomegalisi mevcut. Başlangıçtaki laboratuvar bulguları lökosit sayısını 5000/mm3 (80% lenfosit atipik özellikteydi. Serum aspartate aminotransferase (AST, GOT) aktivitesi 200 U/L. Serum bilirubin konsantrasyonu ve serum alkaline fosfat aktivitesi normaldi. Cevap: E yaşında kız çocuğu son iki haftadır aşırı yorgunluk hissi ve sırt ağrısı bulunmakta.Omurga ve her iki bacakta yaygın morluk ve ağrı mevcut.total kan sayımında hemoglobin konsantrasyonu 7.0 g/dL, lökosit sayısı 2000/mm3 ve trombosit sayısı 15,000/mm3. Cevap: A

40 Düzeltme formulu Örneğin 4 yanlış 1 doğruyu götürür.

41 Özet Çoktan seçmeli soruların olumlu ve olumsuz yönleri nelerdir?
Çoktan seçmeli sorularda şans etkisini ortadan kaldırmak için değerlendirme aşamasında ne yapabiliriz. Çoktan seçmeli sorular hangi bölümlerden oluşur? Çoktan seçmeli sorular hazırlanırken nelere dikkat edilmelidir?