GEÇERLİK VE GÜVENİRLİK Validity and Reliability

... konulu sunumlar: "GEÇERLİK VE GÜVENİRLİK Validity and Reliability"— Sunum transkripti:

1 GEÇERLİK VE GÜVENİRLİK Validity and Reliability
Birinci Algısal Boyut: Süreç, gerçek bir olayla(0) başlar ve bu olay bir alıcı(A) tarafından alınır ya da algılanır. Modelde sözü edilen (A) bir insan olabileceği gibi kamera gibi bir araç ta olabilir. (A) nın (O) ya ilişkisi algısı (01) dir. Bu, iletişim sürecinin başlangıcındaki algısal boyutu oluşturmaktadır.(A) yı kamera vb. Gibi teklonoji ürünü bir araç olarak düşünürsen bu araçların seçiciliğini yapımları ve kapasiteleri belirlemektedir. (A) insan seçicilik iyice karmaşıklaşmaktadır. İnsanın algılaması uyaranın basit bir biçimde alınması değildir. Dış uyaran içteki düşünce ve kavram örüntüleri ile karlılaştırarak, bunlarla uyumlu hale getirilmeye çalışır.Bu uyumlu kılma sonrasında ancak bir şeyi algılar, ona anlam veririz. Bir anlık; -bir sözcüğü iyice duyamadığımızda, -bir kişinin el yazısını çözemediğimizde; -bildiğimiz bir yerin çok farklı bir açodan çekilmiş fotoğrafına baktığımızda neler hissettiğimizi düşünelim. Anlayıncaya, okuyuncaya ya da tanıyıncıya kadar, bir başka söyleyişle, içimizdeki uyumu sağlayıncaya kadar huzursuz oluruz. Anlayınca, okuyunca ya da tanıyınca rahatlarız. İşte bu rahatlama dış uyaranlara içteki düşünce ve kavram örüntülerinin uyumlu hale getirilmesi sonucu olmaktadır. Doğal olarak herkesin belli bir uyaranı algılaması; ilgi, ihtiyaç ve geçirilegelen yaşantılardan kaynaklanabilen bir seçicilikle farklı farklı olabilecektir.

2 Ölçme Ölçme, birey ya da nesnelerin niteliklerinin uygun araçlar kullanılarak gözlenip, gözlem sonuçlarının sembollerle gösterilmesidir. ölçme (measure) = zaman 1 (time ) zaman 2

3 Temel Kavramlar... Niteliklerin kendileri ile aynı türden araçlarla ölçülmesi doğrudan ölçmedir. Metre ile uzunluğun, terazi ile ağırlığın ölçülmesi gibi. Niteliklerin göstergeleri ile ölçülmesi dolaylı ölçmedir. Test ile başarının, anket ile görüşlerin ölçülmesi böyledir.

4 Temel Kavramlar... Ölçme düzeyi (ölçek türü), birey ya da nesnelerin ölçülen özelliklerine ilişkin elde edilen ölçme sonuçlarının matematiksel nitelikleridir. Sınıflama, sıralama, aralık ve oran olmak üzere dört ölçme düzeyi vardır. Ölçme hatası, gözlenen puanların gerçek puanlardan olan sapma miktarıdır. Ölçmelere karışan hatalar sabit, sistematik ve tesadüfi (seçkisiz) olmak üzere üç grupta incelenir.

5 Güvenirlik... Ölçme sonuçlarının tesadüfi hatalardan arınık olma derecesidir. Aynı bireyler üzerinde aynı ya da paralel formlar kullanılarak yapılan ölçmelerin tutarlılığıdır. Bir özelliğin doğru olarak ölçülebilme derecesidir. Öğrencinin öğrenme değerlendirmesini geliştirir.

6 Güvenirlik... Farklı araştırmacılar aynı yöntemleri kullanarak araştırmayı tekrar edebiliyor ve benzer sonuçlar elde edebiliyorsa veriler güvenilirdir. Güvenirlik Tekrarlanabilirlik

7 Not - Güvenirlik... Güvenirlik, aracın kendisine değil, bir ölçme aracıyla elde edilmis ölçümlere (veya sonuçlara) isaret eder. Güvenirlik testin kendisinin değil, eldeki veriler veya ölçümlerin bir özelliğidir. Böylelikle, testin güvenirliği veya aracın güvenirliği ya da test güvenilirdir diye ifade etmek doğru değildir. Güvenirlik, yalnızca kullanılmıs olan ölçme aracı tarafından değil, örneklem tarafından da etkilenmektedir. Bir test güvenilir veya güvenilmez değildir. Test ölçümleri veya eldeki veriler güvenilir veya güvenilmezdir.

8 Güvenirlik ve Üç Kavram...
Tutarlılık: Bir ölçme aracındaki (test) maddelerin (soruların) test bütünü ile olan uyumudur. Kararlılık: Ölçme konusu olan özellik aynı ölçme aracıyla farklı zamanlarda birkaç defa ölçüldüğünde aynı değerleri vermesi durumudur. Duyarlılık: Ölçme aracının veya ölçme sonuçlarının biriminin büyüklülüğü ile ilgilidir. Birim aralığı küçük olan ölçme daha güvenilirdir.

9 Güvenirliği inceleme yöntemleri...
I. Tek uygulamaya dayalı yöntemler Kuder Richardson (KR) 20-21: D/Y, E/H ikili cevap seçenekleri – Maddelerin birbiriyle tutarlılığı Cronbach Alpha: Derecelemeli cevap (Likert) seçenekleri Hoyt’un varyans analizi Testi Yarılama: Spearman Brown ve Rulon formülleri

10 Güvenirliği inceleme yöntemleri...
II. İki uygulamaya dayalı yöntemler Eşdeğer (Alternatif, Paralel) Formlar Test-Tekrartest: Aynı test ya da eş formlar belli aralıklarla

11 Güvenirliği inceleme yöntemleri...
III. Değerlendirmeciler Arası Tutarlılık: İki veya daha çok uzmanın aynı nitelikleri aynı yönergeye dayalı değerlendirmeleri arasındaki uyumun düzeyidir. IV. Ölçmenin Standart Hatası. Bireysel puanların yorumlanmasında kullanılır. Belli güven düzeyleri için bireyin teste ilişkin gerçek puanının (performansının) hangi sınırlar içinde kalacağını tahmin etmede kullanılanılır.

12 Güvenirliği etkileyen faktörler
Ölçme aracı - Ölçme yöntemi / aracı ve kullanılan soru sayısı - Soruların homojenliği - Yönerge - Puanlama nesnelliği Testi alan birey ve gruba bağlı faktörler - Bireyin sağlık durumu - Grubun heterojen olması Uygulama koşulları ve zaman

13 Geçerlik Ölçülmek istenen özelliğinin diğer özelliklerle karıştırılmaksızın ölçülebilme derecesidir. Ölçme sonuçlarının geçerliği, amaçlanan ölçmenin gerçekleştirilebilme derecesidir.

14 Geçerliği Etkileyen Faktörler
Ölçme sonuçlarının güvenirliği Ölçme yöntemi ve soru sayısı Puanlayıcı yanlılığı Uygulama koşulları

15 Geçerlik Türleri Ölçülmek istenen özelliğin diğer özelliklerle karıştırılmadan ölçülebilme derecesidir. Geçerlik sonuçlarımızın, yaptığımız çıkarımların veya önerilerimizin gücüdür. – Internal Validity (İç Geçerlik): Bir araştırmanın doğruluğu ile ilgilidir. Araştırmacı düşündüğü şeyi doğru olarak gözlüyor veya ölçüyor mu? – External Validity (Dış Geçerlik): Çalışmanın sonuçlarının diğer örneklere ve durumlara genellenebilirliği ile ilgilidir.

16 (Geçerlik) (Doğruluk)
Araştırmada Geçerlik Validity Accuracy (Geçerlik) (Doğruluk)

17 Geçerlik-Güvenirlik İlişkisi
Bir ölçüm güvenilir olabilir, fakat geçerli değildir, (Kafatası Örnegi – Frenoloji: Kafa tasına bakarak insanın karakterini ve zekasını inceleyen sözde bilimdir.) Bir ölçüm geçerlikten önce ilk olarak güvenilir olmalıdır. Bu yüzden güvenirlik gereklidir, fakat yeterli değildir, (geçerlik şartı) Bir ölçüm sürekli olarak bir olguyu ölçebilir, fakat ölçüm istediğiniz şeyi test etmedikçe, geçerli değildir.

18 Geçerlik - Güvenirlik Alanyazın bu konuda ikiye ayrılır:
- Nicel araştırma geleneğini kullanan araştırmacılar - Nitel araştırmanın alternatif terimlerini kullanan araştırmacılar

19 Geçerlik-Güvenirlik Merriam, S. B. (1998) Internal Validity – Çeşitleme – Üye kontrolleri – Uzun süreli gözlem – Akran değerlendirmesi – Araştırmacı önyargıları External Validity – Zengin, ayrıntılı anlatım – Çoklu durumlar Reliability(Güvenirlik) – Araştırmacıların pozisyonu – Çeşitleme – Denetim yolu

20 Geçerlik - Güvenirlik Lincoln & Guba (1985) Credibility (inandırıcılık) – Çeşitleme – Uzun süreli gözlem – Sürekli gözlem Transferability (Aktarılabilirlik) –Zengin, ayrıntılı anlatım Confirmability (teyit edilebilirlik) – Çeşitleme – Çoklu yöntemler – Denetim yolu Dependability (tutarlık) – Denetim yolu

21 Terimler – Pozitivist kavramlar güvenirlik ve geçerlik – Güvenirlik ve geçerlik için alternatif kavramlar Credibility (inandırıcılık) equivalent to internal validity Transferability (aktarılabilirlik) equivalent to external validity Dependability (tutarlık) equivalent to reliability Confirmability (teyit edilebilirlik) equivalent to objectivity

22 Nitelde Güvenirlik Nitel araştırmalarda güvenirlik = teyit edilebilirlik (objektiflik) anlamında kullanılır. – Farklı araştırmacılar benzer sonuçlara ulaşırlar – Tekrarlanan çalışmalar benzer gözlemler üretirler – Çoklu araştırmacılar aynı veriden benzer yorumlar yaparlar (üretirler) 2

23 Nitelde İç Güvenirlik İç güvenirlik: Başka araştırmacıların aynı veriyi kullanarak aynı sonuçlara ulaşıp ulaşamayacağına ilişkindir. - Verilerin Betimsel Bir Yolla Doğrudan Sunulması - Çoklu Araştırmacılar - Çoklu Yöntemler - Akran Değerlendirmesi - Kavramsal Çerçeveye Bağlı Olarak Yapılan Veri Analizi

24 Nitelde Dış Güvenirlik
Dış Güvenirlik: Araştırma sonuçlarının benzer ortamlarda aynı şekilde elde edilip edilemeyeceğine bakar. - Araştırmacının Pozisyonu - Veri Kaynaklarının Seçimi ve Tanımlanması - Sosyal Ortamlar ve Şartlar - Kavramsal Çerçevenin Tanımlanması - Veri Toplama ve Analiz Yöntemleri Nitel veriyi analiz etmek belirsiz, sezgisel ve kişiseldir.

25 Nitelde güvenilir bir veri için
1. Triangulation (Çeşitleme) 2. Peer Examination (Akran Değerlendirmesi) 3. Audit Trail (Denetim Yolu) time 1 time 2

26 Nitelde güvenilir bir veri için
1. Görüşmelerin, gözlemlerin, vs. detaylı kayıtları 2. Yazılı alan notları 3. Analizlere ve yorumlara grup yaklaşımları 4. Güvenilir bir transkript için a. Transkriptlerin bağımsız değerlendirilmesi b. Başkaları tarafından denetime açık kayıtlar ve transkriptler c. Aynı kişi veya farklı kişiler tarafından video-kasetlerin çoklu izlenimleri d. Aynı kişi veya farklı kişiler tarafından ses-kasetlerin çoklu dinlenimleri e. Aynı kişi veya farklı kişiler tarafından ses-kasetlerin çoklu transkriptleri 5. Gözlemci güvenirliğini değerlendirmek için İki gözlemci gerçekleşmekte olan şey üzerinde fikir birliğinde mi? Gözlemcileri eğitme Gözlemcileri izleme Betimsel İstatistik

27 Nitel Araştırmada Geçerlik
Bulguların ve verilerin geçerliği araştırmanın doğruluğu ve tamlığı (mükemmelliği) anlamına gelir (Lewis J. & Ritchie J.). Nitel araştırmada çalışılan olgu, araştırma popülasyonu tarafından algılandığı gibi doğru bir şekilde yansıtılmalıdır.

28 Nitel Araştırmada Geçerlik (devam)
Bir problemi araştırmayı veya bir durumu, bir süreci, sosyal bir grubu, veya etkileşimli bir modeli açıklamayı amaçlayan nitel bir çalışmanın gücü onun geçerliği ile ilgilidir (Marshall & Rossman). Nitel literatürde geçerlik için bazen credibility, transferability or plausibility gibi alternatif terimler kullanılır.

29 Nitel Araştırmada Geçerlik (devam)
Araştırmacı düşündüğü şeyi gerçekten gözlemliyor veya ölçüyor mu? - Internal Validity Bir araştırmanın sonuçları benzer ortamlara ve durumlara genellenebiliyor mu? - External Validity (LeCompte & Goetz)

30 İç Geçerlik Araştırma bulguları kendi içinde tutarlı ve anlamlı mıdır?
Bulguları teyit etmede kullanılan kurallar stratejiler var mı? Açık olmayan olgular ya da olaylar belirlenmiş midir? Bulgular araştırmaya katılan bireyler tarafından gerçekçi bulunmuş mudur? (Lewis & Ritchie).

31 İç Geçerlik (devam) İç geçerliği artırmak için;
Çeşitleme-Triangulation Üye kontrolleri-Member checks Uzun süreli gözlem-Long-term observation Akran değerlendirmesi-Peer examination Araştırmanın katılımcı ve işbirlikçi aşamaları-Participatory or collaborative modes of research Araştırmacının önyargıları-Researcher’s biases (Merriam, S. B.)

32 İç Geçerlik (devam) Çeşitleme: Çok sayıda araştırmacı, çoklu veri kaynakları, veya bulguları doğrulamak için çoklu yöntemler kullanmak. Üye kontrolleri: Elde edilen sonuç veya çıkarımlar makul ve mantıklı mı? Bunları elde ettiğimiz veri kaynaklarına tekrar kontrol ettirme Uzun süreli gözlem: bulguların geçerliğini artırmak için aynı olguyu uzun süreli veya tekrarlı gözlemlere tabii tutmak Akran değerlendirme: Bulgularda ortay çıkan yorumların meslektaşlar tarafından değerlendirilmesi Araştırmanın katılımcı ve işbirlikçi aşamaları: Çalışmanın kuramsal aşamasından bulguların yazım aşamasına kadar tüm aşamalarda katılımcıların yer alması Araştırmacı ön yargıları: çalışmanın başında araştırmacının varsayımları, dünya görüşü, ve teorik eğilimi açıklığa kavuşturulmalı.

33 Dış Geçerlik Dış geçerlik araştırma sonuçlarının genellenebilirliğine ilişkindir. Eğer bir araştırmanın sonuçları benzer ortamlara ve durumlara genellenebiliyorsa araştırmanın dış geçerliğinin olduğu söylenebilir. Nitel araştırmada, araştırmacı özel bir durumu derinlemesine anlamak istediğinden (çoğunluğun gerçeğini bulmak istemediğinden) tek bir durum veya küçük rastgele olmayan bir örneklem seçer (Merriam, S. B.). “Üretilen, işlenen veya test edilen soyut yapıların veya postulatların” popülasyon içindeki diğer gruplara uygulanabilirliği ile ilgilidir (LeCompte & Goetz).

34 Dış Geçerlik (devam) Sosyal olayların, içinde bulunan ortama göre değiştiği varsayımından hareketle hiçbir araştırmanın sonuçları başka bir duruma doğrudan genellenemez. Ancak bir dereceye kadar benzetilerek genellenebilir. Nicel araştırmada bu genelleme doğrudan olabilirken nitel araştırmada genelleme dolaylı olarak yapılabilir.

35 Dış Geçerlik (devam) • Araştırma örnekleminin ortamının ve süreçlerinin özellikleri başka örneklemlerle karşılaştırma yapabilecek düzeyde ayrıntılı olarak tanımlanmış mıdır? • Örneklem genellemeye izin verecek ölçüde çeşitlendirilmiş midir? • Araştırma sonuçları araştırma sorusu ile ilgili kuramlarla tutarlı mıdır? • Araştırma bulguları benzer ortamlarda kolaylıkla test edilebilir mi?

36 Dış Geçerlik (devam) Nitel araştırma sonuçlarının olasılığını artırmak için; Zengin, ayrıntılı anlatım: Özgün ve kalıcı kategori: Çoklu durumlar:

37 Dış Geçerlik (devam) Her nitel araştırmacının bu soruların tümüne doğru yanıtlar vermesi güç olabilir. Ancak araştırma sonuçlarının benzer ortamlara genellenebilmesi için araştırmacının okuyucuyu yaptığı çalışmanın tüm aşamaları hakkında ayrıntılı bir şekilde bilgilendirmesi gerekmektedir.

38 Geçerlilik ve Güvenirlik
Geçerliliği ve Güvenirliği Sağlamak Amacıyla Kullanılan Stratejiler Ölçüt Nicel araştırma Nitel araştırma Kullanılan yöntemler Araştırma sonuçları yoluyla gerçeğin doğru temsili İç geçerlik İnandırıcılık Uzun süreli etkileşim Derinlik odaklı veri toplama Çeşitleme Uzman incelemesi Katılımcı teyidi Sonuçların uygulanması Dış geçerlik (genelleme) Aktarılabilirlik Ayrıntılı betimleme Amaçlı örnekleme Tutarlılığı sağlama İç güvenirlik Tutarlılık Tutarlılık incelemesi Nesnel olma Dış güvenirlik Teyit edilebilirlik Teyit incelemesi

39 Özet Olarak Geçerlik ve Güvenirlik
(Fraenkel & Wallen, 2000)

40 – Doğal yapılar and tekli durumlar tekrarlanabilir değildir
Nitel ve Sosyal Bilimlerde Geçerlik ve Güvenirlik Kolay Değildir? – Doğal yapılar and tekli durumlar tekrarlanabilir değildir – Araştırmacının kişisel stratejileri – İnsan davranışı durağan değildir – Etkileşim günden güne değişir

41 Tutarlı/uyumlu Gözlem
So what should we do? 1. Consistent Observation Tutarlı/uyumlu Gözlem Helps: Katılımcılara güven telkin etme Kültürü öğrenme Değişimleri gözleme Değişimleri anlama How: Araştırmacı ve katılımcıları eğitme Guidelines

42 Çeşitleme/Güçlendirme
2. Triangulation Çeşitleme/Güçlendirme Helps: Bulguların niteliğini artırma How: Çoklu araştırmacılar kullanma Çoklu veri kaynağı kullanma Çoklu yöntemler kullanma Guidelines

43 Akran Değerlendirmesi Helps:
3. Peer Review Akran Değerlendirmesi Helps: Araştırma sürecinin dış denetimini sağlama How: Elde edilen bulgular üzerinde akranların yorumunu alma Akran sorgulaması araştırmacı dürüstlüğünü ortaya koyar Guidelines

44 Refining working hypotheses How:
4. Negative Case Analysis Ters Durum Analizi Helps: Refining working hypotheses How: in the light of negative or disconfirming evidence Guidelines

45 Araştırmacının Yanlılığını ve Önyargılarını Açıklama Helps:
5. Clarifying Researcher Bias Araştırmacının Yanlılığını ve Önyargılarını Açıklama Helps: Araştırmayı etkileyen önyargıları veya İddiaları anlama How: Araştırmacı çalışmaya yaklaşımında ve yorumunu şekillendirmede geçmiş deneyimlerini, önyargılarını ve eğilimlerini katıyor mu? Guidelines

46 Çıkarımları Veri Kaynağına Kotrol Ettirme
6. Member Checks Çıkarımları Veri Kaynağına Kotrol Ettirme Helps: Bulgular ve yorumların inandırıcılığı ile ilgili veri kaynaklarının görüşlerine başvurma How: Katılımcılardan araştırmacının çalışmasının kaba taslağını incelemeleri ve alternatif dil, eleştirel gözlemler veya yorumlar yapmaları istenebilir. Guidelines

47 Yöntemin Zengin ve Ayrıntılı Anlatılması
7. Rich, Thick Description Yöntemin Zengin ve Ayrıntılı Anlatılması Helps: Aktarılabilirlik ile ilgili kararlar alma How: çalışmadaki katılımcıları ve kuramsal yapıyı detaylı bir şekilde tanımlama Guidelines

48 Hem süreci hem de sonucu inceleme, onların doğruluğunu değerlendirme
8 - External Audits Dış Denetime Açma Helps: Hem süreci hem de sonucu inceleme, onların doğruluğunu değerlendirme How: Dış bir uzman Sonucu değerlendirmede, denetçi bulguların, yorumların, ve sonuçların veriler tarafından desteklenip desteklenmediğini inceler Guidelines

49 Instrument Strategy Application 1. Validity
1.1. The questionnaires (Q1, Q2, and Q4) and all interview guides were developed after doing a literature review. 1.2. Each of the questionnaires and interview guides were examined by at least three peers (graduate students). 1.3. Each of the questionnaires and interview guides were reviewed by at least four experts. 1.4. Pilot tests were conducted to decrease the researcher’s biases for the questionnaires (Q2 and Q4) and all guides. 1.5. All instruments were checked by a Turkish language expert for clarity of the language. 1.6. Each question on the questionnaires and interview guides had just one thought. 2. Reliability 2.1. The questionnaires (Q1, Q2, and Q4) and all interview guides were developed after doing a literature review. 2.2. Pilot tests were conducted to check reliability of the questionnaires (Q2 and Q4) and all guides. 2.3. Most of the questions on the questionnaires and guides were relevant to answering the research questions.

50 Study Strategy Criteria Application 1. Internal Validity / Credibility
1.1.Triangulation 1.2.Member checking 1.3.Peer examination 1.4.Researcher’s biases The data collection methods, data analysis, and literature review were used to verify interviews and categorization of the data gathered. Interview participants reviewed the accuracy of the details in the transcriptions of each interview. Transcripts and open-ended responses were also triangulated with literature. The synthesis of all data gathered was reviewed by peers, advisor, and co-advisor of the study. The researcher’s assumptions, limitations, delimitations, and theoretical orientation at the outset of the study were clarified The results of the study were compared to the literature in the chapter 5. 2. External Validity / Transferability 2.1.Nominated sample 2.2.Dense description Every used sampling technique and the criteria for selecting participants were provided in “population and sample” sections. A complete description of methodology was given in this chapter (3). 3. Reliability / Dependability 3.1.Dependability audit 3.2.Methodology Triangulation 3.3.Peer examination 3.4.Evaluation 3.5. Reliable transcribe All questions in the instruments were developed after doing a literature review and conducting pilot interviews. A full description of the data analysis protocol is provided in this chapter (3). In addition, advisor and co-advisor of the study provided valuable input with respect to interview and open-ended material The research methodology was fully described. The data collection methods and data analysis were used to triangulate and verify interviews and categories were identified from the data gathered The synthesis of all data gathered was reviewed by peers, advisor, and co-advisor of the study A consensus discussion of the synthesized data was held with the researcher, advisor, and co-advisor of the study Tapes/transcripts open to inspection by others Multiple listenings and transcriptions of audio tape by the researcher and a different person. 4. Objectivity / Conformatibility 4.1.Confirmability Audit The synthesis of all data gathered was reviewed by peers, advisor, and co-advisor of the study.

51 Betimsel analiz 4 aşamadan oluşur:
1. Betimsel analiz için bir çerçeve oluşturma 2. Tematik çerçeveye göre verilerin işlenmesi 3. Bulguların tanımlanması 4. Bulguların yorumlanması Betimsel Analiz

52 KAYNAKLAR Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö.E., Karadeniz, Ş. ve Demirel, F. (2008). Bilimsel araştırma yöntemleri. Ankara: Pegem Yayınları. Bogdan, R. C. & Biklen, S. K. (1998). Qualitative research methods for education: An introduction to theory and methods. Needham Heights, MA: Allyn and Bacon. Cohen, L., Manion, L., & Morrison, K. (2000). Research methods in education (5thed.). New York: RoutledgeFalmer. Creswell, J. W. (1998). Qualitative inquiry and research design: Choosing among five traditions.Thousand Oaks, CA: Sage. Fraenkel, J. R., & Wallen, N. E. (2000). How to design and evaluate research in education (4 ed.). New ork:McGraw Hill. Le Compte, M. D. & Goetz, J. P. (1982). Problems of reliability and validity in ethnographic research. Review of Educational Research, 52, Marshall, C. & Rossman, G. B. (1999). Designing qualitative research (3rd ed.). Thousand Oaks, CA: Sage. Merriam, S. B. (1998). Qualitative research and case study applications in education. (2 ed.) San Francisco: Jossey- Bass. Stake, R. E. (1995). The art of case study research. Thousand Oaks, CA: Sage Publications. Strauss, A. L. & Corbin, J. (1990). Basics of qualitative research: Grounded theory procedures and techniques. Thousand Oaks, California: Sage. Yıldırım, A. & Şimşek, H. (2000). Sosyal bilimlerde nitel araştırma yöntemleri [Qualitative research methods in social sciences] (2nd ed.). Ankara: Seçkin Yayıncılık. Yin, R. K. (1996). Case study research: Design and methods. (2nd ed.) Thousand Oaks, CA: Sage. Bu sunum; yukarıdaki sunu ve kaynaklardan yararlanılarak hazırlanmıştır. Emek sahiplerine teşekkür ederiz...