GEÇERLİLİK VE GÜVENİLİRLİK

... konulu sunumlar: "GEÇERLİLİK VE GÜVENİLİRLİK"— Sunum transkripti:

1 GEÇERLİLİK VE GÜVENİLİRLİK
ÖLÇÜM VE ÖLÇEKLEME & GEÇERLİLİK VE GÜVENİLİRLİK

2 Tanımlayıcı Araştırmada Nicel Veri Elde Etme Yöntemleri
Figure 7.3 Methods of Obtaining Quantitative Data in Descriptive Research Nicel Tanımlayıcı Araştırma ANKET Katılımcılara soru sorularak bilgi edinme GÖZLEM Davranışın gözlemlenerek bilgi edinilmesi

3 Anket Yöntemi Katılımcılara soru sorularak bilgi edinme
Katılımcıların sorulara cevap vermeleri için motive edilmeleri en büyük sorun. Davranış, niyet, motivasyon, tutum, farkındalık, demografik ve yaşam tarzı özellikleri anketi oluşturur.

4 ANKET YÖNTEMİNİN AVANTAJLARI
Kolaylık Güvenilirlik: Sabit-cevapların (çoktan seçmeli) kullanılması cevaplardaki değişkenliği azaltır. Basitlik: Verinin kodlanması, analizi ve yorumlanması kolaydır.

5 ANKET YÖNTEMİNİN DEZAVANTAJLARI
Cevaplayıcılar istenilen bilgiyi vermek istemeyebilir ya da veremeyebilir. Soru kağıdındaki yapılandırılmış veriyi toplama bazı veri türleri için daha düşük geçerliliğe sahiptir: duygular, inançlar gibi. İstenilen şeyin kelimelerle net bir biçimde ifade edilmesi her zaman mümkün olmayabilir.

6 Figure 7.4 Classification of Survey Methods
Anket Yönteminin sınıflandırılması Anket Yöntemleri Figure 7.4 Classification of Survey Methods Telefon Kişisel Mail Elektronik Ev ortamı Mail/Fax Görüşme Telefon Çarşı Yeri Mail Panel Bilgisayar destekli tel görüşmesi Internet Bilgisayara destekli

7 Cevaplanma Oranını Artırmak İçin;
Potansiyel katılımcılara ön duyuru yapılması; telefonla, maille, mektupla Maddi ya da maddi olmayan teşviklerin anketle birlikte sunulması. İlerisi için söz vermek yerine katılım anında sunmak İlk seferde katılmayanların takip edilmesi Kişiselleştirme: Bireye özel bir davetiye gönderilmesi gibi.

8 Gözlem Yöntemi Gerçek davranışın gözlenmesi
ÖR: Bir süpermarkete günün hangi saatinde kaç nüşteri geliyor? Hangi rafın önünde kaç dakika bekliyor?

9 GÖZLEM YÖNTEMİNİN AVANTAJLARI
Gerçek davranışın ölçülmesine imkan verir. Raporlamadan, röportajcıdan ya da röportaj sürecinden kaynaklanan hataları engeller. Kısa süreli çalışmalarda bu yöntem diğerlerinden daha ucuz ve daha hızlı olabilir.

10 GÖZLEM YÖNTEMİNİN DEZAVANTAJLARI
Altta yatan inançlar, tutumlar ve tercihler hakkında az bilgi olduğu için, gözlenen davranışın nedenleri tanımlanamaz. Seçici algı: Araştırmayı yapan kişinin algısından kaynaklanan hata olabilir. Gözlemsel veri elde etmek zaman alıcı ve pahalı olabilir. Bazı davranış biçimlerini gözlemlemek zor olabilir. Gözlemlenen kişilerin bilgisi ya da izni olmadığı durumlarda, gözlem yöntemleri etik olmayabilir. Gözlem yöntemi diğer araştırma yöntemlerinin alternatifi olmak yerine, onları tamamlayıcı bir yöntem olabilir.

11 TANIM ve KAVRAMLAR Bağımsız Değişkenler: Kendi kendine değişen ve etkisi ölçülen ve karşılaştırılan değişkenler. Ör: fiyat Test Birimleri: Bağımsız değişkene verdiği tepkiler araştırılan bireyler, örgütler gibi değişkenler. Bağımlı Değişkenler: Bağımsız değişkenin etkilediği düşünülen değişkenler. Ör: kar, satışlar, pazar payı gibi. Konu Dışı Değişkenler: Test birimlerinin tepkilerini etkileyen bağımsız değişkenler dışında kalan diğer değişkenler. Ör: mağaza büyüklüğü, yeri gibi.

12 Ölçüm ve Ölçekleme Ölçüm: Önceden belirlenmiş kurallara göre nesnelerin özelliklerine sayı ya da semboller atanması Numaralandırma kurallarının standartlaştırılması ve tek biçimde uygulanması gerekir

13 Ölçüm ve Ölçekleme Ölçekleme: katılımcıları bir bütün üzerinde yerleştirme süreci. Ör: tüketicilerin bir reklama karşı tutumları ölçülüyor. 1 ile 100 arasında bir puan vermeleri isteniyor. 1 = Kesinlikle hiç beğenmedim 100 = Kesinlikle çok beğendim. Ölçüm her bir katılımcının verdiği puan. Ölçekleme ise, katılımcıların reklama karşı tutumlarını belirlemek için onları sürekli bir bütün üzerinde yerleştirme süreci.

14 Figure 9.3 Primary Scales of Measurement
Ölçüm düzeyleri (ölçekleri) Figure 9.3 Primary Scales of Measurement Temel ölçüm düzeyleri Nominal Ölçüm Oran ölçüm Sıralı ölçüm Aralık ölçüm

15 Nominal Ölçüm Nesnelerin sınıflandırılarak ölçülmesi
Numaralara sadece gruplar arası farklılıkları belirler. Numaralar nesnenin özelliklerinin miktarını yansıtmaz. Sınırlı sayıda istatistiksel değerlendirme yapılabilir: frekans değerleri, yüzdeler, mod gibi . Ör: Cinsiyet, meslek, tutulan takım

16 Sıralı (Ordinal) Ölçüm
Değişkenler üstlendikleri özelliklerin miktarına göre sıraya dizilir. Her bir alt sınıf, büyüklük ve küçüklük açısından birbiriyle karşılaştırılır. Matematiksel değer olarak aradaki farklılıklar tanımlanamaz. Bir grubun diğerinden daha iyi ya da kötü olduğu belirlenebilir ama ne derece olduğu belirlenemez.

17 Örneğin; X marka televizyonu tercih etme sebebi:
Kalite (1) = Bu ölçekte kalite, Uygun Fiyat (2) satış sonrası hizmetlerden Garanti (3) daha önemli, ancak ne kadar Satış Sonrası (4) önemli olduğunu bilemiyoruz Hizmetler Arkadaş (5). Tavsiyesi Mod ve medyan hesaplanabilir. Sayıların arasındaki uzaklık belli olmadığı için aritmetik ortalamayı bulamayız.

18 Aralık Ölçüm Sayısal olarak ölçüm yapılır.
Ölçekteki sayılar arasındaki eşit farklılıklar ölçülen özelliğin değerleri arasındaki farklılığa eşittir. Nesnelerin karşılaştırılmasına imkan verir. 0 noktası sabit değildir. 0 bir başlangıç noktasını gösterir. Başlangıç noktası keyfidir. Nominal ve sıralı ölçekte kullanılan istatistiksel yöntemlere ilaveten ortalama, st. sapma, ve pazarlama araştırmasında kullanılan diğer istatistiksel testler kullanılabilir.

19 Örneğin; X firmasının müşteri hizmetlerinden memnunum.
Kesinlikle Katılmıyorum (1) Katılmıyorum (2) Ne katılıyor ne katılmıyorum (3) Katılıyorum (4) Kesinlikle katılıyorum (5) Aralık ölçekte uzaklıklar eşittir. Ortalama ve standart sapma hesaplanabilir.

20 Oran Ölçüm Değişkenlerin sayısal olarak ölçülmesidir.
Mutlak sıfır noktası vardır. 0 başlangıç noktası değil yokluğun göstergesidir. Tüm istatistiksel yöntemler kullanılabilir.

21 Figure 9.4 Primary Scales of Measurement
Ölçüm düzeyleri Figure 9.4 Primary Scales of Measurement Scale Nominal Koşucuların Forma Numaraları Sıralı Kazananların Üçüncü İkinci Birinci Sıralaması Aralık arası bir ölçekte performans değerleri Oran Bitirme zamanı, saniye cinsinden

22 Table 9.1 Primary Scales of Measurement

23 Table 9.2 Illustration of Primary Scales of Measurement

24 Figure 9.5 A Classification of Scaling Techniques
Ölçekleme Yöntemlerinin Sınıflandırılması Figure 9.5 A Classification of Scaling Techniques Ölçekleme Yöntemleri Karşılaştırmalı Olmayan ölçekler Karşılaştırmalı Ölçekler Maddeleştirilmiş sıralama Sürekli sıralama Eşli Karşılaştırma Sabit toplam Sıralama Likert Stapel Semantik farklılaştırma

25 Ölçekleme Yöntemlerinin Karşılaştırılması
Karşılaştırmalı ölçekler nesnelerin doğrudan karşılaştırılması. Karşılaştırmalı olmayan ölçekler, bir set içinde yer alan her nesne bağımsız olarak ölçeklendirilir.

26 Karşılaştırmalı Ölçekleme Yöntemleri Eşli Karşılaştırma Ölçeği
Cevaplayıcıya iki durum (nesne) gösterilir ve belirli kriterlere göre birini seçmesi istenir. Toplanan veri doğal olarak sıralı’dır. n marka için, [n(n - 1) /2] eşleştirilmiş karşılaştırma gereklidir.

27 Figure 9.6 Paired Comparison Scaling
Eşli Karşılaştırma Ölçeği Figure 9.6 Paired Comparison Scaling Aşağıda beş farklı marka verilmiştir. İkili karşılaştırma yaptığınızda hangisini tercih ettiğini belirtin. McDon Burger Kentucky Pizza hut Subway Mc Donalds 1 Burger 1 1 Kentucky 1 1 1 1 Pizza hut Subway 1 1 1 Toplam 3 2 4 1 A

28 Karşılaştırmalı Ölçekleme Yöntemleri Sıralama Ölçeği
Cevaplayıcılara çeşitli nesneler verilir ve belli kriterlere göre sıralama yapmaları istenir. Sıralı veri elde edilir. Sadece (n - 1) ölçekleme kararı gerekir.

29 Figure 9.7 Rank Order Scaling
Sıralama Ölçeği Figure 9.7 Rank Order Scaling Aşağıda verilen 10 şampuan markasını en sevdiğinize 1 verecek şekilde sıralayınız. Brand Rank Order 1. Elidor 2. Pantene 3. Head& Shoulders 4. Rejoice 5. Dove 6. Clear 7. Blendax 8. İpek 9. Duru 10. Loreal

30 Karşılaştırmalı Ölçekleme Yöntemleri Sabit Toplam Ölçeği
Cevaplayıcılar sabit bir toplam puan verilir. Onlara gösterilen nesnelere ya da özelliklere bu puanın dağıtılması istenir. Önemsiz olanlara 0 verebilirler. Biri diğerinden iki kat daha önemliyse verilen puanın da ona göre olması gerekir.

31 Figure 9.8 Constant Sum Scaling
Sabit Toplam Ölçeği Figure 9.8 Constant Sum Scaling Instructions Çikolata alırken aşağıdaki özelliklerin hangisi sizin için önemlidir. 100 puanı özelliklere dağıtınız. Form Özellikler Segment I Segment II Segment III 1. Tadı 8 2 4 2. Fiyatı 3. Markası 3 9 7 4. Katkı madde düzeyi 5. Ambalajı 6. Etiket bilgileri 7 5 9 7. Kalori miktari 8. Bulunabilirliği Toplam

32 Karşılaştırma Ölçeklerinin Avantajları
Küçük farklılıklar belirlenebilir. Kolay anlaşılır. Uygulaması kolaydır. Kuramsal varsayım gerektirmez. Cevaplayıcıların verecekleri cevaplar arasındaki hale etkisini azaltır.

33 Karşılaştırma Ölçeklerinin Dezavantajları
Verinin sırasal doğası Genellenememe

34 Karşılaştırmalı Olmayan Ölçekleme Yöntemleri
Cevaplayıcıların bir zamanda sadece bir nesneyi değerlendirdikleri yöntemdir. Karşılaştırmalı Olmayan Ölçekleme Yöntemleri sürekli ve maddelendirilmiş ölçeklerden oluşur.

35 Figure 10. 3 A Classification of Non Comparative Rating Scales
Karşılaştırmalı Olmayan Ölçekleme Yöntemlerinin Sınıflandırılması Figure A Classification of Non Comparative Rating Scales Karşılaştırmalı Olmayan Ölçekleme Yöntemleri Sürekli Ölçekler Maddelendirilmiş Ölçekler Semantik Farklılıklar Likert

36 Sürekli Ölçekler Beymen i departmanlı mağaza olarak nasıl derecelendirirsiniz Örnek 1: En kötü I En iyi Örnek 2: En kötü I En iyi Örnek 3: Çok kötü Ne iyi ne kötü Çok iyi

37 Maddelendirilmiş Sıralama Ölçekler
Her numaranın kısa açıklamasıyla birlikte sunulduğu ölçek biçimi. Kategoriler sıralı olarak sunulur ve durumu en iyi anlatan kategorinin seçilmesi istenir. En sık kullanılanlar Likert, Semantik Farklılaştırma (semantic differential), Stapel scales.

38 Likert Ölçeği Likert ölçeğinde, cevaplayıcılardan bir nesne hakkında verilen durumlara ne derece katıldıkları ya da katılmadıkları belirtilmesi istenir.. Hiç Katılmıyorum Kararsızım Katılıyorum Tamamen Katılmıyorum Katılıyorum 1. Beymen’de kaliteli ürünler satılır X 2. Beymen çalışanlarından çok. 1 2X   memnunum Beymen’den alışveriş X  yapmayı seviyorum.

39 Semantik Farklılıklar Ölçeği (Anlamsal farklılıklar ölçeği)
Semantik Farklılıklar: Anlamların iki parçadan oluştuğu varsayımına dayanır. Başlangıç ve bitiş noktalarındaki düzeyler anlamı açıklayacak şekilde belirtilir. Beymen: Güçlüdür --:--:--:--:-X-:--:--: Zayıftır Güvenilir --:--:--:--:--:-X-:--: Güvenilirdir. Değildir. Moderndir--:--:--:--::-X-:.. Eski modadır. Değerle “-3 to +3” ya da “1 ile 7” arasında ölçeklendirilir.

40

41 Figure 10.6 Scale Evaluation
Ölçek Değerlendirme Figure 10.6 Scale Evaluation Ölçek Değerlendirme Geçerlilik Güvenilirlik İçerik Test-Retest İçsel Tutarlılık Eşdeğerli ölçek Yapı Yakınsak geçerlilik Ayrışma Geçerliliği Nomological geçerlilik

42 Güvenilirlik Güvenilirlik, ölçümlerin rastsal hatadan uzaklık derecesidir. Bir ölçeğin ölçmek istediği özelliği ne kadar iyi ve doğru ölçtüğünü gösterir Test-yeniden test güvenilirliği, Cevaplayıcılar aynı ölçeği farklı iki zamanda cevaplarlar. İki ölçüm arasındaki benzerlik belirlenir. Test-yeniden test güvenilirliği zaman içindeki istikrarı gösterir. Koşullari yerine getirmek zordur. Anımsama ve değişkenlik temel sorun Eşdeğerli ölçek güvenilirliği, ölçeklerin iki eşdeğer biçimi hazırlanır ve aynı cevaplayıcılardan iki farklı zamanda her iki farklı biçim için ölçüm alınır.

43 Güvenilirlik İçsel Tutarlılık Güvenilirliği, ölçeğin farklı bölümlerinin ölçtükleri değişkenlerle olan tutarlılığı belirlenir. Yarı bölünmüş güvenilirlik, ölçekteki maddeler ikiye bölünür ve ve yarı skorlar arasındaki korelasyona (ilişkiye) bakılır. Alfa Katsayısı (Coefficient alpha), Cronbach alfa (Cronbach's alpha), olası tüm yarı bölünmüş katsayıların ortalamasıdır. Bu katsayı 0 ile 1 arasında değişir. 0.6 ya da daha düşük değerler içsel tutarlılık düzeyinin istenenin altında olduğunu gösterir.

44 Güvenilirlik Pratikte, bir nesne ya da özellik değişik zamanlarda ölçüldüğünde, ölçmelerin hepsinde aynı ölçümü elde etmek hemen hemen olanaksızdır. Çünkü, çeşitli nedenlerle, tam anlamıyla hatadan arınık bir ölçme yapılamaz. Bu nedenle, bir testten elde edilen bireysel puanlar, bir ölçmeden diğerine değişecektir.

45 HATA KAYNAKLARI Ölçme sonuçlarına karışan hatalar, ölçmeciden, ölçme aracı ve ölçme yönteminden, ölçmenin yapıldığı ortamdan, ölçülen bireylerin sözü edilen bu etkenlerle etkileşiminden ileri gelebilir. İstatistiksel özellikleri bakımından ölçme hataları, sabit sistemli rasgele hatalar olarak incelenebilir. Hatanın sabit, sistemli, rasgele olduğunun bilinmesi, özellikle testin güvenirliği açısından son derece önemlidir.

46 SABİT HATALAR Sabit hatalar, bireysel ölçümleri ve o ölçümlerin ortalamasını gerçekte olduğundan büyük ya da küçük gösterebilir, fakat ölçümlerin dağılım ölçülerini (örneğin standart sapmayı) değiştirici yönde bir etkiye sahip değillerdir. Bu nedenle, sabit hata taşıyan bir grup ölçümün standart sapması ve varyansı, o ölçümlerin sabit hatadan arınık olduğu zamanki standart sapmaya ve varyansına eşittir. Ör: Tartının herşeyi 50 g fazla tartması

47 RASGELE HATALAR Adından da anlaşıldığı gibi, bu tür hatalar, şansla ortaya çıkan ve ne etki ettiği yordanamayan hatalardır. Bu hatalar, çoğu kez, bilinmeyen nedenlere bağlıdır. Kaynakları iyi bilinmeyen ve ölçme sonuçlarına gelişigüzel karışan hatalardır. Aynı özellik ya da özelliklerle ilgili çok sayıda ölçme yapılacak olursa, rasgele hataların ortalaması sıfıra yaklaşır

48 SİSTEMLİ HATALAR Bu hatalar, her bir ölçme için yordanabilir niteliktedir, sistemlidir; fakat bütün ölçümler için sabit değildir. Puanlayıcı yanlılıklarını yansıtan tüm hatalar sistemlidir. Ör: Tartının bir kilograma kadar olan tartmalarda değil de bir kilogramı aşan tartmalarda, tarttığı her nesneyi 50 gr. fazla tartması

49 Geçerlilik Bir ölçeğin geçerliliği, bir değişkenin ölçmeyi amaçladığı değişkeni ölçüp ölçmediğini belirler. Başka bir deyimle bir ölçme aracının, geliştirilmiş bulunduğu konuda maksada hizmet etmesidir Mükemmel geçerlilik hiç ölçüm hatasının olmamasıdır. Üç tür geçerlilikten bahsedilebilir İçerik Geçerliliği Yapı Geçerliliği İçerik geçerliliği, ölçek performansıyla ilişkilidir. Ölçeğin içeriğinin ölçülmek istenilen değişkeni ölçmeyi ne kadar iyi yansıttığının sistematik olarak değerlendirilmesidir.

50 Validity Yapı Geçerliliği, ölçeğin yapı ya da özelliğini ne olduğu sorusudur. Birbiriyle ilgili olduğu düşünülen belli ögelerin ya da öğeler arasındaki ilişkiler oluşturduğu bir bütündür. Yapı geçerliliği aşağıdaki üç geçerliliği içerir. Yakınsak geçerlilik: ölçeğin aynı yapının diğer ölçümleri ile arasındaki olumlu ilişkiyi gösterir. Ayrışma Geçerliliği: Ölçeğin farklı olduğu düşünülen diğer ölçümlerle ilişkiye girmemesidir. Nomologik Geçerlilik ölçeğin kendisinden farklı ama ilişkili olan diğer ölçümlerle ilişki içinde olmasıdır.

51 Geçerlilik ve güvenilirlik arasındaki İlişki
Bir ölçüm mükemmel derecede geçerli ise, aynı zamanda mükemmel derecede güvenilirdir. Bu durumda rassal ya da sistematik hata olabilir. Bir ölçüm güvenilir değil ise mükemmel geçerliliğe sahip olamayabilir, çünkü, en az düzeyde rassal hataya sahiptir. Güvenilir olmama geçerli olmamaya neden olur. Bir ölçümü mükemmel güvenilirliğe sahip ise, mükemmel geçerliliğe sahip olabilir de, olmayabilir de, çünkü sistematik hataya hala sahip olabilir. Güvenirliği düşük olan bir testin geçerliği ne denli uğraşılırsa uğraşılsın belli bir sınırın üzerine çıkılamaz. Güvenilirlik gereklidir ancak geçerlilik için tek başına yeterli değildir. Örneğin; bir tartı 50 kg’I 10 sefer de de 50 kg olarak tartıyor ise güvenilirlik sağlanmış olur. Ancak tartının bozuk olma ihtimali geçerliliğin henüz sağlanmadığını gösterir.