Regresyon

Regresyon Analizi Regresyon analizi sürekli(örn. aralık, oran) bir bağımlı değişken ile bir veya daha fazla bağımsız değişken (nominali ordinal, aralık veya oran) arasındaki ilişkiyi aşağıdaki yollarla inceler: Bir değişkeni (bağımlı değişken) diğer değişkenlerin (bağımsız değişkenler) doğrusal bileşeni olarak açıklamak/ifade etmek/tahmin etmek/modellemek için kullanılır. Bağımlı değişkendeki varyansın ne kadarının bağımsız değişkenler tarafından açıklanabileceğini gösterir. Regresyon analizi değişkenler arasındaki ilişkinin yapısını ve derecesini gösterir, neden-sonuç ilişkisi göstermez.

Regresyon Analizi: Temel Kullanımları Bağımsız değişkenlerin öneminin anlaşılması. Örnek: Restoranlara yönelik genel tatminde yiyecekten tatmin, hizmetten tatmin, harcanan para ve günün hangi saati olduğunun anlamlı bir etkisi var mıdır? Örnek: Restoranlara yönelik genel tatminde hangisinin etkisi daha fazladır: 1) Yiyecekten tatmin VEYA 2) Hizmetten tatmin. Bağımsız değişkenin belirli değerleri için bağımlı değişkeni tahmin etmek: Örnek: Firmanın ve rakibin promosyon harcamaları, fiyatları ve tüketicilerin gelir seviyeleri verildiğinde, gelecek üç aylık dönem için satışların tahmini ne olur. “Eğer” örneği: Eğer promosyon harcamalarımızı mevcut X-TL’den Y-TL’ye yükseltirsek gelecek üç aylık satışlarımız üzerinde etkisi ne olur?

Regresyon Analizinin Temelindeki “Varyans” Anlayışı Y’nin bağımsız değişkenlerce açıklanmayan varyansı= “Hata” Y’nin X2 tarafından açıklanan varyansı Y’nin X1 tarafından açıklanan varyansı Bağımlı Değişkenin Varyansı (Y) Bağımsız Değişkenin Varyansı (X2) Bağımsız Değişkenin Varyansı (X1)

Regresyon Denklemi: Basit Regresyon Örneği ^ Kullanılan km = 9000 + 12000*Aracın yaşı ^ y = a + b1 x1 hata

Regresyon Denklemi: Çoklu Regresyon Örneği ^ Kullanılan km= a + b1*Aracın yaşı + b2*Ailenin büyüklüğü + b3*Oturma kapasitesi ^ Kullanılan km = 5000 + 9000*Aracın yaşı + 1000*Ailenin büyüklüğü + 500*Oturma kapasitesi

Çoklu Regresyon Örneği ^ y = a + b1 x1 +b2 x2 +b3 x3 + . . . + bk xk y = gerçek bağımlı değişken y = tahmini bağımlı değişken (y-şapka olarak okunur). xi = bağımsız (i.e., predictor) değişkenler (i = 1, …, k) a = intercept (sabit) Regresyon doğrusunun y eksenini kestiği nokta Tüm bağımsız değişkenlerin (xi) 0 olması halinde y bağımlı değişkeninin tahmin edilen değerini gösterir Eğer bağımsız değişkenlerin hepsi birlikte 0 değeri almıyorsa, kesişimin bir anlamı yoktur. b’s = regresyon veya eğim katsayıları xK sabitken, xi’deki bir birim değişmenin y’de yol açacağı değişim miktarını gösterir. ^

Çoklu Regresyon Örneği Örneklemde: ^ y = a + b1 x1 +b2 x2 + b3 x3 + . . + bk xk ^ y = 25.69 + 2.13* x1 – 0.18*x2 + 4.60* x3 + . . + 9.12*xk Anakütlede: ^ y = δ + β1 x1 + β2x2 + β3x3 + . . + βkxk

Unutmayalım.. Regresyon sadece düzgün bir çizgiye uyar..

Çoklu Regresyonun Bazı Özellikleri Bağımlı Değişken Bağımsız Değişken Bir Üründen Tatmin Ürünün her bir özelliğinden tatmin Ürünle ilgili deneyim Rakip ürünlerin değerlendirmesi Demografikler Sınavdaki başarı Hazırlık Motivasyon Gerçek yetenek Sınavın zorluğu Yeniden satın alma niyeti Üründen tatmin Hizmetten tatmin Ürüne ihtiyaç Ürünün fiyatı Rakip ürünlerin fiyatı Bir restorandan genel tatmin Yemekten tatmin Harcanan miktar(YTL) Günün saati

Regresyon analizi gerçekleştirme Bağımlı ve bağımsız değişkenleri belirle Modeli oluştur Modeli hesapla(ör., R2, Sabit, katsayılar, vs.) Anlamlılığı test et 1) Model ve 2) Sabit & Katsayılar

Regresyon Analizinde Anlamlılık Testi Modelin bir bütün olarak anlamlılığının ölçümü (yani, modelin genelinin anlamlılığı) Bağımsız ilişkilerin anlamlılığının ölçümü Sabitin anlamlılığı Her bir katsayının anlamlılığı yani, her bir bağımsız değişkenin bağımlı değişken üzerindeki etkisinin anlamlılığı

Regresyon: İstatistik Örneği Tatmin ölçeği aralığı 1’den (Tatmin olmamış) 9’a (Tatmin olmuş). Harcanan para dolar cinsindendir. Günün saati: 1=Sabah; 2=Öğleden sonra; 3=Akşam.

Regresyon: İstatistik Örneği: MS-Excel Çıktısı ^ GenelTat = a + b1*YiyecekTat+ b2*HizmetTat + b3*Harc + b4*GününSaati a b1 b2 b3 b4 ^ GenelTat = 0.8487 +0.4335*YiyecekTat+ 0.5888*HizmetTat +0.1123*Harc– 0.2697*GününSaati

Regresyon Örneği ^ ^ ^ Örneklemde: GenelTat = a + b1*YiyecekTat + b2*HizmetTat + b3*Harc + b4*GününSaati ^ GenelTat = 0.8487 + 0.4335*YiyecekTat + 0.5888*HizmetTat + 0.1123*Harc – 0.2697*GününSaati In the population: ^ GenelTat = δ + β1*YiyecekTat + β2*HizmetTat + β3*Harc+ β4*Günün Saati

1. Modelin bir bütün olarak anlamlılığının ölçümleri Multiple R: Bağımlı değişkenin öngörülen ve asıl değerleri arasındaki korelasyon. R2 (R-kare 0 ve 1 arasında değer alır) = (Multiple R)2 = Regression SS/Total SS = bağımlı değişkenin varyansının bağımsız değişkenlerce x1, x2, …, xk açıklanan kısmının yüzdesi Düzeltilmiş R2 = Modeldeki bağımsız değişken sayısına göre R2‘yi “düzeltir”. Çoğu zaman R2 “yapay” olarak büyür çünkü modele çok sayıda bağımsız değişken dahil edilmiştir ancak bağımsız değişkenlerin bağımlı değişken üzerinde anlamlı bir etkisi yoktur. Düzeltilmiş R2 gerçek R2’yi yapay artışın etkisinden arındırır “düşürür”. Böylece, düzeltilmiş R2 her zaman gerçek R2’den daha küçük veya ona eşit olur, ama asla daha büyük olmaz. Multiple R, R2 ve Düzeltilmiş R2‘nin büyük olması tercih edilir çünkü bu daha iyi bir model anlamına gelir. Yani, bağımsız değişkenler bağımlı değişkenleri iyi bir şekilde açıklamakta/tahmin etmekte/etkilemektedir. Standart hata: Hata değerlerinin standart sapması (Hata = Bağımlı değişkenin gerçek değeri – Bağımlı değişkenin öngörülen değeri). Gözlem sayısı: Örneklem sayısı.

1. Modelin tamamının anlamlılığının ölçümü Regression df (Regresyonun serbestlik derecesi) = Modeldeki bağımsız değişken sayısı = k. Error df (Hatanın serbestlik derecesi) = (Örnek büyüklüğü- Modeldeki bağımsız değişken sayısı – 1) = (n – k -1) Total df (Toplam serbestlik derecesi) = (Örnek büyüklüğü - 1) = (n -1) Not: Toplam df = Regression df + Error df Total SS (Toplam kareler toplamı) = gerçek bağımlı değişkenlerin değerlerinin varyansı * (n-1) Regression SS (Regresyon kareleri toplamı) = tahmini bağımlı değişkenlerin varyansı * (n-1) Error SS (Hata kareleri toplamı) = hata değerlerinin varyansı * (n-1) Not: Toplam SS = Regression SS + Error SS Regression MS (Regression Mean Squared): Regression SS/Regression df Error MS (Error Mean Squared): Error SS/Error df

Measures of significance of the model as a whole 1. Modelin tamamının anlamlılığının ölçümü Measures of significance of the model as a whole Modelin tamamının anlamlılığının ölçümü: H0: β1= β2 = β3 = ……= βk = 0 vs. H1: En az bir β ≠ 0 Regression F-değeri (Model F) = Regression MS/Error MS Significance F = p-value of Model F Regresyonun F değeri (FHesaplanan) izleyen hipotez için: H0: β1 = β2 = β3 = ……= βk = 0 H1: En azından bir β ≠ 0 Tüm hipotez testlerinde, FHesaplanan FTablo ile karşılaştırılmaktadır. Ve eğer FHesaplanan > FTablo ise yukarıda yer alan H0 reddedilir ve H1 kabul edilir. Pek çok yazılımda sadece FHesaplanan verilir ve Ftablo verilmez. Yine de FHesaplanan ‘ın FTablo ‘dan büyük olup olmadığını tahmin edebiliriz veya Model F’in (yani FHesaplanan) p değerini anlamlılık düzeyi ile karşılaştırabiliriz (α). Eğer (p-value < α)  (FHesaplanan > FTablo) o zaman H0 REDDEDİLİR ve H1 KABUL EDİLİR.

Measures of significance of individual relationships 2. Bağımsız ilişkilerin anlamlılığının ölçümü Measures of significance of individual relationships Intercept’in anlamlılığının ölçümü: H0: δ = 0 vs. H1: δ ≠ 0 Intercept katsayısı = “a”nın örneklem tahmini. a’nın anakütle karşılığı δ’dır. Intercept katsayısının standart hatası = “a”nın standart sapması Intercept’in t-istatistiği = (Intercept Katsayısı– 0)/ Intercept Katsayısının Standart Hatası = tHesaplanan t-istatistiği şu hipotezler için tHesaplanan ‘dır: H0: δ = 0 vs. H1: δ ≠ 0 Tüm hipotez testlerinde olduğu gibi tHesaplanan tTablo ile karşılaştırılır. Çift kuyruklu bir test olarak karar verme kuralı şöyledir: eğer tHesaplanan > tTablo VEYA tHesaplanan < -tTablo ise H0 REDDEDİLİR. Her ne kadar yazılım bize tTablo değerinin ne olduğunu söylemese de, Intercept’in p-değerine bakıp anlamlılık seviyesi (α) ile karşılaştırarak bir çıkarım yapabiliriz. Eğer (p-değeri < α)  [(tHesaplanan > tTablo) VEYA (tHesaplanan < -tTablo)] ise H0 REDDEDİLİR ve H1 KABUL EDİLİR.

Measures of significance of individual relationships 2. Bağımsız ilişkilerin anlamlılığının ölçümü Measures of significance of individual relationships Bağımsız değişkenlerin katsayılarının anlamlılığının ölçümü: H0: βi = 0 vs. H1: βi ≠ 0 Bağımsız değişken katsayısı = “b.”’nin örneklem tahmini. b’nin anakütle karşılığı β’dır. Bağımsız değişken katsayısının standart hatası = “b1”’in standart sapması Bağımsız değişken katsayısının t-istatistiği = (Katsayı – 0)/ Katsayının standart hatası = tHesaplanan t-istatistiği şu hipotezler için tHesaplanan ‘dır: H0: β1 = 0 vs. H1: β1 ≠ 0 Tüm hipotez testlerinde olduğu gibi tHesaplanan tTablo ile karşılaştırılır. Çift kuyruklu bir test olarak karar verme kuralı şöyledir: eğer tHesaplanan > tTablo VEYA tHesaplanan < -tTablo ise H0 REDDEDİLİR. Her ne kadar yazılım bize tTablo değerinin ne olduğunu söylemese de, Intercept’in p-değerine bakıp anlamlılık seviyesi (α) ile karşılaştıarak bir çıkarım yapabiliriz. Eğer (p-değeri < α)  [(tHesaplanan > tTablo) VEYA (tHesaplanan < -tTablo)] ise H0 REDDEDİLİR ve H1 KABUL EDİLİR.

Regresyon: İstatistik Örneği Tatmin ölçeği aralığı 1’den (Tatmin olmamış) 9’a (Tatmin olmuş). Harcanan para dolar cinsindendir. Günün saati: 1=Sabah; 2=Öğleden sonra; 3=Akşam.

Regresyon: İstatistik Örneği: MS-Excel Çıktısı ^ Genel Tat = a + b1*YiyecekTat+ b2*HizmetTat+ b3*Harc + b4*GününSaati a b1 b2 b3 b4 ^ GenelTat = 0.8487 +0.4335*YiyecekTat + 0.5888*HizmetTat +0.1123*Harc – 0.2697*GününSaati

Regresyon Örneği ^ R2 nedir? Ne anlama gelir? GenelTat = 0.8487 +0.4335*YiyecekTat+ 0.5888*HizmetTat +0.1123*Harc– 0.2697*GününSaati R2 nedir? Ne anlama gelir? R nedir? Ne anlama gelir? 0.05 anlamlılık seviyesinde (H0: β1 = β2 = β3 = β4 = 0 vs. H1: En az bir β ≠ 0) hipotez testinin sonucu nedir? Ne anlama gelir? 0.05 anlamlılık seviyesinde (H0: δ = 0 vs. H1: δ ≠ 0) hipotez testinin sonucu nedir? Ne anlama gelir? 0.05 anlamlılık seviyesinde (H0: β1 = 0 vs. H1: β1 ≠ 0) hipotez testinin sonucu nedir? Ne anlama gelir? 0.05 anlamlılık seviyesinde (H0: β2 = 0 vs. H1: β2 ≠ 0) hipotez testinin sonucu nedir? Ne anlama gelir? 0.05 anlamlılık seviyesinde (H0: β3 = 0 vs. H1: β3 ≠ 0) hipotez testinin sonucu nedir? Ne anlama gelir? 0.05 anlamlılık seviyesinde (H0: β4 = 0 vs. H1: β4 ≠ 0) hipotez testinin sonucu nedir? Ne anlama gelir?

Regresyon Örneği R2 nedir? Ne anlama gelir? R nedir? Ne anlama gelir? R2 = 0.5972. Bu, bağımlı değişkenin varyansının %59.72’sinin yiyecekten tatmin, hizmetten tatmin, harcanan para ve günün saati değişkenlerini içeren regresyon modeli tarafından açıklanabileceği anlamına gelir. R nedir? Ne anlama gelir? R = 0.7728. Restorandan genel tatminin gerçek ve tahmini değeri arasındaki korelasyonun 0.7728 olduğunu gösterir. Eğer bu korelasyon katsayısının karesini alırsak R-kare değeri elde edilir. Yani, 0.77282 = 0.5972

Regresyon Örneği 0.05 anlamlılık seviyesinde ölçülen (H0: β1 = β2 = β3 = β4 = 0 vs. H1: At least one β ≠ 0) hipotez testinin sonucu nedir? Ne anlama gelir? Model F’nin p-değeri = 0.000 0.05 anlamlılık seviyesinden daha küçük olduğunu için, H0: β1 = β2 = β3 = β4 = 0 reddedilir ve H1: En az bir β ≠ 0 kabul edilir. Yani, yiyecekten tatmin, hizmetten tatmin, harcanan para ve günün saati bağımsız değişkenlerinden en azından bir tanesi genel tatminin anlamlı bir açıklayıcısıdır.

Regresyon Örneği (H0: δ = 0 vs. H1: δ ≠ 0) hipotez testinin sonucu nedir? Ne anlama gelir? Intercept p-değeri = 0.4881 0.05 anlamlılık seviyesinden küçük olmadığı için, H0: δ = 0 reddedemiyoruz ve bu yüzden H0: δ = 0 kabul ediyoruz. Bu, intercept’in tahmini değerinin (0.8487) 0’dan anlamlı bir şekilde farklı olmadığı anlamına gelir. Eğer intercept’in tahmini istatistiki olarak anlamlı olsaydı, bu durum tüm bağımsız değişkenler 0’a eşitken bağımlı değişkenin tahmin değerinin istatistiki olarak anlamlı olduğunu gösterirdi. AMA: Yiyecekten tatmin, hizmetten tatmin, harcanan para ve günün saati değişkenlerinin sıfır değeri olmadığı için, bu örnekte, intercept anlamlı değildir.

Regresyon Örneği 0.05 anlamlılık seviyesinde ölçülen (H0: β1 = 0 vs. H1: β1 ≠ 0) hipotez testinin sonucu nedir? Ne anlama gelir? b1 p-değeri = 0.0031 0.05 anlamlılık seviyesinden küçük olduğu için, H0: β1 = 0 reddedilir veH1: β1 ≠ 0 kabul edilir. Yani, hizmetten tatmin, harcanan para ve günün saati değişkenleri sabitken, yiyecekten tatmin 1 birim artırılırsa (yani, ölçekte 1 puan), tahmini genel tatmin b1 birim artar (yani, 0.4335 puan) ve bu artış istatistiki olarak 0’dan büyüktür. Yani, hizmetten tatmin, harcanan para ve günün saati değişkenleri sabitken, yiyecekten tatmin restorandan genel tatminin anlamlı bir açıklayıcısı/etkileyicisi/tahmin edicisidir.

Regresyon Örneği 0.05 anlamlılık seviyesinde ölçülen(H0: β2 = 0 vs. H1: β2 ≠ 0) hipotez testinin sonucu nedir? Ne anlama gelir? b2’nin p-değeri = 0.0000 0.05 anlamlılık seviyesinden küçük olduğu için, H0: β2 = 0 reddedilir veH1: β2 ≠ 0 kabul edilir. Yani, yiyecekten tatmin, harcanan para ve günün saati değişkenleri sabitken, hizmetten tatmin 1 birim artırıldığında, restorandan genel tatmin b2 birim kadar artacaktır (yani, 0.5888 puan) ve bu artış istatistiki olarak 0’dan büyüktür. Yani, yiyecekten tatmin, harcanan para ve günün saati değişkenleri sabitken, hizmetten tatmin restorandan genel tatminin anlamlı bir açıklayıcısı/etkileyicisi/tahmin edicisidir.

Regresyon Örneği 0.05 anlamlılık seviyesinde ölçülen (H0: β3 = 0 vs. H1: β3 ≠ 0) hipotez testinin sonucu nedir? Ne anlama gelir? b3’ün p-değeri = 0.0128 0.05 anlamlılık seviyesinden küçük olduğu için, H0: β3 = 0 reddedilir ve H1: β3 ≠ 0 kabul edilir. Yani, yiyecekten tatmin, hizmetten tatmin ve günün saati değişkenleri sabitken, harcanan para 1 birim artırıldığında (yani 1 dolar), restorandan genel tatmin b3 birim kadar artacaktır (yani, 0. 1123 puan) ve bu artış istatistiki olarak 0’dan büyüktür. Yani, yiyecekten tatmin, hizmetten tatmin ve günün saati değişkenleri sabitken, harcanan para restorandan genel tatminin anlamlı bir açıklayıcısı/etkileyicisi/tahmin edicisidir.

Regresyon Örneği 0.05 anlamlılık seviyesinde ölçülen (H0: β4 = 0 vs. H1: β4 ≠ 0) hipotez testinin sonucu nedir? Ne anlama gelir? b4’ün p-değeri = 0.4831 0.05 anlamlılık seviyesinden küçük olmadığı için, H0: β4 = 0’ı reddedemiyoruz ve bu nedenle β4 = 0 kabul ediyoruz. Yani, yiyecekten tatmin, hizmetten tatmin ve harcanan para değişkenleri sabitken, günün saati 1 birim artırıldığında (yani günün bir bölümü), restorandan genel tatmin b4 birim kadar azalacaktır (yani, -0.2697 puan) ve bu artış istatistiki olarak 0’dan küçük değildir. Yani, yiyecekten tatmin, hizmetten tatmin ve harcanan para değişkenleri sabitken, günün saati restorandan genel tatminin anlamlı bir açıklayıcısı/etkileyicisi/tahmin edicisi değildir.

Regresyon Örneği-Açıklayıcılar ve Eğerler ^ GenelTat = 0.8487 + 0.4335*YiyecekTat+ 0.5888*HizmetTat + 0.1123*Harc– 0.2697*GününSaati Aşağıdaki koşullarda tahmini Genel Tatmin ne olur: Yiyecekten Tatmin=6, Hizmetten Tatmin=4, Harcanan Para=$15, ve Günün Saati=Öğleden sonra = 0.8487 + 0.4335*6 + 0.5888*4 + 0.1123*15 – 0.2697*2 = 6.95 Yiyecekten Tatmin =Ortalaması, Hizmetten Tatmin=Olası en yüksek, Harcanan Para=Ortalaması, ve Günün Saati=Akşam = 0.8487 + 0.4335*2.72 + 0.5888*9 + 0.1123*19.38 – 0.2697*3 = 8.69