BASİT REGRESYON VE KORELASYON ANALİZİ

... konulu sunumlar: "BASİT REGRESYON VE KORELASYON ANALİZİ"— Sunum transkripti:

1 BASİT REGRESYON VE KORELASYON ANALİZİ
Regresyon, iki yada daha çok değişken arasındaki ortalama ilişkinin matematiksel bir fonksiyonla incelenmesidir. Değişkenler arasındaki ilişkinin derecesi ve yönü ise korelasyon analizi ile açıklanır. Değişkenler arasındaki ilişkilere bazı örnekler vermek gerekirse; İnsanların boyları ile kiloları Futbol takımlarının çalışma süreleri ve maç skorları toplamları Öğrencilerin çalışma miktarları ve sınav notları Bir malın fiyatı ve talep miktarı Bir ürünün verimi ve verilen gübre miktarı, vb.

2 Değişkenler arasındaki ilişkiler aşağıdaki gibi sınıflandırılabilir:
Belirleyici (deterministik) ilişkiler Yarı belirleyici ilişkiler Deneysel (ampirik, stokastik) ilişkiler Kesin (Deterministik) Model Değişkenler arasında kesin bir ilişki olduğunu varsayan modeller, kesin (deterministik) modeller olarak adlandırılmaktadır. Örneğin arz miktarı y'nin, fiyat düzeyi x'in tam bir buçuk katı olduğuna inanıyorsak: y=1.5x Bu denklem, x ve y değişkenleri arasındaki kesin bir ilişkiyi temsil etmektedir. Bu tahminde hata payı yoktur.

3 Eğer arz miktarında, önemli fakat ele alınmayan değişkenlerin veya tesadüfi olguların yol açtığı açıklanmayan değişimlerin olacağına inanıyorsak, kesin model yerine tesadüfi hataya yer veren modelden yararlanmamız gerekir. Olasılıklı model hem kesin öğeyi hem de tesadüfi hata öğesini içerir. Örneğin eğer arz miktarı y'nin, fiyat düzeyi x ile: y = 1.5x + Tesadüfi Hata şeklinde bir ilişkisi olduğunu düşünüyorsak, x ile y arasında olasılıklı bir ilişki olduğunu anlarız. Görüldüğü gibi, olasılıklı modelin kesin öğesi 1.5x’tir. Stokastik (Olasılıklı) Model

4 Kesin (Deterministik) ve StokastikOlasılıklı Model...
Bu kez grafikten yararlanalım: Kesin Model: y=1.5x Olasılıklı Model: y=1.5x + Tesadüfi hata

5 Bağımlı değişken: Modelin ifade ettiği olay tarafından belirlenirken,
Yarı belirleyici ve deneysel ilişkilerin (stokastik) incelenmesi regresyon analizinin kapsamına girmektedir. Regresyon analizinde değişkenler iki grup altında incelenir: Bağımsız değişkenler (açıklayıcı değişkenler) Bağımlı değişkenler Bağımlı değişken: Modelin ifade ettiği olay tarafından belirlenirken, Bağımsız değişken: Modelin ifade edilen olaydan bağımsız olan verileridir.

6 Örneğin kişilerin gelirlerinin değişmesi, harcama miktarlarının da değişmesine neden olur. Bu durumda gelir bağımsız değişken, harcama miktarı ise bağımlı değişkendir. Regresyon analizinde genellikle bağımsız değişkenler (X) , bağımlı değişkenler (Y) ile gösterilirler.

7 Y=0+ 1X şeklindedir. Burada 1 ,
Basit doğrusal regresyondaki basit kelimesi iki değişken arasındaki ilişkiyi açıklamak için kullanılır. Doğrusal kelimesi, kurulan modelin parametreleri açısından doğrusal bir model olmasındandır. İki değişken arasındaki en basit ilişki, bir doğru ile açıklanabilen ilişkidir. Y Genel olarak bir doğrunun matematik gösterimi: Y=0+ 1X şeklindedir. Burada 1 , eğimdir ve X’teki 1 birimlik değişmenin Y’de yaptığı değişikliği gösterir. X 0 ise X’in değeri 0 olduğunda Y’nin almış olduğu değerdir ve Y ekseninin kesme noktası olarak isimlendirilir.

8 Değişkenler arasındaki ilişki
Doğrusal ilişki Doğrusal olmayan ilişki

9 Regresyon Parametrelerinin Tahmininde Kullanılan Metod
EKK Metodu Orjin kaydırma Çözüm Yöntemi Determinantlarla Çözüm Yolu Normal Denklemlerle Klasik Çözüm Yolu

10 EN KÜÇÜK KARELER (EKK) YÖNTEMİ İLE BİR DOĞRUNUN UYUMU
1. NORMAL DENKLEMLER Gözlemleri en iyi açıklayan doğrunun belirlenmesi için çeşitli yöntemler ileri sürülebilir. Fakat günümüzde en çok kullanılan yöntem “En Küçük Kareler” adı verilen yöntemdir. Bu yöntem gözlemlerin belirlenen doğrudan uzaklıklarının (hata terimlerinin) karelerinin toplamının en küçük yapılmasına dayanır. modelinde hata terimi: olarak yazılabilir. Bu ifadenin karesi alınıp tüm gözlemler için toplanırsa: ifadesi elde edilir. EKK yöntemine göre bu ifadeyi minimize eden b0 ve b1 değerleri 0 ve 1’in tahmincileri olur.

11 0’a göre türev alınırsa; 1’e göre türev alınırsa;
İfadesini minimize eden parametre tahmincilerinin değerlerini bulabilmek için eşitliğin 0 ve 1’e göre türevleri alınıp 0’a eşitlenir. 0’a göre türev alınırsa; 1’e göre türev alınırsa; Her iki denklemi de 0’a eşitlersek;

12 Parantezleri açarsak;
Bu denklemlere doğrunun NORMAL DENKLEMLERİ denir. Normal denklemler alt alta yazılıp birlikte çözüldüklerinde b0 ve b1 tahmincileri bulunur. şeklindeki formüller yardımıyla da tahminciler bulunabilir.

13 2.DETERMİNANT METODU

14 3.ORJİN KAYDIRMA YÖNTEMİ
Orjini kaydırsakta kaydırmasakta doğrunun eğimi değişmeyeceğinden istersek modele tekrar b0’ ı ekleyebiliriz. Olarak gösterirsek olacağından alınarak Olur. Burada hata karelerini minimum yapmak için aşağıdaki yol izlenir. yerine konulursa veya Bulunur.

15 Bir fabrikada taşıma işleri için kullanılan tırların yaşı ile bakım harcamaları arasındaki ilişkiyi ele alalım. Verilerin grafiği çizildiğinde tam olarak düz bir doğrunun üzerinde olmadıkları, fakat tırlar eskidikçe bakım harcamalarının da arttığı görülmektedir. Burada bağımsız değişken yaş, bağımlı değişken ise bakım harcamalarıdır, çünkü yaş değiştikçe bakım harcamaları değişiklik göstermektedir. Pratiklik olması açısından yaş ve bakım harcaması arasındaki ilişkinin bir doğru şeklinde olduğunu varsayarsak, bu modelin matematik gösterimi: Bakım harcaması Hata terimi yaş

16 e hata terimi, tır için yapılan harcamanın, ilişkiyi açıklayan doğrudan ne kadar saptığını gösterir.
Tırların yaşı ile yapılan bakım harcamaları arasındaki gerçek ilişkiyi belirleyen model henüz belirlenmiş değildir. Bunun için modelde bulunan parametrelerin (0 ve 1) bilinmesi gerekir. 0 ve 1 birer parametre olduklarından, gerçek değerlerinin bulunması için taşıma işinde kullanılan tüm tırların (populasyonun) bakım harcamaları ve yaşlarının bilinmesi gerekmektedir. Bu da çoğu zaman imkansız olduğundan elimizdeki örneği kullanarak parametreleri tahminleriz veya başka bir ifade şekliyle grafikteki noktalara en iyi uyan bir doğruyu buluruz.

17 - b1=1390 Böylece veri noktalarımızdan geçen en iyi doğru denklemi:
Gerçek Y’nin tahmincisi Traktör örneğimiz için gereken hesaplamaları yapıp normal denklemleri oluşturalım: 72725 = 12b0+42b1 311525= 42b0 +188b1 35*(72725 = 12b0+42b1) 311525= 42b0 +188b1 =42b0 +147b1 = 42b b1 - = -41b1 b1=1390

18 =12b0 +42b1 72725 =12b0 +42*1390 b0 = 1195 Tahmincileri elde etmek için normal denklemler yerine formüller kullanılırsa da aynı sonuçlar elde edilir. Doğrunun denklemi: Hesaplanan bu denklem kullanılarak yaşını bildiğimiz bir tır için yapılacak ortalama bakım masrafını tahmin edebiliriz. Örneğin x=4 yaşındaki bir tır için bakım masrafları: olarak bulunur.

19 Paremetrelerin E.K.K.tahminlerini elde etmek için
Örnek: Firmanın yılları arasındaki yıllık satışları aşağıda verildiği gibidir. Bu verilere dayanarak regresyon (yalın regresyon) denkleminin tahminlenmesi istenmektedir.(satışlar 1000 br olarak) Yıllar Satışlar (Y) X XY 1993 15 1 1994 18 2 36 4 1995 25 3 75 9 1996 30 120 16 1997 40 5 200 1998 60 6 360 1999 82 7 574 49 270 28 1380 140 Paremetrelerin E.K.K.tahminlerini elde etmek için Y = x şeklinde regresyon denklemi elde edilir.

20 Determinant metodu ile parametre tahminlerinin hesaplaması ise ;
orjin kaydırma ile parametre tahmini ise; Yıllar Y x xY x Y2 Y = x

21 2001 yılı satışları ne olacaktır? Y=38.5+10.7(5)=92 br.
Y= x modeli de yapılacak aynı tahminler de aynı sonucu verecektir. Modeli için 2001 yılı satışları ne olacaktır? Y= (5)=92 br. a) 2001 yılı satışları ne olacaktır? Y2001= (9)=92.1 b) Hangi yıl 100 birim satar? b) Hangi yıl 100 birim satar? 100= x x=5.7 (2001 yılı 8 inci ayı ortaları) 100 = x x = 9.7 2001 yılı 8 inci ayın ortalarında

22 REGRESYON DENKLEMİNİN İNCELENMESİ
Regresyon denklemini incelerken genellikle bizi en çok ilgilendiren soru incelediğimiz iki değişken arasında gerçekten bir ilişki olup olmadığı sorusudur. Bu soru aslında basit doğrusal regresyonda 1’in değerinin 0 olup olmadığının araştırılmasıdır. Bu araştırmayı yaparken istatistiksel testle kullanmak gerektiğinden hata terimi ve parametre tahmincilerinin dağılışları hakkında bazı varsayımlarda bulunmak gerekir. Hata terimi e’ler, ortalaması 0 ve varyansı olan birbirinden bağımsız normal dağılışlar gösterirler. E(e)=0 Var(e)= s2 - Tahminin Standart Hatası ve Varyansı Tahminin standart hatası s, noktaların regresyon doğrusu etrafındaki dağılımlarının ortalama bir ölçüsünü verir.

23 Tahminlenen Regresyonun Duyarlılığı
Regresyon denklemi tahminlendikten sonra bu denklemin ilişkiyi ne derece açıkladığı ve bu denklem kullanılarak yapılacak tahminlerin ne derece hassas olacağının araştırılması gerekir. Bunun için gözlenen değerler ile tahmini değerleri arasındaki farkı yazıp y’lerin ortalamasını buna ekleyip çıkarırsak aşağıdaki ifadeyi elde ederiz. Bu ifadenin grafiksel karşılığı şekilde görülmektedir. Y ortalama doğrusu Gözlem değeri (Y) Regresyon doğrusu Yi tahmin değeri e

24 İfade tekrar düzenlenirse:
Daha sonra her iki tarafın kareleri alınıp tüm gözlemler için toplanırsa; İfade tekrar düzenlenirse: Ortalama etrafındaki kareler toplamı (genel KT) Regresyon kareler toplamı Regresyondan sapmalar (hata) kareler toplamı Y ortalama doğrusu Gözlem değeri (Y) Regresyon doğrusu Yi tahmin değeri

25 Eğer gözlenen değerlerin hepsi tahmin edilen doğru üzerinde olsaydı, hata kareler toplamı “0” olacak ve uyumun çok iyi olduğu söylenebilecektir. Bu bilgiyi kullanarak, regresyon doğrusunun ne derece iyi tahminlenmiş olduğunu regresyon kareler toplamının ortalama etrafındaki kareler toplamına oranına bakarak söyleyebiliriz. Bu orana BELİRLEME KATSAYISI adı verilir ve R2 ile gösterilir. R2’nin 1’e yaklaşan değerleri bize uyumun iyi olduğunu belirtir. (0<R2<1) Şekilden de görüldüğü gibi, regresyon kareler toplamının büyümesi, gözlem değerinin tahminlenmiş regresyon doğrusuna yaklaşması anlamına gelmektedir ve bu da belirleme katsayısını arttırır. Y ortalama doğrusu Gözlem değeri (Y) Regresyon doğrusu Yi tahmin değeri

26 Hesaplama kolaylığı açısından kareler toplamları formülleri aşağıdaki şekilde de kullanılabilir:
Genel kareler toplamı (GKT) Regresyon kareler toplamı (RKT) Hata kareler toplamı (HKT)

27 Korelasyon Katsayısı Korelasyon katsayısı, regresyon modeli ile bulunan tahmini Y değerlerinin, gerçek değerlere uygunluğunu ölçmede kullanılır. Korelasyon katsayısı -1 ile 1 arasında değişir. Katsayının -1 çıkması, iki değişken arasında ters yönlü tam bir ilişkinin olduğunu, 1 çıkması ise doğru yönlü tam bir ilişkinin olduğunu ifade eder. Katsayının -1’e doğru yaklaşması, değişkenler arasında ters yönlü kuvvetli bir ilişkiyi gösterirken, 1’e yaklaşması değişkenler arasında doğru yönlü kuvvetli bir ilişkiyi ifade eder. Korelasyon katsayısının işareti, regresyon doğru veya eğrisine ait eğim katsayısının işaretidir. Korelasyon katsayısının karesi, belirleme katsayısını determinasyon katsayısını) verir.

28 Sınırlı sayıda veri üzerinden hesaplanan korelasyon katsayısı bir istatistiktir ve r ile gösterilir.Bu istatistiğin anakütle parametresi olarak karşılığı ’dur. Korelasyon katsayısı için genel formül; yada Bu formülde;

29 Bütün bu değerler n katsayısı ile çarpılırsa sonuç değişmez ve korelasyon katsayısı;
Hesaplanan korelasyon katsayısının gerçekten önemli olup olmadığını anlamak için belirli bir önem seviyesinde test etmek gerekir. Doğrusal korelasyon katsayısının önemli olup olmadığını test ederken test hipotezleri,

30 v=n-2 sd. ve değerlerine göre t kritik değerleri tespit edilir.
Test istatistiği; korelasyon katsayısının standart hatasıdır.

31 Test istatistiği, mutlak olarak kritik değerden büyük çıktığında X ile Y değişkenleri arasında önemli bir ilişki olduğunu söyleyebiliriz. Bununla birlikte bu değişkenlerin arasında mantıki bir ilişkinin bulunması şarttır. Bazen hiç alakası olmayan değişkenler arasında da yüksek bir korelasyon çıkabilmektedir.Bu tip korelasyonlara sahte korelasyon denir. ÖRNEK Bir süper market yöneticisi tesadüfi olarak seçilen bir saatlik sürelerde kasaya gelen müşteri sayısını ve ödedikleri toplam para miktarını aşağıdaki gibi kaydetmiştir. Müşteri Sayısı Ödenen Para (10000 TL)

32 formülü ile kolayca hesaplanabilir.
Müşteri sayısını bağımsız (X), kasalara ödenen para miktarını bağımlı değişken olarak kabul ederek, doğrusal korelasyon katsayısı; formülü ile kolayca hesaplanabilir. X Y XY X2 Y2 25 12.5 312.5 625 156.2 20 10.4 208 400 108.1 50 25.3 1265 2500 640.09 35 20.2 707 1225 408.04 40 24.1 964 1600 580.81 170 92.5 3456.5 6350 1893.3 Toplam

33 Korelasyon katsayısının önemli olup olmadığı %5 önem düzeyinde test edilirse, test hipotezleri
şeklinde kurulur. v=n-2=5-2=3 sd. ve önem seviyesine göre kritik değerler ‘dir.

34 Test istatistiği, kritik t değerinden büyük olduğu için %5 önem seviyesinde H0 hipotezi red edilerek hesaplanan doğrusal korelasyon katsayısının önemli olduğuna karar verilir.

35 Katsayıların Standart Hataları
E(b0)=0 E(b1)=1 Katsayıların Güven Aralıkları

36 Parametrelerin teker teker anlamlılığı testi:
Sabit terim 0’ın testi için hipotezler: H0 :0=0 test istatistiği: H1 :00 Eğim katsayısı 1‘in testi için hipotezler: H0 :1=0 test istatistiği: H1 :10 t istatistiği değerleri genelde paket programlar tarafından hesaplanıp verilmektedir. Hesaplanan test istatistikleri (n-2) serbestlik dereceli t dağılışı değeri ile kontrol edilir.

37 Regresyon doğrusunun tüm parametrelerinin istatistiksel açıdan anlamlı olup olmadığını test etmek için önce Varyans Analizi Tablosu aşağıdaki şekilde oluşturulur: Daha sonra sabit terim dışındaki parametrelerin 0’dan farklı olup olmadığı hipotezi test edilir. H0 : 0= 1=0 H1 : 0= 10 Test İstatistiği: Serbestlik derecesi: 1, (n-2)

38 TAHMİNİN VARYANSI VE GÜVEN ARALIĞININ BULUNMASI
Regresyon denkleminin elde edilmesinin en önemli amaçlarından biri bağımsız değişkenin herhangi bir değeri için Y’nin alacağı değerin tahminlenmesidir. şeklinde hesaplanan bu tahminin, varyansı ve o noktadaki gerçek değer için güven aralıklarının bulunması istenir. Bu tahminin varyansı: Hatanın varyansı yada Xk noktasında Y’nin alacağı ortalama değer için güven % (1- )’lık güven aralığı:

39 Örnek: yıllarındaki Türkiye’nin turizm gelirleri ile Türkiye’ye gelen turist sayısı tabloda verilmiştir. Yıllar Turizm Gelirleri Yabancı Ziyaretçi Sayısı 1996 5.650 8.614 1997 7.008 9.689 1998 7.177 9.752 1999 5.193 7.464 2000 7.636 10.412 2001 8.090 11.569 2002 8.481 13.247 2003 9.677 14.030 2004 12.125 17.517 2005 13.929 21.122

40 Turizm Gelirleri ile Yabancı Ziyaretçi Sayısı verileri arasındaki dağılma diyagram

41 Doğrusal tüketim fonksiyonunun normal denklemler yoluyla tahmini:
Tablo 2: Verilerin normal denklemler ile çözüm için düzenlenmesi Y X Y*X X2 5.650 8.614 74.201 7.008 9.689 7.177 9.752 5.193 7.464 7.636 10.412 8.090 11.569 8.481 13.247 9.677 14.030 12.125 17.517 13.929 21.122 Y=84.966 X= YX= X2=

42 Doğrusal tüketim fonksiyonunun normal denklemler yoluyla tahmini:
Y = b0.n + b1.X YX = b0.X + b1. X2 84.96 = b b = b b b0=0.597 b1=0.640 Yabancı ziyaretçi sayısı arttıkça turizm geliri artmaktadır.

43 Doğrusal tüketim fonksiyonunun formülden tahmini:
(

44 Doğrusal gelir fonksiyonunun ortalamadan farklara göre tahmini
8.1031 3.9486 7.0362 2.2159 3.4172 6.7060 1.7413 1.6606 3.7233 0.7406 0.3141 0.5969 0.1653 0.9054 0.8197 0.0002 1.1804 1.6884 1.9929 2.8506 1.3933 3.6284 5.1754 5.4324 8.7804 y=0.0000 x=0.0000 yx= x2= y2=

45

46 Tahminin standart hatası ve varyansı:
5.65 31.92 (8.614) = -0.460 0.2115 7.008 49.11 (9.689) = 0.210 0.0441 7.177 51.51 (9.752) = 0.339 0.1147 5.193 26.96 (7.464) = -0.181 0.0327 7.636 58.31 (10.412) = 0.375 0.1408 8.09 65.45 (11.569) = 0.089 0.0078 8.481 71.93 (13.247) = -0.594 0.3529 9.677 93.65 (14.030) = 0.101 0.0101 12.125 147.02 (17.517) = 0.317 0.1005 13.929 194.02 (21.122) = -0.186 0.0346  Y2 = 0.010  e2 =

47 Katsayıların standart hata ve varyansları:
(0.367) (0.028) (1.626) (2.306)

48 Katsayıların güven aralıkları
0.597 (0.367) 0.640  (0.028) 0.640  0.597   b1   b0  Katsayıların anlamlılıklarını testi = 1.626 H0 : b0= 0 H1 : b0 0 t0.05/2 , 8 = 2.306 thes =1.626 < t0.05/2 , 8= 2.306 H0 Kabul b0 istatistiki olarak anlamsız

49 H0 : b1= 0 H1 : b1 0 t0.05/2 , 8 = 2.306 thes =22.85 > t0.05/2 , 8= 2.306 H0 Red b1istatistiki olarak anlamlı

50 (0.367) (0.028) (1.626) (2.306) Genel kareler toplamı (GKT) Regresyon kareler toplamı (RKT) Hata kareler toplamı (HKT) X2= X= Y=84.966  Y2 =

51 R2 Belirlilik Katsayısı:
YORUM: Bu sonuç bize, turizm gelirlerindeki değişkenliğin (varyasyonun) %98.44’ünün gelen ziyaretçi sayısı ile açıklanabildiğini göstermektedir. Korelasyon Katsayısı Turizm geliri ile gelen ziyaretçi değişkenleri arasında pozitif yönde kuvvetli bir ilişki vardır.

52 sd KT KO Regresyon 1 66.8873 Hata 8 1.0501 0.1312 Genel 9 67.9499
Turizm örneği için varyans analizi tablosunu oluşturup regresyonun anlamlılığını test edersek: H0 : 0= 1=0 H1 : 0= 10 sd KT KO Regresyon 1 Hata 8 1.0501 0.1312 Genel 9 F0.05,1,8 = 5.32 Fhesap> Ftablo ; H0 reddedilir, katsayılar istatistiksel olarak topluca anlamlıdır

53 Tahminin Güven Aralığı
Xk = 8.614  (0.362) .  YkXk 

54 ÖRNEK: İstatistik dersi sınavına çalışmak için 5 öğrencinin etkin olarak harcadıkları süreler ve sınav sonuçları aşağıda verilmiştir. Bu veriler ışığında çalışılan süre ile sınav notu arasındaki ilişkiyi çiziniz, denklemini tahmin ediniz. Belirleme katsayısını hesaplayarak yorumlayınız. Daha sonra varyans analizi tablosunu hazırlayarak belirlediğiniz doğrunun eğiminin 0 olup olmadığını kontrol ediniz. Aynı hipotezi t testi ile tekrar kontrol ediniz ve bulgularınızı karşılaştırınız.

55 - b0 = 2.3 b1 = 0.3 -14 + 46b1=0 Formülle hesaplarsak:

56 Böylece doğrunun denklemi:
YORUM: Bu sonuç bize, sınavdan alınan notların değişkenliğinin (varyasyonunun) %81’inin çalışılan saatler arasındaki farklılıklar ile açıklanabildiğini göstermektedir.