Sunum yükleniyor. Lütfen bekleyiniz

Sunum yükleniyor. Lütfen bekleyiniz

1 Bölüm 4: Normallik Varsayımı:Klasik Normal Dogrusal Regresyon Modeli Eğer amacımız sadece nokta tahmini yapmak olsaydı SEK yeterli sayılabilirdi. Amac.

Benzer bir sunumlar


... konulu sunumlar: "1 Bölüm 4: Normallik Varsayımı:Klasik Normal Dogrusal Regresyon Modeli Eğer amacımız sadece nokta tahmini yapmak olsaydı SEK yeterli sayılabilirdi. Amac."— Sunum transkripti:

1 1 Bölüm 4: Normallik Varsayımı:Klasik Normal Dogrusal Regresyon Modeli Eğer amacımız sadece nokta tahmini yapmak olsaydı SEK yeterli sayılabilirdi. Amac sadece β 2 (^) yi elde etmek degıl, onu kullanarak birseyler söyleyebilme ya da gerçek β 2 ’ ye ilişkin çıkarsamalar yapmaya da yöneliktir. SEK yöntemi ui’nin olasılık özelliğine ilişkin bir varsayımda bulunmadığı için ÖRF’den ARF için çıkarsamalar yapmada SEK bir işe yaramaz. Şayet u i ler belli bir olasılık dagılıma uydugu varsayarsak bu boşluk dolar 2.1.Normallik Varsayımı Klasik normal doğrusal regresyon modeli her bir ui’nin aşağıdaki değerlerle normal dağılgığını varsayar: Ortalama: E(ui) = 0 Varyans: E(ui) = σ² orv(ui,uj): E(ui,uj) = 0 i ≠ j u i ~ N(0, σ²) burada ~ ‘biçiminde dağılmıştır’ anlamına gelir; N ise ‘normal dağılımı’ temsil eder; parantez içindekiler ortalamayla varyansı göstermektedir.

2 2 Central Limit Theorem As Sample Size Gets Large Enough Sampling Distribution Becomes Almost Normal regardless of shape of population

3 3 Central Limit Theorem Asymptotic Normality implies that P(Z

4 4 Properties of the Normal If X~N( ,  2 ), then aX+b ~N(a  +b,a 2  2 ) If X~N( ,  2 ), then aX+b ~N(a  +b,a 2  2 ) A linear combination of independent, identically distributed (iid) normal random variables will also be normally distributed A linear combination of independent, identically distributed (iid) normal random variables will also be normally distributed If Y 1,Y 2, … Y n are iid and ~N( ,  2 ), then If Y 1,Y 2, … Y n are iid and ~N( ,  2 ), then

5 5 n =16   X = 2.5 n = 4   X = 5 When the Population is Normal Central Tendency Variation Sampling with Replacement Population Distribution Sampling Distributions  x =  x = _ _

6 6 Normal dağılmış iki değişkenin sıfır ortak varyansı ya da korelasyonu iki değişkenin bağımsız oldukları anlamına gelir. Normal dağılmış iki değişkenin sıfır ortak varyansı ya da korelasyonu iki değişkenin bağımsız oldukları anlamına gelir. O halde şöyle yazabiliriz. O halde şöyle yazabiliriz. orv(ui,uj):0 E(ui,uj) = 0 i ≠ j ui ~ NBD(0,σ²) ui ~ NBD(0,σ²) Normallik varsayımının nedenleri Normallik varsayımının nedenleri Merkezi Limit Teoremi,çok sayıda bağımsız ve aynı biçimde dağılmış rassal değişkenler varsa, bu değişkenlerin sayısı sonsuza doğru arttıkça, bunların toplam dağılımının,birkaç aykırılık dışında,normal dağılıma yaklaştığı gösterilebilir. Merkezi Limit Teoremi,çok sayıda bağımsız ve aynı biçimde dağılmış rassal değişkenler varsa, bu değişkenlerin sayısı sonsuza doğru arttıkça, bunların toplam dağılımının,birkaç aykırılık dışında,normal dağılıma yaklaştığı gösterilebilir. Merkezi limit teoreminin bir başka biçimi, değişken sayısı çok büyük olmasa ya da bu değişkenler tam bağımsız dağılsalarda toplamlarının yine de normal dağılabileceğini ileri sürer. Merkezi limit teoreminin bir başka biçimi, değişken sayısı çok büyük olmasa ya da bu değişkenler tam bağımsız dağılsalarda toplamlarının yine de normal dağılabileceğini ileri sürer. Normal dağılımın bir özelliğide, normal dağılmış değişkenlerin doğrusal fonksiyonunun da normal dağılmış olmasıdır. Normal dağılımın bir özelliğide, normal dağılmış değişkenlerin doğrusal fonksiyonunun da normal dağılmış olmasıdır. Normal dağılım yalnızca iki katsayı içerdiğinden göreli olarak basit bir dağılımdır. Normal dağılım yalnızca iki katsayı içerdiğinden göreli olarak basit bir dağılımdır.

7 7 Normallik Varsayımı SEK tahmin edicilerin özellikleri SEK tahmin edicilerin özellikleri Sapmasızdırlar. Sapmasızdırlar. En küçük varyanslıdırlar En küçük varyanslıdırlar Tutarlıdırlar.Yani örneklem sonsuza doğru büyürken tahmin ediciler gerçek değerlerine doğru yakınsanlar. Tutarlıdırlar.Yani örneklem sonsuza doğru büyürken tahmin ediciler gerçek değerlerine doğru yakınsanlar. β1 şu değerlerle normal dağılır: β1 şu değerlerle normal dağılır: Ortalama : E(β 1 (^) ) = β 1 Ortalama : E(β 1 (^) ) = β 1 ∑ X i 2 ∑ X i 2 Var(β 1 ) : σ² B1 (^) = ——— σ 2 Var(β 1 ) : σ² B1 (^) = ——— σ 2 n∑x i 2 n∑x i 2 β 2 şu değerlerle normal dağılır: β 2 şu değerlerle normal dağılır: Ortalama : E(β2(^)) = β2 Ortalama : E(β2(^)) = β2 σ 2 σ 2 Var (β2) : σ 2 = —— Var (β2) : σ 2 = —— n ∑ x 1 2 n ∑ x 1 2 (n-2)σ 2 (^) / σ², n-2 serbestlik derecesi X 2 (ki-kare) dağılımına uyar. (n-2)σ 2 (^) / σ², n-2 serbestlik derecesi X 2 (ki-kare) dağılımına uyar. (β 1 (^),β 2 (^)), σ 2 (^)’ den bağımsız olarak dağılırlar. (β 1 (^),β 2 (^)), σ 2 (^)’ den bağımsız olarak dağılırlar. β 1 (^) ve β 2 (^), doğrusal olsun olmasın bütün sapmasız tahmin ediciler içinde en düşük varyanslı olanlarıdır. En küçük kareler tahmin edicileri En iyi sapmasız tahmin edicileridir β 1 (^) ve β 2 (^), doğrusal olsun olmasın bütün sapmasız tahmin ediciler içinde en düşük varyanslı olanlarıdır. En küçük kareler tahmin edicileri En iyi sapmasız tahmin edicileridir

8 8 u i ‘nin 0 ortalama,σ 2 varyansla normal dağıldığını varsayarsak, Yi’ nin kendisi de aşağıdaki ortalama ve varyansla normal dağılır : u i ‘nin 0 ortalama,σ 2 varyansla normal dağıldığını varsayarsak, Yi’ nin kendisi de aşağıdaki ortalama ve varyansla normal dağılır : E(Yi) = β1 + β2Xi E(Yi) = β1 + β2Xi var(Yi) = σ2 var(Yi) = σ2 EYO(En Yüksek Olabilirlik) Tahmin yöntemide aynı EYO(En Yüksek Olabilirlik) Tahmin yöntemide aynı β’ regresyon katsayılarını verir. σ 2 nin EYO tahmin edicisi ∑u ı 2 /n ’ dir. Bu tahmin edici sapmalıdır ama σ 2 ’ nin SEK tahmin edicisi ∑u i 2 /(n-2),görüldüğü gibi sapmasızdır. Öyleyse n  ∞ sonsuza doğru büyüdükçe σ 2 ’ nin EYO tahmin edicisi de sapmasız olur.

9 9 Teorem 4.1. Z1,Z2,......,Zn değişkenleri, Zi ~ N( μ,σ2) dağılımına uyan normal ve bağımsız dağılmış değişkenlerse, Z = ∑kiZi toplamı da, ortalaması ∑kiμi, varyansı ∑ki2σi2 olan Zi ~N ( ∑kiμi, ∑ki2σi2 ) dağılımına göre normal dağılmıştır.Buradaki ki ‘ler hepsi sıfır olmayan sabitler,μ ortalama değerlerdir. Teorem 4.1. Z1,Z2,......,Zn değişkenleri, Zi ~ N( μ,σ2) dağılımına uyan normal ve bağımsız dağılmış değişkenlerse, Z = ∑kiZi toplamı da, ortalaması ∑kiμi, varyansı ∑ki2σi2 olan Zi ~N ( ∑kiμi, ∑ki2σi2 ) dağılımına göre normal dağılmıştır.Buradaki ki ‘ler hepsi sıfır olmayan sabitler,μ ortalama değerlerdir. Teorem 4.2. Z1,Z2, ,Zn değişkenleri normal dağılmış ama bağımsız değilse, Z=∑kiZi toplamı da, ortalaması ∑ kiμi, varyansı [ ∑k i 2σ i 2 + 2∑k i k j orv(Zi,Zj), i≠j] olan bir normal dağılıma uygun dağılır. Teorem 4.2. Z1,Z2, ,Zn değişkenleri normal dağılmış ama bağımsız değilse, Z=∑kiZi toplamı da, ortalaması ∑ kiμi, varyansı [ ∑k i 2σ i 2 + 2∑k i k j orv(Zi,Zj), i≠j] olan bir normal dağılıma uygun dağılır. Teorem 4.3. Z1,Z2, ,Zn değişkenleri, Zi ~ N(0,1) standart normal dağılımına uyan normal ve bağımsız dağılmış değişkenlerse, ∑Zi2 = Z 12 +Z Zn2 toplamıda, sd’si n olan ki-kare dağılımına uyar.Simgelerle, ∑Zi2 ~ Xn2. Burada n serbestlik derecesini (sd) gösterir. Teorem 4.3. Z1,Z2, ,Zn değişkenleri, Zi ~ N(0,1) standart normal dağılımına uyan normal ve bağımsız dağılmış değişkenlerse, ∑Zi2 = Z 12 +Z Zn2 toplamıda, sd’si n olan ki-kare dağılımına uyar.Simgelerle, ∑Zi2 ~ Xn2. Burada n serbestlik derecesini (sd) gösterir.

10 10 The Chi-Square Distribution Suppose that Z i, i=1,…,n are iid ~ N(0,1), and X=  (Z i 2 ), then Suppose that Z i, i=1,…,n are iid ~ N(0,1), and X=  (Z i 2 ), then X has a chi-square distribution with n degrees of freedom (df), that is X has a chi-square distribution with n degrees of freedom (df), that is X~  2 n X~  2 n If X~  2 n, then E(X)=n and Var(X)=2n If X~  2 n, then E(X)=n and Var(X)=2n Teorem 4.4. Z1,Z2, ,Zn değişkenleri, herbirinin sd’si olan ki-kare dağılımlarına uyan bağımsız dağılmış rassal değişkenlerse, bunların toplamı olan Teorem 4.4. Z1,Z2, ,Zn değişkenleri, herbirinin sd’si olan ki-kare dağılımlarına uyan bağımsız dağılmış rassal değişkenlerse, bunların toplamı olan ∑Zi = Z1 + Z Zn de, sd’si k = ∑ ki olan bir ki-kare dağılımına uyar. ∑Zi = Z1 + Z Zn de, sd’si k = ∑ ki olan bir ki-kare dağılımına uyar.

11 11 The t distribution If a random variable, T, has a t distribution with n degrees of freedom, then it is denoted as T~t n If a random variable, T, has a t distribution with n degrees of freedom, then it is denoted as T~t n E(T)=0 (for n>1) and Var(T)=n/(n-2) (for n>2) E(T)=0 (for n>1) and Var(T)=n/(n-2) (for n>2) T is a function of Z~N(0,1) and X~  2 n as follows: T is a function of Z~N(0,1) and X~  2 n as follows:

12 12 Teorem 4.5 Zi standart normal değişken [Zi ~ N (0,1) ] iken Z2 de k sd’li ki-kare dağılımına uyuyorsa ve Z2’den bağımsızsa, o zaman, Teorem 4.5 Zi standart normal değişken [Zi ~ N (0,1) ] iken Z2 de k sd’li ki-kare dağılımına uyuyorsa ve Z2’den bağımsızsa, o zaman, Z2 Z1 standart normal değişken Z2 Z1 standart normal değişken t = ———— = ———— = ———————————----- ~ t k t = ———— = ———— = ———————————----- ~ t k √ Z2 / √k √ Z2 √ bağımsız ki-kare değişkeni / sd √ Z2 / √k √ Z2 √ bağımsız ki-kare değişkeni / sd Teorem 4.6 Z1 ile Z2, sd’leri sırasıyla k1, k2 olan bağımsız dağılmış ki-kare değişkenleriyseler Teorem 4.6 Z1 ile Z2, sd’leri sırasıyla k1, k2 olan bağımsız dağılmış ki-kare değişkenleriyseler Z1 / k1 Z1 / k1 F = ———— ~ Fk1,k2 burada k1= payın sd, k2= paydanın sd. F = ———— ~ Fk1,k2 burada k1= payın sd, k2= paydanın sd. Z2 / k2 Z2 / k2 Teorem 4.7 sd’si k olan (student) t değişkeninin karesi, payın sd’si k1=1, paydanın sd’si k2 = k olan bir F dağılımıdır. Yani, Teorem 4.7 sd’si k olan (student) t değişkeninin karesi, payın sd’si k1=1, paydanın sd’si k2 = k olan bir F dağılımıdır. Yani, F 1,k = t 2 k F 1,k = t 2 k Normallik varsayımının dayandığı kurumsal temel Merkezi Limit Teoremidir. Normallik varsayımının dayandığı kurumsal temel Merkezi Limit Teoremidir.

13 13 The F Distribution If a random variable, F, has an F distribution with (k 1,k 2 ) df, then it is denoted as F~F k1,k2 If a random variable, F, has an F distribution with (k 1,k 2 ) df, then it is denoted as F~F k1,k2 F is a function of X 1 ~  2 k1 and X 2 ~  2 k2 as follows: F is a function of X 1 ~  2 k1 and X 2 ~  2 k2 as follows:

14 14 What Make a Good Estimator? Unbiasedness Unbiasedness Efficiency Efficiency Mean Square Error (MSE) Mean Square Error (MSE) Asymptotic properties (for large samples): Asymptotic properties (for large samples): Consistency Consistency

15 15 Unbiasedness Unbiasedness Mean of sampling distribution equals population mean Mean of sampling distribution equals population mean Efficiency Efficiency Sample mean comes closer to population mean than any other unbiased estimator Sample mean comes closer to population mean than any other unbiased estimator Consistency Consistency As sample size increases, variation of sample mean from population mean decreases As sample size increases, variation of sample mean from population mean decreases Properties of the Mean

16 16 Unbiasedness of Estimator Want your estimator to be right, on average Want your estimator to be right, on average We say an estimator, W, of a Population Parameter, , is unbiased if E(W)=E(  ) We say an estimator, W, of a Population Parameter, , is unbiased if E(W)=E(  ) For our example, that means we want For our example, that means we want

17 17  Unbiasedness BiasedUnbiased P(X) X

18 18 Proof: Sample Mean is Unbiased

19 19  Efficiency Sampling Distribution of Median Sampling Distribution of Mean X P(X)

20 20 Efficiency of Estimator Want your estimator to be closer to the truth, on average, than any other estimator Want your estimator to be closer to the truth, on average, than any other estimator We say an estimator, W, is efficient if Var(W)< Var(any other estimator) We say an estimator, W, is efficient if Var(W)< Var(any other estimator) Note, for our example Note, for our example

21 21 Consistency of Estimator Asymptotic properties, that is, what happens as the sample size goes to infinity? Asymptotic properties, that is, what happens as the sample size goes to infinity? Want distribution of W to converge to , i.e. plim(W)=  Want distribution of W to converge to , i.e. plim(W)=  For our example, that means we want For our example, that means we want

22 22  Larger sample size Smaller sample size Consistency X P(X) A B

23 23 More on Consistency An unbiased estimator is not necessarily consistent – suppose choose Y 1 as estimate of  Y, since E(Y 1 )=  Y, then plim(Y 1 )   Y An unbiased estimator is not necessarily consistent – suppose choose Y 1 as estimate of  Y, since E(Y 1 )=  Y, then plim(Y 1 )   Y An unbiased estimator, W, is consistent if Var(W)  0 as n   An unbiased estimator, W, is consistent if Var(W)  0 as n   Law of Large Numbers refers to the consistency of sample average as estimator for , that is, to the fact that: Law of Large Numbers refers to the consistency of sample average as estimator for , that is, to the fact that:

24 24 Inferences about the Slope: t Test t Test for a Population Slope Is a Linear Relationship Between X & Y ? Test Statistic: and df = n - 2 Null and Alternative Hypotheses H 0 :  1 = 0(No Linear Relationship) H 1 :  1  0(Linear Relationship) Where

25 25 Example: Produce Stores Data for 7 Stores: Regression Model Obtained: The slope of this model is Is there a linear relationship between the square footage of a store and its annual sales?  Annual Store Square Sales Feet($000) 1 1,726 3, ,542 3, ,816 6, ,555 9, ,292 3, ,208 5, ,313 3,760 Y i = X i

26 26 H 0 :  1 = 0 H 0 :  1 = 0 H 1 :  1  0 H 1 :  1  0  .05  .05 df  = 7 df  = 7 Critical Value(s): Critical Value(s): Test Statistic: Decision: Conclusion: There is evidence of a relationship. t Reject.025 From Excel Printout Reject H 0 Inferences about the Slope: t Test Example

27 27 Inferences about the Slope: Confidence Interval Example Confidence Interval Estimate of the Slope b 1  t n-2 Excel Printout for Produce Stores At 95% level of Confidence The confidence Interval for the slope is (1.062, 1.911). Does not include 0. Conclusion: There is a significant linear relationship between annual sales and the size of the store.

28 28 Estimation of Predicted Values Confidence Interval Estimate for  XY The Mean of Y given a particular X i t value from table with df=n-2 Standard error of the estimate Size of interval vary according to distance away from mean, X.

29 29 Estimation of Predicted Values Confidence Interval Estimate for Individual Response Y i at a Particular X i Addition of this 1 increased width of interval from that for the mean Y

30 30 Interval Estimates for Different Values of X X Y X Confidence Interval for a individual Y i A Given X Confidence Interval for the mean of Y Y i = b 0 + b 1 X i  _

31 31 Example: Produce Stores Y i = X i Data for 7 Stores: Regression Model Obtained: Predict the annual sales for a store with 2000 square feet.  Annual Store Square Sales Feet($000) 1 1,726 3, ,542 3, ,816 6, ,555 9, ,292 3, ,208 5, ,313 3,760

32 32 Estimation of Predicted Values: Example Confidence Interval Estimate for Individual Y Find the 95% confidence interval for the average annual sales for stores of 2,000 square feet Predicted Sales Y i = X i = ($000)  X = S YX = t n-2 = t 5 = =  Confidence interval for mean Y

33 33 Estimation of Predicted Values: Example Confidence Interval Estimate for  XY Find the 95% confidence interval for annual sales of one particular stores of 2,000 square feet Predicted Sales Y i = X i = ($000)  X = S YX = t n-2 = t 5 = =  Confidence interval for individual Y

34 34 Random Samples and Sampling For a random variable Y, repeated draws from the same population can be labeled as Y 1, Y 2,..., Y n For a random variable Y, repeated draws from the same population can be labeled as Y 1, Y 2,..., Y n If every combination of n sample points has an equal chance of being selected, this is a random sample If every combination of n sample points has an equal chance of being selected, this is a random sample A random sample is a set of independent, identically distributed (i.i.d) random variables A random sample is a set of independent, identically distributed (i.i.d) random variables

35 35 Estimators and Estimates Typically, we can’t observe the full population, so we must make inferences base on estimates from a random sample Typically, we can’t observe the full population, so we must make inferences base on estimates from a random sample An estimator is just a mathematical formula for estimating a population parameter from sample data An estimator is just a mathematical formula for estimating a population parameter from sample data An estimate is the actual number the formula produces from the sample data An estimate is the actual number the formula produces from the sample data

36 36 Examples of Estimators Suppose we want to estimate the population mean Suppose we want to estimate the population mean Suppose we use the formula for E(Y), but substitute 1/n for f(y i ) as the probability weight since each point has an equal chance of being included in the sample, then Suppose we use the formula for E(Y), but substitute 1/n for f(y i ) as the probability weight since each point has an equal chance of being included in the sample, then Can calculate the sample average for our sample: Can calculate the sample average for our sample:

37 37 Estimate of Population Variance We have a good estimate of  Y, would like a good estimate of  2 Y We have a good estimate of  Y, would like a good estimate of  2 Y Can use the sample variance given below – note division by n-1, not n, since mean is estimated too – if know  can use n Can use the sample variance given below – note division by n-1, not n, since mean is estimated too – if know  can use n

38 38 Estimators as Random Variables Each of our sample statistics (e.g. the sample mean, sample variance, etc.) is a random variable - Why? Each of our sample statistics (e.g. the sample mean, sample variance, etc.) is a random variable - Why? Each time we pull a random sample, we’ll get different sample statistics Each time we pull a random sample, we’ll get different sample statistics If we pull lots and lots of samples, we’ll get a distribution of sample statistics If we pull lots and lots of samples, we’ll get a distribution of sample statistics

39 39 Correlation: Measuring the Strength of Association Answer ‘How Strong Is the Linear Relationship Between 2 Variables?’ Answer ‘How Strong Is the Linear Relationship Between 2 Variables?’ Coefficient of Correlation Used Coefficient of Correlation Used Population correlation coefficient denoted  (‘Rho’) Population correlation coefficient denoted  (‘Rho’) Values range from -1 to +1 Values range from -1 to +1 Measures degree of association Measures degree of association Is the Square Root of the Coefficient of Determination Is the Square Root of the Coefficient of Determination

40 40 Test of Coefficient of Correlation Tests If There Is a Linear Relationship Between 2 Numerical Variables Tests If There Is a Linear Relationship Between 2 Numerical Variables Same Conclusion as Testing Population Slope  1 Same Conclusion as Testing Population Slope  1 Hypotheses Hypotheses H 0 :  = 0 (No Correlation) H 0 :  = 0 (No Correlation) H 1 :   0 (Correlation) H 1 :   0 (Correlation)


"1 Bölüm 4: Normallik Varsayımı:Klasik Normal Dogrusal Regresyon Modeli Eğer amacımız sadece nokta tahmini yapmak olsaydı SEK yeterli sayılabilirdi. Amac." indir ppt

Benzer bir sunumlar


Google Reklamları