GAUSS-MARKOV TEOREMİ İLE b1 VE b2’nin SAPMASIZLIĞI

GAUSS-MARKOV TEOREMİ İLE b1 VE b2’nin SAPMASIZLIĞI
Basit Regresyon Model: Y = b1 + b2X + u Gauss-Markov Şartları: 1. E(ui) = 0 Regresyon katsayılarının istenen özelliklere sahip olması hata terimi ile ilgili şu dört varsayıma bağlıdır. conditions are satisfied. 1

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2
Basit Regresyon Model: Y = b1 + b2X + u Gauss-Markov Şartları: 1. E(ui) = 0 İlki, u hata terimimin beklenen değeri sıfır olup, bu nedenle de y’i ne pozitif ne de negatif olarak etkileme eğiliminde değildir. 2

Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 1. E(ui) = 0 Suppose E(ui) = mu 0. Eğer denklemde sabit terim var ise bu şartın kendiliğinde sağlanacağını varsaymak gayet mantıklıdır. u’nun ortalamasının 0 olmadığını kabul edelim. 3

Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 1. E(ui) = 0 Suppose E(ui) = mu 0. Define v = u - mu, so u = v + mu u’nun ortalamasından sapmaya eş değer yeni bir tesadüfi değişken (v) tanımlayalım. 4

Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 1. E(ui) = 0 Suppose E(ui) = mu 0. Define v = u - mu, so u = v + mu Then Y = b1 + b2X + v + mu = (b1 +mu) + b2X + v Modeli yeniden düzenleyelim 5

Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 1. E(ui) = 0 Suppose E(ui) = mu 0. Define v = u - mu, so u = v + mu Then Y = b1 + b2X + v + mu = (b1 +mu) + b2X + v where E(v) = E(u - mu) = E(u) - E(mu) = 0 Yeni modeldeki hata terimi ilk şartı sağlayacaktır. Fakat sabit terim sapmalı olacaktır. 6

Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 1. E(ui) = 0 Suppose E(ui) = mu 0. Define v = u - mu, so u = v + mu Then Y = b1 + b2X + v + mu = (b1 +mu) + b2X + v where E(v) = E(u - mu) = E(u) - E(mu) = 0 Sabit terim genellikle Y’deki her hangi bir sistematik etkiyi üzerinde topladığından dolayı bu durumu kabul edebiliriz. This is usually acceptable because the role of the constant is usually to pick up any systematic tendency in Y not accounted for by the explanatory variable(s). 7

Simple regression model: Y = b1 + b2X + u Normality assumption u has a normal distribution In addition to the Gauss-Markov conditions, one usually assumes that the disturbance term is normally distributed. This is necessary for the validity of the usual tests. 21

Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 2. population variance of ui is the same for all i İkinci şart şudur: Örnekteki farklı gözlemlere göre hata teriminin değerleri sabit varyanslı dağılımdan çekilmiştir. 8

Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 2. population variance of ui is the same for all i Bu şartın ayrıntıları farklı varyans konusunda ele alınacaktır. 9

Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 3. population covariance of ui and uj = 0, all i not equal to j ÜÇ The third condition is that value of the disturbance term in any observation should be independent of its value in any other observation. 10

Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 3. population covariance of ui and uj = 0, all i not equal to j Again, a discussion of the meaning and implications of this condition will be deferred until we come to the topic of autocorrelation (the violation of the condition). 11

Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 4. X nonstochastic For example, stratified random sample, sample size 1,000: S n 8 10 9 30 10 50 11 70 12 430 , etc The final condition comes in two versions, weak and strong. The strong version is that the explanatory variable(s) should be nonstochastic, that is, not have random components. 12

Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 4. X nonstochastic For example, stratified random sample, sample size 1,000: S n 8 10 9 30 10 50 11 70 12 430 , etc This is actually very unrealistic for economic variables and we will eventually switch to the weak version of the condition, where the explanatory variables are allowed to have random components provided that they are distributed independently of the disturbance term. 13

Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 4. X nonstochastic For example, stratified random sample, sample size 1,000: S n 8 10 9 30 10 50 11 70 12 430 , etc However for the time being we will use the strong version because it simplifies our analysis of the properties of the estimators. 14

Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 4. X nonstochastic For example, stratified random sample, sample size 1,000: S n 8 10 9 30 10 50 11 70 12 430 , etc Here is an example of a nonstochastic explanatory variable. Suppose that we are relating earnings to years of schooling, S, defined as the highest grade completed. 15

Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 4. X nonstochastic For example, stratified random sample, sample size 1,000: S n 8 10 9 30 10 50 11 70 12 430 , etc Suppose that we know from the national census that 1% of the population have S = 8, 3% have S = 9, 5% have HGC=10, 7% have S = 11, 43% have S = 12 (graduation from high school), and so on. 16

Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 4. X nonstochastic For example, stratified random sample, sample size 1,000: S n 8 10 9 30 10 50 11 70 12 430 , etc Suppose that we have decided to undertake a survey with sample size 1,000 and we want the sample to match the population as far as possible. 17

Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 4. X nonstochastic For example, stratified random sample, sample size 1,000: S n 8 10 9 30 10 50 11 70 12 430 , etc We might then select what is known as a stratified random sample, designed so that it includes 10 individuals with S = 8, 30 individuals with S = 9, and so on. 18

Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 4. X nonstochastic For example, stratified random sample, sample size 1,000: S n 8 10 9 30 10 50 11 70 12 430 , etc The values of S in the sample would then be predetermined and therefore nonstochastic. 19

Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 4. X nonstochastic For example, stratified random sample, sample size 1,000: S n 8 10 9 30 10 50 11 70 12 430 , etc Schooling and other demographic variables in large surveys drawn in such a way as to be representative of the population as a whole, like the National Longitudinal Survey of Youth, probably approximate this condition quite well. 20

Simple regression model: Y = b1 + b2X + u Unbiasedness We will now investigate the properties of the OLS estimators, starting with the slope coefficient. 22

Simple regression model: Y = b1 + b2X + u Unbiasedness The first step is to express the estimator in terms of its fundamental components by substituting for Y from the true model. 23

Simple regression model: Y = b1 + b2X + u Unbiasedness We have already done this once in the previous sequence, but it will do no harm to do it again. Here we have used the first covariance rule to break up the numerator. 24

Simple regression model: Y = b1 + b2X + u Unbiasedness b1 is a constant, so the first term is zero. Using the second covariance rule, we can take b2 out of the second term. 25

Simple regression model: Y = b1 + b2X + u Unbiasedness Hence we obtain true value and error term. 26

Simple regression model: Y = b1 + b2X + u Unbiasedness To investigate unbiasedness, we now take the expectation of b2. 27

Simple regression model: Y = b1 + b2X + u Unbiasedness Using the first expected value rule, this may be decomposed as shown. 28

Simple regression model: Y = b1 + b2X + u Unbiasedness Since b2 is a constant, the first term is just b2. 29

Simple regression model: Y = b1 + b2X + u Unbiasedness By virtue of the assumption that X is nonstochastic, Var(X) is nonstochastic. Thus, using the second expected value rule, we may take it out of the second term. 30

Simple regression model: Y = b1 + b2X + u Unbiasedness The expected value of Cov(X, u) is zero. We will prove this. 31

Simple regression model: Y = b1 + b2X + u Unbiasedness We have used the second expected value rule to bring the factor (1/n) out of the expected value expression, and the first expected value rule to rewrite the expectation as the sum of the expectations of the individual terms. 32

Simple regression model: Y = b1 + b2X + u Unbiasedness Since X is nonstochastic, the term involving it and its mean can be taken out of each expectation as a factor. 33

Simple regression model: Y = b1 + b2X + u Unbiasedness The expected value of u in each observation is zero, and hence so is the expected value of its sample mean. Thus the expectation of Cov(X, u) is zero. 34

Simple regression model: Y = b1 + b2X + u Unbiasedness Thus we have demonstrated that b2 is an unbiased estimator of b2. 35

Simple regression model: Y = b1 + b2X + u Unbiasedness We will also demonstrate that b1 is an unbiased estimator of b1. 36

Simple regression model: Y = b1 + b2X + u Unbiasedness First we substitute for Y, or rather, in this case, its sample mean, using the true model. 37

Simple regression model: Y = b1 + b2X + u Unbiasedness Next we take expectations. 38

Simple regression model: Y = b1 + b2X + u Unbiasedness We use the first expected value rule to decompose the expectation as shown. 39

Simple regression model: Y = b1 + b2X + u Unbiasedness b1 is a constant, so its expected value is itself. b2 is also a constant, so it can be taken out of the second term as a factor. 40

Simple regression model: Y = b1 + b2X + u Unbiasedness The expectation of the sample mean of u is zero, so the third term is zero. Finally, the sample mean of X is nonstochastic, so it can be taken out of the fourth term as a factor. 41

Simple regression model: Y = b1 + b2X + u Unbiasedness We have just demonstrated that E(b2) is equal to b2. Hence b1 is an unbiased estimator of b1. 42

Tesadüfi Değişken Olarak Regresyon Katsayıları
Regresyon katsayıları tesadüfi değişkenlerin özel tipidir. X ile Y arasındaki ilişkiyi gösteren basit regresyon modelini kullanarak bu durumu açıklayalım. Yukarıdaki iki eşitlik gerçek model ve tahmin edilen regresyon modelini gösterir. 1

Yukarıda gösterilen eğim katsayısının sıradan EKK tahmincisinin davranışını araştıralım. 2

Burada b2, X ve Y’ye bağlı iken, diğer taraftan Y’deki değişim X, u ve b1 ve b2 parametrelerine bağlıdır. Bu nedenle Y’nin davranışı sonuçta X ve u, ve parametreler tarafından etkilenmektedir. 3

b2’nin davranışını gereği gibi açıklamak için, Y yerine gerçek modeli yerine yazıyoruz. 4

İlk kovaryans kuralını kullanarak , payı üç kısma ayıralım. 5

b1 Sabit olduğundan, Cov(X,b1)sıfırdır. 6

İkinci kovaryans kuralını kullanarak, b2’yi orta terimin dışına alabiliriz. 7

Cov(X, X) ile Var(X) ayni ifadedir. Böylece b2’ iki kısma ayrılabilir : gerçek değer, b2, ve hata terimi. 8

Hata terimi, örnekteki her gözlemin karışıklık teriminin(disturbance term ) değerine bağlıdır, ve böylece de tesadüfi değişkenin özel biçimi olmaktadır. 9

Biz onun b2 üzerindeki etkisini iki şekilde araştırabiliyoruz : İlki doğrudan Monte Carlo denemelerini kullanmak, ikinci ise analitik olarak . 10

Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin
Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Bir monte Carlo denemesi kontrol edilebilen şartlar altında regresyon tahmincilerinin özelliklerini değerlendirmek amacıyla laboratuar benzeri deneme yapmaktır. 11

Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Basit doğrusal regresyon uygulandığında EKK regresyon katsayılarının davranışını araştıralım. 11

Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Y’nin X-değişkeni ile hata terimi tarafından belirlendiğini varsayalım. Sonra X değişkeni değerleri ile parametre değerleri seçelim. 11

Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Ayrıca bilinen bir dağılımdan karışıklık terimleri (disturbance term) değerlerini üretelim . 11

Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Örnekteki Y’nin değerleri, X değişkeninin değerleri, parametreler ve karışıklık terimi tarafından belirlenecektir. 11

Model Tahminciler Parametrelerin değerlerinin tahmini
Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Tahminciler Parametrelerin değerlerinin tahmini Ve sonra yalnızca Y ve X’ler kullanarak parametre tahminleri elde etmek için regresyon tekniğini kullanacağız. 16

Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Tahminciler Parametrelerin değerlerinin tahmini Tesadüfi olarak elde edeceğimiz yeni karışıklık terimlerini kullanarak ayni X değişkeni ve ayni parametre değerleri ile süreci sonsuz sayıda tekrar edebiliriz. 16

Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Tahminciler Parametrelerin değerlerinin tahmini Bu şekilde, regresyon tahmincileri için olasılık dağılımını elde edebiliriz. Ve ayrıca onların sapmalı ya da sapmasız olup olmadıklarını kontrol edebiliriz. 16

Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Y = b1 + b2X + u X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u bağımsız olup N(0,1) Model Y = X + u Y’nin değerlerini üretin Y’nin değerlerini üretin Tahminciler Parametrelerin değerlerinin tahmini Bu denemede örneğimizde 20 gözlem vardır. X, 1, 2, ..., 20 değerlerini almaktadır. b1 =2.0 ve b2 = 0.5’dir. 19

Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Y = b1 + b2X + u X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u bağımsız olup N(0,1) Model Y = X + u Y’nin değerlerini üretin Y’nin değerlerini üretin Tahminciler Parametrelerin değerlerinin tahmini Karışıklık terimi (disturbance term) sıfır ortalamaya ve birim varyansa sahip olacak şekilde normal dağılım kullanılarak tesadüfi olarak üretilir. Böylece Y değerlerini üretiriz. 19

Parametrelerin değerlerini tahmin edin
Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Y = b1 + b2X + u X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u bağımsız olup N(0,1) Model Y = X + u Y’nin değerlerini üretin Y’nin değerlerini üretin Tahminciler b2 = Cov(X, Y)/Var(X); Parametrelerin değerlerinin tahmini Parametrelerin değerlerini tahmin edin EEK tahmin tekniğini kullanarak Y’nin X’e göre regresyonu tahmin edip b1 ve b2 gerçek değerlerine göre b1 and b2 tahminlerimizin nasıl olduğunu göreceğiz. 19

X X u Y X X u Y Y = X + u Burada keyfi birim esasına göre seçilen X değerleri vardır. 22

X X u Y X X u Y Y = X + u Verilen b1 ve b2 katsayılarını kullanarak, Y’nin stokastik olmayan unsurunu elde edebiliriz. 23

Stokastik olmayan unsur grafiksel olarak gösterilebilir. 24

X X u Y X X u Y Y = X + u Sonra N(0,1) dağılımını kullanarak her bir gözlem için tesadüfi bir şekilde karışıklık terimi değeri üretilir. 25

X X u Y X X u Y Y = X + u Örneğin ilk gözlem için Y’nin değeri 2.50 değil 1.91 olarak elde edilir. 26

X X u Y X X u Y Y = X + u Benzer şekilde diğer 19 gözlem için Y’nin değerleri üretilir. 27

20 gözlemin dağılımı yukarıdadır. 28

Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Y = b1 + b2X + u X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u bağımsız olup N(0,1) Model Y = X + u Y’nin değerlerini üretin Y’nin değerlerini üretin Tahminciler Parametrelerin değerlerinin tahmini Bu noktada biz Monte Carlo denemelerine ulaştık. 19

Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Y = b1 + b2X + u X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u bağımsız olup N(0,1) Model Y = X + u Y’nin değerlerini üretin Y’nin değerlerini üretin Tahminciler b2 = Cov(X, Y)/Var(X); Parametrelerin değerlerinin tahmini Parametrelerin değerlerini tahmin edin Şimdi X ve Y verilerine b1ve b2 için EKK tahmincileri uygulayıp gerçek değerlere göre nasıl tahminler elde edeceğimizi göreceğiz. 19

Tekrar dağılma diyagramını inceleyelim. 31

Regresyon tahmincileri yalnızca gözlenen X ve Y verilerini kullanır. 32

Burada verilere uydurulan regresyon denklemi vardır. 33

Karşılaştırma için, gerçek ilişkinin stokastik olmayan unsuruda gösterilmiştir. b2 (gerçek değeri 0.50) aşırı tahmin edilirken b1 (gerçek değer 2.00) aşağıda tahmin edilmiştir.. 34

Y’nin ayni stokastik olmayan unsuruyla başlayarak süreci tekrar inceliyoruz. 35

Daha önceden gösterildiği üzere, Y’nin değerleri tesadüfi olarak üretilen karışıklık terimi değerleri ilave edilerek elde edilir. 36

Karışıklık teriminin yeni değerleri daha önceden olduğu gibi ayni N(0,1) dağılımından çekilirken yalnızca bir tanesi şansa bağlı değildir. 37

Bu defa eğim katsayısı gerçek değerinin altında, sabit ise gerçek değerinin üzerinde tahmin edilmiştir. 38

Süreci bir kez daha tekrar edelim. 39

Tesadüfi sayıların yeni seti Y’nin değerlerinin üretilmesinde kullanılmıştır. 40

Burada da, gerçek değerlerden eğim katsayısı altta, sabit katsayı ise üstte tahmin edilmiştir. 41

Tekerrür b b2 Tablo üç regresyon ve ayrıca sürecin 7 kez tekrar edilmesiyle elde edilen sonuçlar özetlenmiştir. 42

10 replications Burada b2 tahminlerinin histogramı vardır. Ancak henüz hiçbir şey net olarak görülmemektedir. 43

Burada sürecin ilave 40 tekerrüründen elde edilen b2 tahminleri vardır. 44

50 tekerrür Histogram merkezi eğilim göstermeye başlamıştır. 45

100 tekerrür Bu 100 tekerrürün histogramıdır. Burada şunu görebiliriz: gerçek değerin etrafında simetrik bir şekilde ortaya çıkmaktadır ki buda tahmincilerin sapmasız olduğunu gösterir. 46

100 tekerrür Yine de , dağılım hala oldukça girintili çıkıntılıdır. Aslında biz bu süreci en az 1000 tekrar etmeliyiz. 47

100 tekerrür Kırmızı çizgi dağılımın biçiminin sınırlarını göstermektedir. Gerçek değerin etrafında simetrik olup, tahmincinin sapmasız olduğunu doğrulamaktadır. 48

100 tekerrür Dağılım normaldir. Karışıklık terimleri normal dağılımdan çekilmiştir. 49

Copyright Christopher Dougherty 1999-2001
Copyright Christopher Dougherty This slideshow may be freely copied for personal use.

GAUSS-MARKOV TEOREMİ İLE b1 VE b2’nin SAPMASIZLIĞI

Benzer bir sunumlar

... konulu sunumlar: "GAUSS-MARKOV TEOREMİ İLE b1 VE b2’nin SAPMASIZLIĞI"— Sunum transkripti:

Benzer bir sunumlar

Proje hakkında

Geri bildirim

Giriş

Sosyal ağ üzerinden giriş yapmak:

GAUSS-MARKOV TEOREMİ İLE b1 VE b2’nin SAPMASIZLIĞI

Benzer bir sunumlar

... konulu sunumlar: "GAUSS-MARKOV TEOREMİ İLE b1 VE b2’nin SAPMASIZLIĞI"— Sunum transkripti:

Benzer bir sunumlar

Proje hakkında

Geri bildirim