GAUSS-MARKOV TEOREMİ İLE b1 VE b2’nin SAPMASIZLIĞI Basit Regresyon Model: Y = b1 + b2X + u Gauss-Markov Şartları: 1. E(ui) = 0 Regresyon katsayılarının istenen özelliklere sahip olması hata terimi ile ilgili şu dört varsayıma bağlıdır. conditions are satisfied. 1

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Basit Regresyon Model: Y = b1 + b2X + u Gauss-Markov Şartları: 1. E(ui) = 0 İlki, u hata terimimin beklenen değeri sıfır olup, bu nedenle de y’i ne pozitif ne de negatif olarak etkileme eğiliminde değildir. 2

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 1. E(ui) = 0 Suppose E(ui) = mu 0. Eğer denklemde sabit terim var ise bu şartın kendiliğinde sağlanacağını varsaymak gayet mantıklıdır. u’nun ortalamasının 0 olmadığını kabul edelim. 3

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 1. E(ui) = 0 Suppose E(ui) = mu 0. Define v = u - mu, so u = v + mu u’nun ortalamasından sapmaya eş değer yeni bir tesadüfi değişken (v) tanımlayalım. 4

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 1. E(ui) = 0 Suppose E(ui) = mu 0. Define v = u - mu, so u = v + mu Then Y = b1 + b2X + v + mu = (b1 +mu) + b2X + v Modeli yeniden düzenleyelim 5

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 1. E(ui) = 0 Suppose E(ui) = mu 0. Define v = u - mu, so u = v + mu Then Y = b1 + b2X + v + mu = (b1 +mu) + b2X + v where E(v) = E(u - mu) = E(u) - E(mu) = 0 Yeni modeldeki hata terimi ilk şartı sağlayacaktır. Fakat sabit terim sapmalı olacaktır. 6

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 1. E(ui) = 0 Suppose E(ui) = mu 0. Define v = u - mu, so u = v + mu Then Y = b1 + b2X + v + mu = (b1 +mu) + b2X + v where E(v) = E(u - mu) = E(u) - E(mu) = 0 Sabit terim genellikle Y’deki her hangi bir sistematik etkiyi üzerinde topladığından dolayı bu durumu kabul edebiliriz. This is usually acceptable because the role of the constant is usually to pick up any systematic tendency in Y not accounted for by the explanatory variable(s). 7

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Normality assumption u has a normal distribution In addition to the Gauss-Markov conditions, one usually assumes that the disturbance term is normally distributed. This is necessary for the validity of the usual tests. 21

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 2. population variance of ui is the same for all i İkinci şart şudur: Örnekteki farklı gözlemlere göre hata teriminin değerleri sabit varyanslı dağılımdan çekilmiştir. 8

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 2. population variance of ui is the same for all i Bu şartın ayrıntıları farklı varyans konusunda ele alınacaktır. 9

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 3. population covariance of ui and uj = 0, all i not equal to j ÜÇ The third condition is that value of the disturbance term in any observation should be independent of its value in any other observation. 10

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 3. population covariance of ui and uj = 0, all i not equal to j Again, a discussion of the meaning and implications of this condition will be deferred until we come to the topic of autocorrelation (the violation of the condition). 11

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 4. X nonstochastic For example, stratified random sample, sample size 1,000: S n 8 10 9 30 10 50 11 70 12 430 13 100 , etc The final condition comes in two versions, weak and strong. The strong version is that the explanatory variable(s) should be nonstochastic, that is, not have random components. 12

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 4. X nonstochastic For example, stratified random sample, sample size 1,000: S n 8 10 9 30 10 50 11 70 12 430 13 100 , etc This is actually very unrealistic for economic variables and we will eventually switch to the weak version of the condition, where the explanatory variables are allowed to have random components provided that they are distributed independently of the disturbance term. 13

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 4. X nonstochastic For example, stratified random sample, sample size 1,000: S n 8 10 9 30 10 50 11 70 12 430 13 100 , etc However for the time being we will use the strong version because it simplifies our analysis of the properties of the estimators. 14

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 4. X nonstochastic For example, stratified random sample, sample size 1,000: S n 8 10 9 30 10 50 11 70 12 430 13 100 , etc Here is an example of a nonstochastic explanatory variable. Suppose that we are relating earnings to years of schooling, S, defined as the highest grade completed. 15

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 4. X nonstochastic For example, stratified random sample, sample size 1,000: S n 8 10 9 30 10 50 11 70 12 430 13 100 , etc Suppose that we know from the national census that 1% of the population have S = 8, 3% have S = 9, 5% have HGC=10, 7% have S = 11, 43% have S = 12 (graduation from high school), and so on. 16

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 4. X nonstochastic For example, stratified random sample, sample size 1,000: S n 8 10 9 30 10 50 11 70 12 430 13 100 , etc Suppose that we have decided to undertake a survey with sample size 1,000 and we want the sample to match the population as far as possible. 17

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 4. X nonstochastic For example, stratified random sample, sample size 1,000: S n 8 10 9 30 10 50 11 70 12 430 13 100 , etc We might then select what is known as a stratified random sample, designed so that it includes 10 individuals with S = 8, 30 individuals with S = 9, and so on. 18

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 4. X nonstochastic For example, stratified random sample, sample size 1,000: S n 8 10 9 30 10 50 11 70 12 430 13 100 , etc The values of S in the sample would then be predetermined and therefore nonstochastic. 19

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Gauss-Markov conditions 4. X nonstochastic For example, stratified random sample, sample size 1,000: S n 8 10 9 30 10 50 11 70 12 430 13 100 , etc Schooling and other demographic variables in large surveys drawn in such a way as to be representative of the population as a whole, like the National Longitudinal Survey of Youth, probably approximate this condition quite well. 20

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness We will now investigate the properties of the OLS estimators, starting with the slope coefficient. 22

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness The first step is to express the estimator in terms of its fundamental components by substituting for Y from the true model. 23

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness We have already done this once in the previous sequence, but it will do no harm to do it again. Here we have used the first covariance rule to break up the numerator. 24

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness b1 is a constant, so the first term is zero. Using the second covariance rule, we can take b2 out of the second term. 25

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness Hence we obtain true value and error term. 26

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness To investigate unbiasedness, we now take the expectation of b2. 27

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness Using the first expected value rule, this may be decomposed as shown. 28

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness Since b2 is a constant, the first term is just b2. 29

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness By virtue of the assumption that X is nonstochastic, Var(X) is nonstochastic. Thus, using the second expected value rule, we may take it out of the second term. 30

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness The expected value of Cov(X, u) is zero. We will prove this. 31

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness We have used the second expected value rule to bring the factor (1/n) out of the expected value expression, and the first expected value rule to rewrite the expectation as the sum of the expectations of the individual terms. 32

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness Since X is nonstochastic, the term involving it and its mean can be taken out of each expectation as a factor. 33

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness The expected value of u in each observation is zero, and hence so is the expected value of its sample mean. Thus the expectation of Cov(X, u) is zero. 34

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness Thus we have demonstrated that b2 is an unbiased estimator of b2. 35

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness We will also demonstrate that b1 is an unbiased estimator of b1. 36

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness First we substitute for Y, or rather, in this case, its sample mean, using the true model. 37

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness Next we take expectations. 38

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness We use the first expected value rule to decompose the expectation as shown. 39

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness b1 is a constant, so its expected value is itself. b2 is also a constant, so it can be taken out of the second term as a factor. 40

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness The expectation of the sample mean of u is zero, so the third term is zero. Finally, the sample mean of X is nonstochastic, so it can be taken out of the fourth term as a factor. 41

GAUSS-MARKOV CONDITIONS AND UNBIASEDNESS OF b1 AND b2 Simple regression model: Y = b1 + b2X + u Unbiasedness We have just demonstrated that E(b2) is equal to b2. Hence b1 is an unbiased estimator of b1. 42

Tesadüfi Değişken Olarak Regresyon Katsayıları Regresyon katsayıları tesadüfi değişkenlerin özel tipidir. X ile Y arasındaki ilişkiyi gösteren basit regresyon modelini kullanarak bu durumu açıklayalım. Yukarıdaki iki eşitlik gerçek model ve tahmin edilen regresyon modelini gösterir. 1

Tesadüfi Değişken Olarak Regresyon Katsayıları Yukarıda gösterilen eğim katsayısının sıradan EKK tahmincisinin davranışını araştıralım. 2

Tesadüfi Değişken Olarak Regresyon Katsayıları Burada b2, X ve Y’ye bağlı iken, diğer taraftan Y’deki değişim X, u ve b1 ve b2 parametrelerine bağlıdır. Bu nedenle Y’nin davranışı sonuçta X ve u, ve parametreler tarafından etkilenmektedir. 3

Tesadüfi Değişken Olarak Regresyon Katsayıları b2’nin davranışını gereği gibi açıklamak için, Y yerine gerçek modeli yerine yazıyoruz. 4

Tesadüfi Değişken Olarak Regresyon Katsayıları İlk kovaryans kuralını kullanarak , payı üç kısma ayıralım. 5

Tesadüfi Değişken Olarak Regresyon Katsayıları b1 Sabit olduğundan, Cov(X,b1)sıfırdır. 6

Tesadüfi Değişken Olarak Regresyon Katsayıları İkinci kovaryans kuralını kullanarak, b2’yi orta terimin dışına alabiliriz. 7

Tesadüfi Değişken Olarak Regresyon Katsayıları Cov(X, X) ile Var(X) ayni ifadedir. Böylece b2’ iki kısma ayrılabilir : gerçek değer, b2, ve hata terimi. 8

Tesadüfi Değişken Olarak Regresyon Katsayıları Hata terimi, örnekteki her gözlemin karışıklık teriminin(disturbance term ) değerine bağlıdır, ve böylece de tesadüfi değişkenin özel biçimi olmaktadır. 9

Tesadüfi Değişken Olarak Regresyon Katsayıları Biz onun b2 üzerindeki etkisini iki şekilde araştırabiliyoruz : İlki doğrudan Monte Carlo denemelerini kullanmak, ikinci ise analitik olarak . 10

Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Bir monte Carlo denemesi kontrol edilebilen şartlar altında regresyon tahmincilerinin özelliklerini değerlendirmek amacıyla laboratuar benzeri deneme yapmaktır. 11

Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Basit doğrusal regresyon uygulandığında EKK regresyon katsayılarının davranışını araştıralım. 11

Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Y’nin X-değişkeni ile hata terimi tarafından belirlendiğini varsayalım. Sonra X değişkeni değerleri ile parametre değerleri seçelim. 11

Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Ayrıca bilinen bir dağılımdan karışıklık terimleri (disturbance term) değerlerini üretelim . 11

Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Örnekteki Y’nin değerleri, X değişkeninin değerleri, parametreler ve karışıklık terimi tarafından belirlenecektir. 11

Model Tahminciler Parametrelerin değerlerinin tahmini Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Tahminciler Parametrelerin değerlerinin tahmini Ve sonra yalnızca Y ve X’ler kullanarak parametre tahminleri elde etmek için regresyon tekniğini kullanacağız. 16

Model Tahminciler Parametrelerin değerlerinin tahmini Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Tahminciler Parametrelerin değerlerinin tahmini Tesadüfi olarak elde edeceğimiz yeni karışıklık terimlerini kullanarak ayni X değişkeni ve ayni parametre değerleri ile süreci sonsuz sayıda tekrar edebiliriz. 16

Model Tahminciler Parametrelerin değerlerinin tahmini Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Tahminciler Parametrelerin değerlerinin tahmini Bu şekilde, regresyon tahmincileri için olasılık dağılımını elde edebiliriz. Ve ayrıca onların sapmalı ya da sapmasız olup olmadıklarını kontrol edebiliriz. 16

Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Y = b1 + b2X + u X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u bağımsız olup N(0,1) Model Y = 2.0 + 0.5X + u Y’nin değerlerini üretin Y’nin değerlerini üretin Tahminciler Parametrelerin değerlerinin tahmini Bu denemede örneğimizde 20 gözlem vardır. X, 1, 2, ..., 20 değerlerini almaktadır. b1 =2.0 ve b2 = 0.5’dir. 19

Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Y = b1 + b2X + u X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u bağımsız olup N(0,1) Model Y = 2.0 + 0.5X + u Y’nin değerlerini üretin Y’nin değerlerini üretin Tahminciler Parametrelerin değerlerinin tahmini Karışıklık terimi (disturbance term) sıfır ortalamaya ve birim varyansa sahip olacak şekilde normal dağılım kullanılarak tesadüfi olarak üretilir. Böylece Y değerlerini üretiriz. 19

Parametrelerin değerlerini tahmin edin Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Y = b1 + b2X + u X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u bağımsız olup N(0,1) Model Y = 2.0 + 0.5X + u Y’nin değerlerini üretin Y’nin değerlerini üretin Tahminciler b2 = Cov(X, Y)/Var(X); Parametrelerin değerlerinin tahmini Parametrelerin değerlerini tahmin edin EEK tahmin tekniğini kullanarak Y’nin X’e göre regresyonu tahmin edip b1 ve b2 gerçek değerlerine göre b1 and b2 tahminlerimizin nasıl olduğunu göreceğiz. 19

Tesadüfi Değişken Olarak Regresyon Katsayıları X 2.0+0.5X u Y X 2.0+0.5X u Y 1 11 2 12 3 13 4 14 5 15 6 16 7 17 8 18 9 19 10 20 Y = 2.0 + 0.5X + u Burada keyfi birim esasına göre seçilen X değerleri vardır. 22

Tesadüfi Değişken Olarak Regresyon Katsayıları X 2.0+0.5X u Y X 2.0+0.5X u Y 1 2.5 11 7.5 2 3.0 12 8.0 3 3.5 13 8.5 4 4.0 14 9.0 5 4.5 15 9.5 6 5.0 16 10.0 7 5.5 17 10.5 8 6.0 18 11.0 9 6.5 19 11.5 10 7.0 20 12.0 Y = 2.0 + 0.5X + u Verilen b1 ve b2 katsayılarını kullanarak, Y’nin stokastik olmayan unsurunu elde edebiliriz. 23

Tesadüfi Değişken Olarak Regresyon Katsayıları Stokastik olmayan unsur grafiksel olarak gösterilebilir. 24

Tesadüfi Değişken Olarak Regresyon Katsayıları X 2.0+0.5X u Y X 2.0+0.5X u Y 1 2.5 -0.59 11 7.5 1.59 2 3.0 -0.24 12 8.0 -0.92 3 3.5 -0.83 13 8.5 -0.71 4 4.0 0.03 14 9.0 -0.25 5 4.5 -0.38 15 9.5 1.69 6 5.0 -2.19 16 10.0 0.15 7 5.5 1.03 17 10.5 0.02 8 6.0 0.24 18 11.0 -0.11 9 6.5 2.53 19 11.5 -0.91 10 7.0 -0.13 20 12.0 1.42 Y = 2.0 + 0.5X + u Sonra N(0,1) dağılımını kullanarak her bir gözlem için tesadüfi bir şekilde karışıklık terimi değeri üretilir. 25

Tesadüfi Değişken Olarak Regresyon Katsayıları X 2.0+0.5X u Y X 2.0+0.5X u Y 1 2.5 -0.59 1.91 11 7.5 1.59 2 3.0 -0.24 12 8.0 -0.92 3 3.5 -0.83 13 8.5 -0.71 4 4.0 0.03 14 9.0 -0.25 5 4.5 -0.38 15 9.5 1.69 6 5.0 -2.19 16 10.0 0.15 7 5.5 1.03 17 10.5 0.02 8 6.0 0.24 18 11.0 -0.11 9 6.5 2.53 19 11.5 -0.91 10 7.0 -0.13 20 12.0 1.42 Y = 2.0 + 0.5X + u Örneğin ilk gözlem için Y’nin değeri 2.50 değil 1.91 olarak elde edilir. 26

Tesadüfi Değişken Olarak Regresyon Katsayıları X 2.0+0.5X u Y X 2.0+0.5X u Y 1 2.5 -0.59 1.91 11 7.5 1.59 9.09 2 3.0 -0.24 2.76 12 8.0 -0.92 7.08 3 3.5 -0.83 2.67 13 8.5 -0.71 7.79 4 4.0 0.03 4.03 14 9.0 -0.25 8.75 5 4.5 -0.38 4.12 15 9.5 1.69 11.19 6 5.0 -2.19 2.81 16 10.0 0.15 10.15 7 5.5 1.03 6.53 17 10.5 0.02 10.52 8 6.0 0.24 6.24 18 11.0 -0.11 10.89 9 6.5 2.53 9.03 19 11.5 -0.91 10.59 10 7.0 -0.13 6.87 20 12.0 1.42 13.42 Y = 2.0 + 0.5X + u Benzer şekilde diğer 19 gözlem için Y’nin değerleri üretilir. 27

Tesadüfi Değişken Olarak Regresyon Katsayıları 20 gözlemin dağılımı yukarıdadır. 28

Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Y = b1 + b2X + u X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u bağımsız olup N(0,1) Model Y = 2.0 + 0.5X + u Y’nin değerlerini üretin Y’nin değerlerini üretin Tahminciler Parametrelerin değerlerinin tahmini Bu noktada biz Monte Carlo denemelerine ulaştık. 19

Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Y = b1 + b2X + u X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u bağımsız olup N(0,1) Model Y = 2.0 + 0.5X + u Y’nin değerlerini üretin Y’nin değerlerini üretin Tahminciler b2 = Cov(X, Y)/Var(X); Parametrelerin değerlerinin tahmini Parametrelerin değerlerini tahmin edin Şimdi X ve Y verilerine b1ve b2 için EKK tahmincileri uygulayıp gerçek değerlere göre nasıl tahminler elde edeceğimizi göreceğiz. 19

Tesadüfi Değişken Olarak Regresyon Katsayıları Tekrar dağılma diyagramını inceleyelim. 31

Tesadüfi Değişken Olarak Regresyon Katsayıları Regresyon tahmincileri yalnızca gözlenen X ve Y verilerini kullanır. 32

Tesadüfi Değişken Olarak Regresyon Katsayıları Burada verilere uydurulan regresyon denklemi vardır. 33

Tesadüfi Değişken Olarak Regresyon Katsayıları Karşılaştırma için, gerçek ilişkinin stokastik olmayan unsuruda gösterilmiştir. b2 (gerçek değeri 0.50) aşırı tahmin edilirken b1 (gerçek değer 2.00) aşağıda tahmin edilmiştir.. 34

Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin ayni stokastik olmayan unsuruyla başlayarak süreci tekrar inceliyoruz. 35

Tesadüfi Değişken Olarak Regresyon Katsayıları Daha önceden gösterildiği üzere, Y’nin değerleri tesadüfi olarak üretilen karışıklık terimi değerleri ilave edilerek elde edilir. 36

Tesadüfi Değişken Olarak Regresyon Katsayıları Karışıklık teriminin yeni değerleri daha önceden olduğu gibi ayni N(0,1) dağılımından çekilirken yalnızca bir tanesi şansa bağlı değildir. 37

Tesadüfi Değişken Olarak Regresyon Katsayıları Bu defa eğim katsayısı gerçek değerinin altında, sabit ise gerçek değerinin üzerinde tahmin edilmiştir. 38

Tesadüfi Değişken Olarak Regresyon Katsayıları Süreci bir kez daha tekrar edelim. 39

Tesadüfi Değişken Olarak Regresyon Katsayıları Tesadüfi sayıların yeni seti Y’nin değerlerinin üretilmesinde kullanılmıştır. 40

Tesadüfi Değişken Olarak Regresyon Katsayıları Burada da, gerçek değerlerden eğim katsayısı altta, sabit katsayı ise üstte tahmin edilmiştir. 41

Tesadüfi Değişken Olarak Regresyon Katsayıları Tekerrür b1 b2 1 1.63 0.54 2 2.52 0.48 3 2.13 0.45 4 2.14 0.50 5 1.71 0.56 6 1.81 0.51 7 1.72 0.56 8 3.18 0.41 9 1.26 0.58 10 1.94 0.52 Tablo üç regresyon ve ayrıca sürecin 7 kez tekrar edilmesiyle elde edilen sonuçlar özetlenmiştir. 42

Tesadüfi Değişken Olarak Regresyon Katsayıları 10 replications Burada b2 tahminlerinin histogramı vardır. Ancak henüz hiçbir şey net olarak görülmemektedir. 43

Tesadüfi Değişken Olarak Regresyon Katsayıları 1-10 11-20 21-30 31-40 41-50 0.54 0.49 0.54 0.52 0.49 0.48 0.54 0.46 0.47 0.50 0.45 0.49 0.45 0.54 0.48 0.50 0.54 0.50 0.53 0.44 0.56 0.54 0.41 0.51 0.53 0.51 0.52 0.53 0.51 0.48 0.56 0.49 0.53 0.47 0.47 0.41 0.53 0.47 0.55 0.50 0.58 0.60 0.51 0.51 0.53 0.52 0.48 0.47 0.58 0.51 Burada sürecin ilave 40 tekerrüründen elde edilen b2 tahminleri vardır. 44

Tesadüfi Değişken Olarak Regresyon Katsayıları 50 tekerrür Histogram merkezi eğilim göstermeye başlamıştır. 45

Tesadüfi Değişken Olarak Regresyon Katsayıları 100 tekerrür Bu 100 tekerrürün histogramıdır. Burada şunu görebiliriz: gerçek değerin etrafında simetrik bir şekilde ortaya çıkmaktadır ki buda tahmincilerin sapmasız olduğunu gösterir. 46

Tesadüfi Değişken Olarak Regresyon Katsayıları 100 tekerrür Yine de , dağılım hala oldukça girintili çıkıntılıdır. Aslında biz bu süreci en az 1000 tekrar etmeliyiz. 47

Tesadüfi Değişken Olarak Regresyon Katsayıları 100 tekerrür Kırmızı çizgi dağılımın biçiminin sınırlarını göstermektedir. Gerçek değerin etrafında simetrik olup, tahmincinin sapmasız olduğunu doğrulamaktadır. 48

Tesadüfi Değişken Olarak Regresyon Katsayıları 100 tekerrür Dağılım normaldir. Karışıklık terimleri normal dağılımdan çekilmiştir. 49

Copyright Christopher Dougherty 1999-2001 Copyright Christopher Dougherty 1999-2001. This slideshow may be freely copied for personal use.