Tesadüfi Değişken Olarak Regresyon Katsayıları Gerçek model Tahmin edilen model Regresyon katsayıları tesadüfi değişkenlerin özel tipidir. X ile Y arasındaki ilişkiyi gösteren basit regresyon modelini kullanarak bu durumu açıklayalım. Yukarıdaki iki eşitlik gerçek model ve tahmin edilen regresyon modelini gösterir. 1

Tesadüfi Değişken Olarak Regresyon Katsayıları Yukarıda gösterilen eğim katsayısının basit EKK tahmincisinin davranışını araştıralım. 2

Tesadüfi Değişken Olarak Regresyon Katsayıları Burada b2, X ve Y’ye bağlı iken, diğer taraftan Y’deki değişim X, u ve b1 ve b2 parametrelerine bağlıdır. Bu nedenle Y’nin davranışı sonuçta X, u, ve parametreler tarafından etkilenmektedir. 3

Tesadüfi Değişken Olarak Regresyon Katsayıları b2’nin davranışını gereği gibi açıklamak için, Y yerine gerçek modeli yerine yazıyoruz. 4

Tesadüfi Değişken Olarak Regresyon Katsayıları İlk kovaryans kuralını kullanarak , payı üç kısma ayıralım. 5

Tesadüfi Değişken Olarak Regresyon Katsayıları b1 Sabit olduğundan, Cov(X,b1)sıfırdır. 6

Tesadüfi Değişken Olarak Regresyon Katsayıları İkinci kovaryans kuralını kullanarak, b2’yi orta terimin dışına alabiliriz. 7

Tesadüfi Değişken Olarak Regresyon Katsayıları Cov(X, X) ile Var(X) ayni ifadedir. Böylece b2’ iki kısma ayrılabilir : gerçek değer, b2, ve hata terimi. 8

Tesadüfi Değişken Olarak Regresyon Katsayıları Hata terimi, örnekteki her gözlemin karışıklık teriminin(disturbance term ) değerine bağlıdır, ve böylece tesadüfi değişkenin özel biçimi olmaktadır. 9

Tesadüfi Değişken Olarak Regresyon Katsayıları Biz onun b2 üzerindeki etkisini iki şekilde araştırabiliyoruz : İlki doğrudan Monte Carlo denemelerini kullanmak, ikinci ise analitik olarak . 10

Y’nin X parametre değerleri ve u tarafından belirlendiği modeli seçin Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Bir monte Carlo denemesi kontrol edilebilen şartlar altında regresyon tahmincilerinin özelliklerini değerlendirmek amacıyla laboratuar benzeri deneme yapmaktır. 11

Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Basit doğrusal regresyon uygulandığında EKK regresyon katsayılarının davranışını araştıralım. 11

Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Y’nin X-değişkeni ile hata terimi tarafından belirlendiğini varsayalım. Sonra X değişkeni değerleri ile parametre değerleri seçelim. 11

Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Ayrıca bilinen bir dağılımdan karışıklık terimleri (disturbance term) değerlerini üretelim . 11

Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Örnekteki Y’nin değerleri, X değişkeninin değerleri, parametreler ve karışıklık terimi tarafından belirlenecektir. 11

Model Tahminciler Parametrelerin değerlerinin tahmini Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Tahminciler Parametrelerin değerlerinin tahmini Ve sonra yalnızca Y ve X’ler kullanarak parametre tahminleri elde etmek için regresyon tekniğini kullanacağız. 16

Model Tahminciler Parametrelerin değerlerinin tahmini Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Tahminciler Parametrelerin değerlerinin tahmini Tesadüfi olarak elde edeceğimiz yeni karışıklık terimlerini kullanarak ayni X değişkeni ve ayni parametre değerleri ile süreci sonsuz sayıda tekrar edebiliriz. 16

Model Tahminciler Parametrelerin değerlerinin tahmini Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin Model Y’nin değerlerini üretin Tahminciler Parametrelerin değerlerinin tahmini Bu şekilde, regresyon tahmincileri için olasılık dağılımını elde edebiliriz. Ve ayrıca onların sapmalı ya da sapmasız olup olmadıklarını kontrol edebiliriz. 16

Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Y = b1 + b2X + u X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u bağımsız olup N(0,1) Model Y = 2.0 + 0.5X + u Y’nin değerlerini üretin Y’nin değerlerini üretin Tahminciler Parametrelerin değerlerinin tahmini Bu denemede örneğimizde 20 gözlem vardır. X, 1, 2, ..., 20 değerlerini almaktadır. b1 =2.0 ve b2 = 0.5’dir. 19

Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Y = b1 + b2X + u X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u bağımsız olup N(0,1) Model Y = 2.0 + 0.5X + u Y’nin değerlerini üretin Y’nin değerlerini üretin Tahminciler Parametrelerin değerlerinin tahmini (disturbance term) sıfır ortalamaya ve birim varyansa sahip olacak şekilde normal dağılım kullanılarak tesadüfi olarak üretilir. Böylece Y değerlerini üretiriz. 19

Parametrelerin değerlerini tahmin edin Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Y = b1 + b2X + u X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u bağımsız olup N(0,1) Model Y = 2.0 + 0.5X + u Y’nin değerlerini üretin Y’nin değerlerini üretin Tahminciler b2 = Cov(X, Y)/Var(X); Parametrelerin değerlerinin tahmini Parametrelerin değerlerini tahmin edin EEK tahmin tekniğini kullanarak Y’nin X’e göre regresyonu tahmin edip b1 ve b2 gerçek değerlerine göre b1 and b2 tahminlerimizin nasıl olduğunu göreceğiz. 19

Tesadüfi Değişken Olarak Regresyon Katsayıları X 2.0+0.5X u Y X 2.0+0.5X u Y 1 11 2 12 3 13 4 14 5 15 6 16 7 17 8 18 9 19 10 20 Y = 2.0 + 0.5X + u Burada keyfi birim esasına göre seçilen X değerleri vardır. 22

Tesadüfi Değişken Olarak Regresyon Katsayıları X 2.0+0.5X u Y X 2.0+0.5X u Y 1 2.5 11 7.5 2 3.0 12 8.0 3 3.5 13 8.5 4 4.0 14 9.0 5 4.5 15 9.5 6 5.0 16 10.0 7 5.5 17 10.5 8 6.0 18 11.0 9 6.5 19 11.5 10 7.0 20 12.0 Y = 2.0 + 0.5X + u Verilen b1 ve b2 katsayılarını kullanarak, Y’nin stokastik olmayan unsurunu elde edebiliriz. 23

Tesadüfi Değişken Olarak Regresyon Katsayıları Stokastik olmayan unsur grafiksel olarak gösterilebilir. 24

Tesadüfi Değişken Olarak Regresyon Katsayıları X 2.0+0.5X u Y X 2.0+0.5X u Y 1 2.5 -0.59 11 7.5 1.59 2 3.0 -0.24 12 8.0 -0.92 3 3.5 -0.83 13 8.5 -0.71 4 4.0 0.03 14 9.0 -0.25 5 4.5 -0.38 15 9.5 1.69 6 5.0 -2.19 16 10.0 0.15 7 5.5 1.03 17 10.5 0.02 8 6.0 0.24 18 11.0 -0.11 9 6.5 2.53 19 11.5 -0.91 10 7.0 -0.13 20 12.0 1.42 Y = 2.0 + 0.5X + u Sonra N(0,1) dağılımını kullanarak her bir gözlem için tesadüfi bir şekilde karışıklık terimi değeri üretilir. 25

Tesadüfi Değişken Olarak Regresyon Katsayıları X 2.0+0.5X u Y X 2.0+0.5X u Y 1 2.5 -0.59 1.91 11 7.5 1.59 2 3.0 -0.24 12 8.0 -0.92 3 3.5 -0.83 13 8.5 -0.71 4 4.0 0.03 14 9.0 -0.25 5 4.5 -0.38 15 9.5 1.69 6 5.0 -2.19 16 10.0 0.15 7 5.5 1.03 17 10.5 0.02 8 6.0 0.24 18 11.0 -0.11 9 6.5 2.53 19 11.5 -0.91 10 7.0 -0.13 20 12.0 1.42 Y = 2.0 + 0.5X + u Örneğin ilk gözlem için Y’nin değeri 2.50 değil 1.91 olarak elde edilir. 26

Tesadüfi Değişken Olarak Regresyon Katsayıları X 2.0+0.5X u Y X 2.0+0.5X u Y 1 2.5 -0.59 1.91 11 7.5 1.59 9.09 2 3.0 -0.24 2.76 12 8.0 -0.92 7.08 3 3.5 -0.83 2.67 13 8.5 -0.71 7.79 4 4.0 0.03 4.03 14 9.0 -0.25 8.75 5 4.5 -0.38 4.12 15 9.5 1.69 11.19 6 5.0 -2.19 2.81 16 10.0 0.15 10.15 7 5.5 1.03 6.53 17 10.5 0.02 10.52 8 6.0 0.24 6.24 18 11.0 -0.11 10.89 9 6.5 2.53 9.03 19 11.5 -0.91 10.59 10 7.0 -0.13 6.87 20 12.0 1.42 13.42 Y = 2.0 + 0.5X + u Benzer şekilde diğer 19 gözlem için Y’nin değerleri üretilir. 27

Tesadüfi Değişken Olarak Regresyon Katsayıları 20 gözlemin dağılımı yukarıdadır. 28

Bu noktada biz Monte Carlo denemelerine ulaştık. Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Y = b1 + b2X + u X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u bağımsız olup N(0,1) Model Y = 2.0 + 0.5X + u Y’nin değerlerini üretin Y’nin değerlerini üretin Tahminciler Parametrelerin değerlerinin tahmini Bu noktada biz Monte Carlo denemelerine ulaştık. 19

Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin Y = b1 + b2X + u X için veri seçin Parametre değerlerini seçin u’nun dağılımını seçin X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u bağımsız olup N(0,1) Model Y = 2.0 + 0.5X + u Y’nin değerlerini üretin Y’nin değerlerini üretin Tahminciler b2 = Cov(X, Y)/Var(X); Parametrelerin değerlerinin tahmini Parametrelerin değerlerini tahmin edin Şimdi X ve Y verilerine b1ve b2 için EKK tahmincileri uygulayıp gerçek değerlere göre nasıl tahminler elde edeceğimizi göreceğiz. 19

Tesadüfi Değişken Olarak Regresyon Katsayıları Tekrar dağılma diyagramını inceleyelim. 31

Tesadüfi Değişken Olarak Regresyon Katsayıları Regresyon tahmincileri yalnızca gözlenen X ve Y verilerini kullanır. 32

Tesadüfi Değişken Olarak Regresyon Katsayıları Burada verilere uydurulan regresyon denklemi vardır. 33

Tesadüfi Değişken Olarak Regresyon Katsayıları Y = 2.0 + 0.5X + u Karşılaştırma için, gerçek ilişkinin stokastik olmayan unsuruda gösterilmiştir. b2 (gerçek değeri 0.50) aşırı tahmin edilirken b1 (gerçek değer 2.00) aşağıda tahmin edilmiştir.. 34

Tesadüfi Değişken Olarak Regresyon Katsayıları Y’nin ayni stokastik olmayan unsuruyla başlayarak süreci tekrar inceliyoruz. 35

Tesadüfi Değişken Olarak Regresyon Katsayıları Daha önceden gösterildiği üzere, Y’nin değerleri tesadüfi olarak üretilen karışıklık terimi değerleri ilave edilerek elde edilir. 36

Tesadüfi Değişken Olarak Regresyon Katsayıları Karışıklık teriminin yeni değerleri daha önceden olduğu gibi ayni N(0,1) dağılımından çekilirken yalnızca bir tanesi şansa bağlı değildir. 37

Tesadüfi Değişken Olarak Regresyon Katsayıları Y = 2.0 + 0.5X + u Bu defa eğim katsayısı gerçek değerinin altında, sabit ise gerçek değerinin üzerinde tahmin edilmiştir. 38

Tesadüfi Değişken Olarak Regresyon Katsayıları Süreci bir kez daha tekrar edelim. 39

Tesadüfi Değişken Olarak Regresyon Katsayıları Tesadüfi sayıların yeni seti Y’nin değerlerinin üretilmesinde kullanılmıştır. 40

Tesadüfi Değişken Olarak Regresyon Katsayıları Y = 2.0 + 0.5X + u Burada da, gerçek değerlerden eğim katsayısı altta, sabit katsayı ise üstte tahmin edilmiştir. 41

Tesadüfi Değişken Olarak Regresyon Katsayıları Tekerrür b1 b2 1 1.63 0.54 2 2.52 0.48 3 2.13 0.45 4 2.14 0.50 5 1.71 0.56 6 1.81 0.51 7 1.72 0.56 8 3.18 0.41 9 1.26 0.58 10 1.94 0.52 Tablo üç regresyon ve ayrıca sürecin 7 kez tekrar edilmesiyle elde edilen sonuçlar özetlenmiştir. 42

Tesadüfi Değişken Olarak Regresyon Katsayıları 10 replications Burada b2 tahminlerinin histogramı vardır. Ancak henüz hiçbir şey net olarak görülmemektedir. 43

Tesadüfi Değişken Olarak Regresyon Katsayıları 1-10 11-20 21-30 31-40 41-50 0.54 0.49 0.54 0.52 0.49 0.48 0.54 0.46 0.47 0.50 0.45 0.49 0.45 0.54 0.48 0.50 0.54 0.50 0.53 0.44 0.56 0.54 0.41 0.51 0.53 0.51 0.52 0.53 0.51 0.48 0.56 0.49 0.53 0.47 0.47 0.41 0.53 0.47 0.55 0.50 0.58 0.60 0.51 0.51 0.53 0.52 0.48 0.47 0.58 0.51 Burada sürecin ilave 40 tekerrüründen elde edilen b2 tahminleri vardır. 44

Tesadüfi Değişken Olarak Regresyon Katsayıları 50 tekerrür Histogram merkezi eğilim göstermeye başlamıştır. 45

Tesadüfi Değişken Olarak Regresyon Katsayıları 100 tekerrür Bu 100 tekerrürün histogramıdır. Burada şunu görebiliriz: gerçek değerin etrafında simetrik bir şekilde ortaya çıkmaktadır ki buda tahmincilerin sapmasız olduğunu gösterir. 46

Tesadüfi Değişken Olarak Regresyon Katsayıları 100 tekerrür Yine de , dağılım hala oldukça girintili çıkıntılıdır. Aslında biz bu süreci en az 1000 tekrar etmeliyiz. 47

Tesadüfi Değişken Olarak Regresyon Katsayıları 100 tekerrür Kırmızı çizgi dağılımın biçiminin sınırlarını göstermektedir. Gerçek değerin etrafında simetrik olup, tahmincinin sapmasız olduğunu doğrulamaktadır. 48

Tesadüfi Değişken Olarak Regresyon Katsayıları 100 tekerrür Dağılım normaldir. Karışıklık terimleri normal dağılımdan çekilmiştir. 49