ELE 574: RASTGELE SÜREÇLER Konu 3: Rastgele Vektörler ve En Küçük Ortalama Kare Hata Kestirimi

3.1 Temel Kavramlar ve Özellikler Rastgele vektör 𝑋= 𝑋 1 , 𝑋 2 ,…, 𝑋 𝑚 𝑇 Aynı olasılık uzayında Beklenen değer E 𝑋 = 𝐸 𝑋 1 , 𝐸 𝑋 2 ,…, 𝐸[𝑋 𝑚 ] 𝑇 Başka bir Y vektörü ile Çapraz İlinti Matrisi 𝐸[𝑋 𝑌 𝑇 ] (i,j) entry? Çapraz kovaryans matrisi 𝐶𝑜𝑣 𝑋,𝑌 Çapraz Kovaryans Matrisi Cov X =𝐸 𝑋 𝑋 𝑇 Özellikler 𝐸 𝐴𝑋+𝑏 =𝐴𝐸 𝑋 +𝑏 𝐶𝑜𝑣 𝑋,𝑌 =𝐸 𝑋 𝑌 𝑇 − 𝐸[𝑋] 𝐸[𝑌] 𝑇 𝐸 𝐴𝑋 𝐶 𝑌 𝑇 =𝐴𝐸 𝑋 𝑌 𝑇 𝐶 𝑇 𝐶𝑜𝑣 𝐴𝑋+𝑏,𝐶𝑌+𝑑 =𝐴𝐶𝑜𝑣 𝑋,𝑌 𝐶 𝑇 𝐶𝑜𝑣 𝐴𝑋+𝑏 )=𝐴𝐶𝑜𝑣 𝑋 𝐴 𝑇 𝐶𝑜𝑣 𝑊+𝑋,𝑌+𝑍 =𝐶𝑜𝑣 𝑊,𝑌 +𝐶𝑜𝑣 𝑊,𝑍 +𝐶𝑜𝑣 𝑋,𝑌 +𝐶𝑜𝑣(𝑋,𝑍) Korelasyon ve kovaryans matrisinde Diagonal elemanlar pozitif olmalı, ayrıca matris Schwarz eşitsizliğini sağlamalı Proposition 3.1: Simetrik pozitive semidefinite (?) matris olmalı

3.1 MMSE Kestirim için Dikgenlik Prensibi X’in kestirimini yapmak istiyoruz Sabit sayı: b, Hata: X-b, MSE: 𝐸 𝑋−𝑏 2 ≥𝑉𝑎𝑟(𝑋) Beklenen değer : 𝐸 𝑋 , Hata 𝑋−𝐸 𝑋 , MSE: 𝑉𝑎𝑟(𝑋) Burada Hata ve b sayısı birbirine dik 𝐸 𝑋−𝐸 𝑋 𝑏 =0 Bu genelleştirebiliriz: İyi bir kestirici için hatanın kestirime dik(orthogonal) olması gerekmektedir. Dikgenlik: 𝐸 𝑋𝑌 =0 𝑋 𝑖𝑙𝑒 𝑌 𝑏𝑖𝑟𝑏𝑖𝑟𝑖𝑛𝑒 𝑑𝑖𝑘 MMSE kestirim Z ∗ =min 𝑍∈𝒱 𝐸[ 𝑋−𝑍 2 ] Π 𝒱 𝑋 : Projection of X onto 𝒱 Teorem 3.2: Orthogonality Principle Existence and uniqueness of 𝑍 ∗ 𝑟.𝑑. 𝑊 = 𝑍 ∗ 𝑋−𝑊 ⊥ 𝑍, ∀𝑍 𝑖𝑛 𝒱 MMSE hata: 𝐸 𝑋− 𝑍 ∗ 2 =𝐸 𝑋 2 −𝐸 𝑍 ∗ 2

3.2 MMSE Kestirim için Dikgenlik Prensibi Proposition 3.3: İzdüşümün doğrusallığı Π 𝒱 𝑎 1 𝑋 1 + 𝑎 2 𝑋 2 = 𝑎 1 Π 𝒱 𝑋 1 + 𝑎 2 Π 𝒱 𝑋 2 (Sayfa 81) Proposition 3.4: Birbirini kapsayan uzaylar: 𝒱 1 , 𝒱 2 doğrusal uzaylar ve 𝒱 2 ⊂ 𝒱 1 O zaman Π 𝒱 2 𝑋 = Π 𝒱 2 Π 𝒱 1 𝑋 (art arda iki izdüşüm) 𝐸 𝑋− Π 𝒱 2 𝑋 2 =𝐸 𝑋− Π 𝒱 1 𝑋 2 +𝐸 Π 𝒱 1 𝑋 − Π 𝒱 2 𝑋 2 Π 𝒱 1 𝑋 − Π 𝒱 2 𝑋 2 Proposition 3.5: Birbirine dik uzaylar 𝒱 1 ve 𝒱 2 birbirine dik uzaylar 𝒱= 𝒱 1 + 𝒱 2 Π 𝒱 𝑋 = Π 𝒱 1 𝑋 + Π 𝒱 2 𝑋 𝐸 𝑋− Π 𝒱 𝑋 2 =𝐸 𝑋 2 −𝐸 Π 𝒱 1 𝑋 2 −𝐸 Π 𝒱 2 𝑋 2

3.3 Koşullu Beklenen Değer ve Doğrusal Kestiriciler Bir 𝑌 gözlemine dayanarak X’in kestirimini yapıyoruz Kestirici 𝑔 𝑌 : Bütün olası fonksiyonlar 𝒱= 𝑔 𝑌 : 𝑔: ℛ 𝑚 →ℛ, 𝐸 𝑔 𝑌 2 <∞ Veya sadece doğrusal fonksiyonlar 𝐸 𝑋−𝑔 𝑌 2 = 𝑅 𝑚 𝐸 𝑋−𝑔 𝑌 2 |𝑌=𝑦 𝑓 𝑌 𝑦 𝑑𝑦 𝑔 ∗ 𝑦 =𝐸 𝑋 𝑌=𝑦 , 𝑔 ∗ 𝑌 =𝐸[𝑋|𝑌] Dikgenlik prensibinden: 𝑋− 𝑔 ∗ (𝑌) ⊥ 𝑔(𝑌) 𝐸 𝑋−𝐸 𝑋 𝑌 𝑔 𝑌 ) =0 Vektör kestirimi 𝐸 𝑋−𝑔 𝑌 2 = 𝑖=1 𝑚 𝐸 𝑋 𝑖 − 𝑔 𝑖 (𝑌) 2 𝑔 ∗ 𝑌 =𝐸 𝑋|𝑌 = 𝐸 𝑋 1 𝑌 ,𝐸 𝑋 2 𝑌 ,…,𝐸 𝑋 𝑚 𝑌 𝑇 𝐸 𝑒 =0 𝐶𝑜𝑣 𝑒 =𝐶𝑜𝑣 𝑋 −𝐶𝑜𝑣(𝐸[𝑋|𝑌])

3.3 Koşullu Beklenen Değer ve Doğrusal Kestiriciler Genel kestiriciyi (𝐸[𝑋|𝑌]) hesaplamak çok zor olabilir Doğrusal Kestiriciler: 𝑔 𝑌 =𝑎𝑌+𝑏 MSE’yi minimize edecek doğrusal kestirici 𝐸 𝑋 𝑌 =𝐸 𝑋 + 𝐶𝑜𝑣 𝑋,𝑌 𝐶𝑜𝑣 𝑌,𝑌 𝑌−𝐸[𝑌] 𝐶𝑜𝑣 𝑒 =𝐶𝑜𝑣 𝑋 −𝐶𝑜𝑣 𝑋,𝑌 𝐶𝑜𝑣 𝑌,𝑌 −1 𝐶𝑜𝑣(𝑌,𝑋) Karşılaştırma (𝐸 𝑋 , 𝐷𝑜ğ𝑟𝑢𝑠𝑎𝑙 𝐸 𝑋 𝑌 𝑣𝑒 𝐸[𝑋|𝑌]) (Proposition 3.3) Hepsi doğrusal fonksiyonlar (Proposition 3.4) 𝐸 𝑋−𝐸[𝑋|𝑌] 2 ≤𝐸 𝑋− 𝐸 𝑋 𝑌 2 ≤𝑉𝑎𝑟(𝑋)

3.4 Ortak Gauss Dağılımı ve Vektörler 𝑓 𝑋 𝑥 = 1 2𝜋 𝜎 2 𝑒 − 𝑥−𝜇 2 2 𝜎 2 , Φ 𝑋 𝑢 = 𝑒 − 𝑢 2 𝜎 2 2 +𝑗𝜇𝑢 Lemma 3.6: 𝑋 1 , 𝑋 2 , … 𝑋 𝑛 Gauss dağılımlı ise a 1 𝑋 1 + 𝑎 2 𝑋 2 ,+… + 𝑎 𝑛 𝑋 𝑛 de Gauss dağılımlıdır. Tanım 3.7: Bir grup r.d. 𝑋 𝑖 :𝑖∈ 𝐼 ′ 𝑛𝑖𝑛 beraber Gauss dağılımlı olması için her türlü doğrusal bileşeninin Gauss dağılımlı olması gerekir. Bu durumda bunlardan oluşan vektör de Gauss dağılımlı olur. 𝑁 𝜇,𝐾 rastgele vektör, 𝜇 ortalama vektörü, K kovaryans matrisi Proposition 3.8 (ispat sf 90-92) 𝑋 𝑖 :𝑖∈ 𝐼 ortak Gauss dağılımlı ise her biri de Gauss dağılımlıdır Her biri Gauss dağılımlı ve bağımsızsa 𝑋 𝑖 :𝑖∈ 𝐼 ortak Gauss dağılımlıdır 𝑋 𝑖 :𝑖∈ 𝐼 ortak Gauss dağılımlı ve 𝑌 𝑗 bunların bir doğrusal bileşimi , 𝑍 𝑘 ise bu dizinin bir limiti ise 𝑌 𝑗 ve 𝑍 𝑘 ortak gauss dağılımlıdır. Karakteristik fonksiyon Φ 𝑋 𝑢 = 𝑒 − 𝑢 𝑇 𝐾𝑢 2 +𝑗 𝑢 𝑇 𝜇 K diyagonal matris ise X’ler bağımsızdır 𝑓 𝑋 𝑥 = 1 2𝜋 𝑚 2 𝐾 1 2 exp − 𝑥−𝜇 𝑇 𝐾 −1 𝑥−𝜇 2 X ve Y beraber Gauss ise ancak Cov(X,Y)=0 olduğunda bağımsız olurlar

3.4 Ortak Gauss Dağılımı ve Vektörler Proposition 3.9: X ve Y beraber Gauss dağılımlı ise 𝑓 𝑋|𝑌 𝑥 𝑌=𝑦 =𝒩 𝐸 𝑋 𝑌=𝑦 ,𝐶𝑜𝑣(𝑒) . Yani 𝐸 𝑋 𝑌 = 𝐸 𝑋|𝑌 . Yani MMSE kestirimi Doğrusal kestirim ile aynı olmaktadır. 𝐶𝑜𝑣 𝑒 =𝐶𝑜𝑣 𝑋 −𝐶𝑜𝑣 𝑋,𝑌 𝐶𝑜𝑣 𝑌 −1 𝐶𝑜𝑣(𝑌,𝑋)

3.5 Doğrusal Yenilik Dizileri 𝑋, 𝑌 1 ,…, 𝑌 𝑛 yanı uzayda rastgele vektörler 𝐸 𝑋 𝑌=𝑦 : Y vektörünün kovaryans matrisinin tersini almak zor 𝐸 𝑋 𝑌 𝑖 = 𝑦 𝑖 çok daha kolay 𝐸 𝑌 𝑖 =0, ∀𝑖 ise ve 𝐸 𝑌 𝑖 𝑌 𝑗 𝑇 =0, ∀𝑖,𝑗 ise 𝐸 𝑋 𝑌 1 ,…, 𝑌 𝑛 = 𝑋 + 𝑖=1 𝑛 𝐸 𝑋− 𝑋 𝑌 𝑖 𝑌 1 ,…, 𝑌 𝑛 birbirine dik değilse yukarıdaki formül uygulanamaz Ancak bu dizi dikgenleştirilebilir 𝑌 1 = 𝑌 1 −𝐸 𝑌 1 𝑌 𝑘 = 𝑌 𝑘 −𝐸 𝑌 𝑘 | 𝑌 1 ,…, 𝑌 𝑘−1 𝑌 1 , 𝑌 2 ,…, 𝑌 𝑛 dizisine doğrusal yenilik dizisi (linear innovations sequence) adı verilir.

3.5 Kalman Filtrelerine Giriş Bir rastgele diziden diğerini tahmin etmeye yarar. Durum: 𝑥 𝑘+1 = 𝐹 𝑘 𝑥 𝑘 + 𝑤 𝑘 , 𝑘≥0 Gözlem: 𝑦 𝑘 = 𝐻 𝑘 𝑇 𝑥 𝑘 + 𝑣 𝑘 , 𝑘≥0 Varsayımlar 𝑥 0 , 𝑣 0 , 𝑣 1 ,…, 𝑤 0 , 𝑤 1 ,… ilintisiz 𝐸 𝑥 0 = 𝑥 0 , 𝐶𝑜𝑣 𝑥 0 = 𝑃 0 , 𝐸 𝑤 𝑘 =0, 𝐶𝑜𝑣 𝑤 𝑘 = 𝑄 𝑘 , 𝐸 𝑣 𝑘 =0, 𝐶𝑜𝑣 𝑣 𝑘 = 𝑅 𝑘 𝐹 𝑘 , 𝐻 𝑘 , 𝑄 𝑘 , 𝑅 𝑘 , 𝑃 0 bilinen matrislerdir. 𝑥 0 , bilinen bir vektördür 𝐸 𝑥 𝑘 = 𝑥 𝑘 , 𝐶𝑜𝑣 𝑥 𝑘 = 𝑃 𝑘 𝑥 𝑘+1 = 𝐹 𝑘 𝑥 𝑘 𝑃 𝑘+1 = 𝐹 𝑘 𝑃 𝑘 𝐹 𝑘 𝑇 + 𝑄 𝑘

3.5 Kalman Filtrelerine Giriş 𝑦 𝑘 = 𝑦 0 , 𝑦 1 ,…, 𝑦 𝑘 𝑥 𝑖|𝑗 = 𝐸 𝑥 𝑖 | 𝑦 𝑗 ve Σ 𝑖|𝑗 =𝐶𝑜𝑣( 𝑥 𝑖 − 𝑥 𝑖|𝑗 ) Amaç 𝑥 𝑘+1|𝑘 ’yı hesaplamak Kalman denklemleri 𝑥 𝑘+1|𝑘 = 𝐹 𝑘 − 𝐾 𝑘 𝐻 𝑘 𝑇 𝑥 𝑘|𝑘−1 + 𝐾 𝑘 𝑦 𝑘 = 𝐹 𝑘 𝑥 𝑘|𝑘−1 + 𝐾 𝑘 𝑦 𝑘 − 𝐻 𝑘 𝑇 𝑥 𝑘|𝑘−1 𝑦 𝑘 − 𝐻 𝑘 𝑇 𝑥 𝑘|𝑘−1 𝑥 0|−1 = 𝑥 0 𝐾 𝑘 = 𝐹 𝑘 Σ 𝑘|𝑘−1 𝐻 𝑘 𝐻 𝑘 𝑇 Σ 𝑘|𝑘−1 𝐻 𝑘 + 𝑅 𝑘 −1 Σ 𝑘+1|𝑘 = 𝐹 𝑘 Σ 𝑘|𝑘−1 − Σ 𝑘|𝑘−1 𝐻 𝑘 𝐻 𝑘 𝑇 Σ 𝑘|𝑘−1 𝐻 𝑘 + 𝑅 𝑘 −1 𝐻 𝑘 𝑇 Σ 𝑘|𝑘−1 Σ 𝑘|𝑘−1 − Σ 𝑘|𝑘−1 𝐻 𝑘 𝐻 𝑘 𝑇 Σ 𝑘|𝑘−1 𝐻 𝑘 + 𝑅 𝑘 −1 𝐻 𝑘 𝑇 Σ 𝑘|𝑘−1 𝐹 𝑘 𝑇 + 𝑄 𝑘 Σ 0|−1 = 𝑃 0 Gözlemler 𝐻 𝑘 =0 olursa ne olur? Çoğu uygulamada (4) ve (5) önceden hesaplanabilir, gözlemler geldikçe (3) kullanılarak tahminler hesaplanır Bazı uygulamalarda matrisler 𝐹 𝑘 , 𝐻 𝑘 , 𝑄 𝑘 , 𝑅 𝑘 sabit k’dan bağımsız değerlere yakınsar ve 𝑥 𝑘+1|𝑘 = 𝐹−𝐾 𝐻 𝑇 𝑥 𝑘|𝑘−1 +𝐾 𝑦 𝑘 olur.

3.5 Kalman Filtrelerine Giriş 2. Bilgi güncellemesi (information update) Bilginin «yeni» kısmı: 𝑦 𝑘 = 𝑦 𝑘 − 𝐸 𝑦 𝑘 | 𝑦 𝑘−1 (innovation) 𝑦 𝑘−1 = 𝑦 0 , 𝑦 1 ,…, 𝑦 𝑘−1 yeni bilgi dizisiymiş gibi davranabiliriz 𝐸 𝑦 𝑘 | 𝑦 𝑘−1 = 𝐸 𝐻 𝑘 𝑇 𝑥 𝑘 + 𝑤 𝑘 | 𝑦 𝑘−1 = 𝐻 𝑘 𝑇 𝑥 𝑘|𝑘−1 𝑦 𝑘 = 𝑦 𝑘 − 𝐻 𝑘 𝑇 𝑥 𝑘|𝑘−1 𝑥 𝑘|𝑘 = 𝐸 𝑥 𝑘 | 𝑦 𝑘−1 , 𝑦 𝑘 = 𝐸 𝑥 𝑘 | 𝑦 𝑘−1 + 𝐸 𝑥 𝑘 − 𝑥 𝑘 | 𝑦 𝑘−1 , 𝑦 𝑘 = 𝑥 𝑘|𝑘−1 +𝐶𝑜𝑣 𝑥 𝑘 , 𝑦 𝑘 𝐶𝑜𝑣 𝑦 𝑘 −1 𝑦 𝑘 Σ 𝑘|𝑘 = Σ 𝑘|𝑘−1 −𝐶𝑜𝑣 𝑥 𝑘 , 𝑦 𝑘 𝐶𝑜𝑣 𝑦 𝑘 −1 𝐶𝑜𝑣 𝑦 𝑘 ,𝑥 𝑘 3. Zaman Güncellemesi (time update) 𝑥 𝑘+1|𝑘 = 𝐸 𝐹 𝑘 𝑥 𝑘 + 𝑤 𝑘 | 𝑦 𝑘 = 𝐹 𝑘 𝐸 𝑥 𝑘 | 𝑦 𝑘 + 𝐸 𝑤 𝑘 | 𝑦 𝑘−1 = 𝐹 𝑘 𝑥 𝑘|𝑘 Σ 𝑘+1|𝑘 =𝐶𝑜𝑣 𝑥 𝑘+1 − 𝑥 𝑘+1|𝑘 =𝐶𝑜𝑣 𝐹 𝑘 𝑥 𝑘 − 𝑥 𝑘|𝑘 + 𝑤 𝑘 = 𝐹 𝑘 Σ 𝑘|𝑘 𝐹 𝑘 𝑇 + 𝑄 𝑘 4. Özet 2.6, 3.1 ve 2.4 birleştirildiğinde 1.1 bulunur ( 𝐾 𝑘 = 𝐹 𝑘 𝐶𝑜𝑣 𝑥 𝑘 , 𝑦 𝑘 𝐶𝑜𝑣 𝑦 𝑘 −1 ) 𝐶𝑜𝑣 𝑥 𝑘 , 𝑦 𝑘 = Σ 𝑘|𝑘−1 𝐻 𝑘 ve 𝐶𝑜𝑣 𝑦 𝑘 = 𝐻 𝑘 𝑇 Σ 𝑘|𝑘−1 𝐻 𝑘 + 𝑅 𝑘 Σ 𝑘|𝑘 = Σ 𝑘|𝑘−1 − Σ 𝑘|𝑘−1 𝐻 𝑘 𝐻 𝑘 𝑇 Σ 𝑘|𝑘−1 𝐻 𝑘 + 𝑅 𝑘 −1 𝐻 𝑘 𝑇 Σ 𝑘|𝑘−1 3.2 ve 4.3 birleştirilerek 1.3 bulunur