Konu 4: Rastgele Süreçler ELE 574 Rastgele Süreçler Konu 4: Rastgele Süreçler

4.1 Tanım 𝑋= 𝑋 𝑡 :𝑡∈𝒯 rastgele değişken dizisidir. Notasyon 𝑡∈𝒯: zamanlar (ayrık veya sürekli, çoğu zaman tamsayı) 𝑋 𝑡 :(Ω, ℱ, 𝑃) olasılık uzayında Her t için 𝑋 𝑡 bir rastgele değişkendir Örnek yol (sample path) 𝑋 𝑡 𝜔 Notasyon 𝜇 𝑋 𝑡 =𝐸 𝑋 𝑡 𝑅 𝑋 𝑠,𝑡 =𝐸 𝑋 𝑠 𝑋 𝑡 𝐶 𝑋 𝑠,𝑡 =𝐶𝑜𝑣 𝑋 𝑠 , 𝑋 𝑡 𝐹 𝑋,𝑛 𝑥 1 , 𝑡 1 ;…; 𝑥 𝑛 , 𝑡 𝑛 =𝑃 𝑋 𝑡 1 ≤ 𝑥 1 ,…, 𝑋 𝑡 𝑛 ≤ 𝑥 𝑛 𝑝 𝑋,𝑛 𝑥 1 , 𝑡 1 ;…; 𝑥 𝑛 , 𝑡 𝑛 =𝑃 𝑋 𝑡 1 = 𝑥 1 ,…, 𝑋 𝑡 𝑛 = 𝑥 𝑛 Tanım 4.1: İkinci dereceden rastgele süreç: 𝐸 𝑋 𝑡 2 <∞, ∀𝑡∈𝒯 Gauss süreci 𝑋 𝑡 ~𝒩 ∀𝑡∈T Ortalama vektörü 𝜇= 𝜇 𝑋 𝑡 1 , 𝜇 𝑋 𝑡 2 , …, 𝜇 𝑋 𝑡 𝑛 𝑇 Kovaryans matrisi 𝐶 𝑋 𝑡 𝑖 , 𝑡 𝑗 = 𝑅 𝑋 𝑡 𝑖 , 𝑡 𝑗 − 𝜇 𝑋 𝑡 𝑖 𝜇 𝑋 ( 𝑡 𝑗 )

4.2 Random Walk & Gambler’s Ruin Rastgele yürüyüş (random walk) 0≤𝑝<1, 𝑃 𝑊 𝑖 =1 =𝑝=1−𝑃 𝑊=−1 ,∀𝑖≥ 0∈𝒵 𝑋 0 ∈𝒵, 𝑋 𝑛 = 𝑋 0 + 𝑊 1 +…+ 𝑊 𝑛 , ∀𝑛=1,2,3,… Özellikler ( 𝑋 0 =𝑘, 𝑃 𝑘 𝐴 =𝑃(𝐴| 𝑋 0 =𝑘)) 𝐸 𝑘 𝑋 𝑛 =𝑘+𝑛(2𝑝−1) 𝑉𝑎 𝑟 𝑘 𝑋 𝑛 =𝑉𝑎𝑟 𝑘+ 𝑊 1 +…+ 𝑊 𝑛 =4𝑛𝑝(1−𝑝) lim 𝑛→∞ 𝑋 𝑛 𝑛 =2𝑝−1 (S.L.L.N. a.s ve m.s) lim 𝑛→∞ 𝑃 𝑘 𝑋 𝑛 −𝑛(2𝑝−1) 4𝑛𝑝 1−𝑝 ≤𝑐 =Φ(𝑐) (𝐶.𝐿.𝑇.) 𝑃 𝑘 𝑋 𝑛 =𝑘+𝑗−(𝑛−𝑗) = 𝑛 𝑗 𝑝 𝑗 1−𝑝 𝑛−𝑗 , 0≤𝑗≤𝑛 Burada (a.s. dışındaki) bütün özellikler tek boyutlu dağılıma bağlıdır, ortak dağılıma bağlı değildir.

4.2 Random Walk & Gambler’s Ruin Burada beraber dağılımlar önemlidir 𝑋 𝑛 : n. Aşamada kumarbaz’ın elindeki para Sınırlı rastgele yürüyüş (sıfıra veya b’ye vurduğu zamanı merak ediyoruz) Başarı olasılığı 𝑠 𝑘 =𝑃 𝑘 𝑆 𝑏 , başlangıç parası k iken 𝑠 𝑘 = 𝑃 𝑘 𝑊 1 =1 𝑃 𝑘 𝑆 𝑏 | 𝑊 1 =1 + 𝑃 𝑘 𝑊 1 =−1 𝑊 1 =−1 𝑃 𝑘 𝑆 𝑏 | 𝑊 1 =−1 𝑠 𝑘 =𝑝 𝑠 𝑘+1 + 1−𝑝 𝑠 𝑘−1 𝑠 0 =0, 𝑠 𝑏 =1, b-1 bilinmeyen ve denklem var 𝑝= 1 2 : 𝑠 𝑘 = 1 2 𝑠 𝑘+1 + 1 2 𝑠 𝑘−1 → 𝑠 𝑘 =𝐴+𝐵𝑘 𝑠 𝑘 =𝑘/𝑏

4.2 Random Walk & Gambler’s Ruin 𝑝≠ 1 2 𝑠 𝑘 = 1− 1−𝑝 𝑝 𝑘 1− 1−𝑝 𝑝 𝑏 , 0≤𝑘≤𝑏 𝑝> 1 2 L.L.N: 𝑋 𝑛 𝑛 →2𝑝−1, yani 𝑋 𝑛 →∞ Sonlu sürede sıfıra düşmezse sonsuza gidiyor. 𝑆: mal varlığının sonsuza gitme olasılığı 𝑆 𝑏 : mal varlığının b’ye ulaşma olasılığı 𝑏 arttıkça 𝑆 𝑏 düşer 𝑃 𝑘 𝑆 = lim 𝑏→ ∞ 𝑃 𝑘 ( 𝑆 𝑏 ) =1− 1−𝑝 𝑝 𝑘

4.3 Bağımsız artırımlı süreçler ve Martingale’ler Bağımsız artış: 𝑋 𝑡 1 − 𝑋 𝑡 0 , 𝑋 𝑡 2 − 𝑋 𝑡 1 ,…, 𝑋 𝑡 𝑛 − 𝑋 𝑡 𝑛−1 bağımsız (∀ 𝑡 0 , 𝑡 1 , 𝑡 2 ,…𝑠.𝑡. 𝑡 0 < 𝑡 1 <…< 𝑡 𝑛 ) Martingale 𝐸 𝑋 𝑡 <∞,∀𝑡 𝐸 𝑋 𝑡 𝑛+1 | 𝑋 𝑡 𝑛 , 𝑋 𝑡 𝑛−1 ,…, 𝑋 𝑡 1 = 𝑋 𝑡 𝑛 , ∀ 𝑡 1 < 𝑡 2 <…< 𝑡 𝑛+1 𝐸 𝑋 𝑡 𝑛+1 − 𝑋 𝑡 𝑛 | 𝑋 𝑡 𝑛 , 𝑋 𝑡 𝑛−1 ,…, 𝑋 𝑡 1 =0 (anlamı ne?) Ör. Adil bir kumar oyunu sf. 115 𝑋 𝑡 : t anında kumarbazın mal varlığı martingale Bağımsız ve sıfır ortalamalı artışlı süreç = martingale 𝐸 𝑋 𝑡 𝑛+1 − 𝑋 𝑡 𝑛 | 𝑋 𝑡 𝑛 , 𝑋 𝑡 𝑛−1 ,…, 𝑋 𝑡 1 =𝐸 𝑋 𝑡 𝑛+1 −𝑋 𝑡 𝑛 =0 Random walk: p=1/2 ise martingale oluyor

4.3 Bağımsız artırımlı süreçler ve Martingale’ler Proposition 4.2: Doob’s maximal inequality: 𝑋 0 , 𝑋 1 , 𝑋 2 ,…≥0 𝐸 𝑋 𝑘+1 | 𝑋 0 ,.., 𝑋 𝑘 ≤ 𝑋 𝑘 (nonnegative supermartingale) Bu durumda 𝑃 max 0≤𝑘≤𝑛 𝑋 𝑘 ≥𝛾 ≤ 𝐸[ 𝑋 0 ] 𝛾 Doob’s 𝐿 2 inequality: 𝑋 0 , 𝑋 1 ,.. Martingale ve 𝐸 𝑋 𝑛 2 <∞ ise 𝐸 max 0≤𝑘≤𝑛 𝑋 𝑘 2 ≤4𝐸 𝑋 𝑛 2 Martingale difference sequence ( 𝑋 1 , 𝑋 2 ,…) 𝑆 𝑛 = 𝑋 1 +…+ 𝑋 𝑛 martingale ise 𝑋 1 , 𝑋 2 ,… martingale fark serisidir 𝐸 𝑋 𝑛 | 𝑋 1 ,…, 𝑋 𝑛−1 =0, 𝑛≥1 Proposition 4.3: Bennett ve Bernsteinn eşitsizlikleri 𝑃 𝑋 𝑖 ≤𝐿 =1 𝑣𝑒 𝐸 𝑋 𝑖 2 | 𝑋 1 ,… 𝑋 𝑖−1 ≤ 𝑑 𝑖 2 ise 𝑃 𝑖=1 𝑛 𝑋 𝑖 ≥𝛼 ≤ exp − 𝑖=1 𝑑 𝑑 𝑖 2 𝐿 2 𝜑 𝛼𝐿 𝑖=1 𝑑 𝑑 𝑖 2 Bennett ≤ exp − 1 2 𝛼 2 𝑖=1 𝑑 𝑑 𝑖 2 + 𝛼𝐿 3 bernstein

4.4 Brownian Motion Diğer adı : Wiener süreci, 𝜎 2 >0, 𝑊= 𝑊 𝑡 :𝑡≥0 𝑃 𝑊 0 =0 =1 W’nin artışları bağımsızdır 𝑊 𝑡 − 𝑊 𝑠 ~𝒩 0, 𝜎 2 𝑡−𝑠 , 𝑡≥𝑠 𝑃 𝑊 𝑡 𝑠ü𝑟𝑒𝑘𝑙𝑖 𝑏𝑖𝑟 𝑓𝑜𝑛𝑘𝑠𝑖𝑦𝑜𝑛 =1 Brownian motion bağımsız ve sıfır ortalamalı artışlı bir süreçtir ve martingale’dir Özellikler 𝜇 𝑊 𝑡 =𝐸 𝑊 𝑡 =𝐸 𝑊 𝑡 − 𝑊 0 =0 𝑅 𝑊 𝑠,𝑡 =𝐸 𝑊 𝑠 𝑊 𝑡 =𝐸 𝑊 𝑠 − 𝑊 0 𝑊 𝑆 − 𝑊 0 + 𝑊 𝑡 − 𝑊 𝑠 𝑊 𝑠 − 𝑊 0 𝑊 𝑆 − 𝑊 0 + 𝑊 𝑡 − 𝑊 𝑠 = 𝜎 2 𝑠 𝐶 𝑊 𝑠,𝑡 = 𝑅 𝑤 𝑠,𝑡 = 𝜎 2 min (𝑠,𝑡) 𝐵𝑟𝑜𝑤𝑛𝑖𝑎𝑛 𝑚𝑜𝑡𝑖𝑜𝑛 𝑠ü𝑟𝑒𝑐𝑖 Gauss dağılımlıdır

4.5 Sayım süreci ve Poisson Süreçleri Sayım fonksiyonu: 𝑓 0 =0, 𝑓 azalmayan, sağdan sürekli ve tam sayı 𝑓 𝑏 −𝑓 𝑎 : (a,b] zaman aralığında olan olay sayısı ( 𝑡 𝑖 ) veya 𝑢 𝑖 dizisi ile ifade edilebilir 𝑓 𝑡 = 𝑛=1 ∞ 𝐼 𝑡≥ 𝑡 𝑛 𝑡 𝑛 = min 𝑡:𝑓 𝑡 ≥𝑛 𝑡 𝑛 = 𝑢 1 +…+ 𝑢 𝑛 Tanım 4.4: Poisson süreci : 𝜆>0, 𝑁= 𝑁 𝑡 :𝑡≥0 𝑁 bir sayım süreci 𝑁 bir bağımsız artışlı süreç 𝑁 𝑡 −𝑁 𝑠 ~𝑃𝑜𝑖 𝜆 𝑡−𝑠 , 𝑡≥𝑠 Proposition 4.5: Aşağıdakiler eşdeğerdir (sf 119-120) N, 𝜆 oranlı bir Poisson sürecidir 𝑈 1 , 𝑈 2 ,… birbirinden bağımsız exp 𝜆 rastgele değişkenlerdir 𝑓 𝑡 1 ,…, 𝑡 𝑛 | 𝑁 𝜏 =𝑛 = 𝑛! 𝜏 𝑛 0< 𝑡 1 <…< 𝑡 𝑛 <𝜏 0 𝑑𝑖ğ𝑒𝑟 𝜏 sürede n olay olduğu biliniyorsa bu olayların oluş zamanı Unif 0,𝜏 düzgün dağılımlı n sayının sıralanmış şeklidir.

4.6 Durağanlık 𝑋 𝑡 1 ,…, 𝑋 𝑡 𝑛 ve 𝑋 𝑡 1 +𝑠 ,…, 𝑋 𝑡 𝑛 +𝑠 aynı dağılıma sahipse 𝑋 𝑡 süreci durağandır. Bütün istatistikler zaman kaydırmalarından bağımsız İkinci dereceden bir süreç durağan ise 𝑋 𝑡 her t için aynı dağılıma sahiptir 𝐸 𝑋 𝑡 zamandan bağımsız 𝐸 𝑋 𝑡 1 𝑋 𝑡 2 =𝐸 𝑋 𝑡 1 +𝑠 𝑋 𝑡 2 +𝑠 , ∀𝑠 Geniş anlamda durağanlık (WSS) Ortama sabit (𝐸 𝑋 𝑡 = 𝜇 𝑋 ), korelasyon sadece zaman farkına bağlı (𝐸 𝑋 𝑡 1 𝑋 𝑡 2 = 𝑅 𝑋 ( 𝑡 1 − 𝑡 2 )), 𝐶𝑜 𝑣 𝑋 𝑡 1 , 𝑡 2 = 𝑅 𝑋 𝑡 1 − 𝑡 2 − 𝜇 𝑋 2 , Gauss süreçleri WSS ise katı anlamda durağandır

4.7 Rastgele Süreçlerin Ortak İstatistikleri 𝑋 𝑡 1 ,…, 𝑋 𝑡 𝑛 , 𝑌 𝑡 1 ,…, 𝑌 𝑡 𝑛 = 𝑋 𝑡 1+𝑠 ,…, 𝑋 𝑡 𝑛+𝑠 , 𝑌 𝑡 1+𝑠 ,…, 𝑌 𝑡 𝑛 +𝑠 ise X ve Y süreçleri beraber durağan X ve Y’yi oluşturan bütün rastgele değişkenler Gauss dağılımlı ise X ve Y beraber Gauss Çapraz korelasyon, 𝑅 𝑋𝑌 =𝐸 𝑋 𝑠 𝑌 𝑡 , kovaryans 𝐶 𝑋𝑌 𝑠,𝑡 =𝐶𝑜𝑣( 𝑋 𝑠 , 𝑌 𝑡 ) 𝑅 𝑋𝑌 𝑠,𝑡 =𝐸 𝑋 𝑠 𝑌 𝑡 = 𝑅 𝑋𝑌 𝑠−𝑡 beraber WSS 𝐶 𝑋𝑌 𝑠,𝑡 = 𝐶 𝑋𝑌 𝑠−𝑡 = 𝐶 𝑌𝑋 𝑡−𝑠 𝐶 𝑋𝑌 𝜏 = 𝐶 𝑌𝑋 −𝜏

4.8 Koşullu Bağımsızlık ve Markov Süreçleri Sistem modelinde durum uzayı yaklaşımı Sistemin t anındaki durumu: Geçmişin geleceği etkileyen özü Ör: Uçağın durumu: t anındaki pozisyon, hız ve kalan yakıt Durum bilinirse başka bir bilgiye gerek duyulmamalıdır X-Y-Z Markov özelliği : Y verildiğinde X ve Z bağımsız olursa 𝑃 𝑋=𝑖,𝑍=𝑘|𝑌=𝑗 =𝑃 𝑋=𝑖|𝑌=𝑗 ×𝑃 𝑍=𝑘|𝑌=𝑗 ve buna eşdeğer olarak 𝑃 𝑋=𝑖,𝑌=𝑗,𝑍=𝑘 𝑃 𝑌=𝑗 =𝑃 𝑋=𝑖,𝑌=𝑗 × 𝑃 𝑍=𝑘,𝑌=𝑗 , ∀𝑖,𝑗,𝑘 , yine eşdeğer olarak 𝑃 𝑍=𝑘|𝑋=𝑖,𝑌=𝑗 =𝑃 𝑍=𝑘 𝑌=𝑗 , ∀𝑖,𝑗,𝑘 X-Y-Z özelliği Z-Y-X özelliği ile eşdeğerdir (X ve Z için simetrik) X, Y , Z sürekli ise pdf’ler cinsinden aynı özellik ifade edilebilir.

4.8 Koşullu Bağımsızlık ve Markov Süreçleri 𝑓 𝑋𝑍|𝑌 𝑥,𝑧 𝑦 = 𝑓 𝑋|𝑌 𝑥 𝑦 𝑓 𝑍|𝑌 𝑧 𝑦 𝑓 𝑍|𝑋,𝑌 𝑧 𝑥,𝑦 = 𝑓 𝑍|𝑌 (𝑧|𝑦)

4.8 Koşullu Bağımsızlık ve Markov Süreçleri Definition 4.6: 𝑋= 𝑋 𝑡 :𝑡∈𝒯 süreci eğer herhangi bir 𝑡 1 < 𝑡 2 <…< 𝑡 𝑛+1 ∈𝒯 için 𝑋 𝑡 1 ,…, 𝑋 𝑡 𝑛 − 𝑋 𝑡 𝑛 − 𝑋 𝑡 𝑛+1 özelliği sağlıyorsa Markov sürecidir. Aşağıdaki özellik de geçerlidir 𝑋 𝑡 1 ,…, 𝑋 𝑡 𝑛 − 𝑋 𝑡 𝑛 − ( 𝑋 𝑡 𝑛 ,…,𝑋 𝑡 𝑛+𝑚 )

4.8 Koşullu Bağımsızlık ve Markov Süreçleri

4.8 Koşullu Bağımsızlık ve Markov Süreçleri Proposition 4.7: 𝑋 0 , 𝑈 1 , 𝑈 2 ,… bağımsız rastgele değişkenler ve 𝑋 𝑛+1 = ℎ 𝑛+1 𝑋 𝑛 , 𝑈 𝑛+1 , 𝑛≥0 döngüsü varsa 𝑋 𝑛 , 𝑛≥0 bir Markov zinciridir Ör: Kalman filtresi modelinde 𝑤 𝑘 gürültüleri ikili olarak ilintisiz olacağına bağımsız olsaydı Kalman filtre modeli Markov özelliğine sahip olacaktı.

4.9 Ayrık durum Markov süreçleri 𝒮= 𝑎 1 , 𝑎 2 ,…, 𝑎 𝑛 durumlar (sonlu veya sayılabilir çoklukta sonsuz. Durumlar bir sayı olmak zorunda değildir, ancak bir g(.) fonksiyonu ile sayılara eşlenebilir 𝑝 𝑌 = 𝑃 𝑌= 𝑎 1 ,𝑃 𝑌= 𝑎 2 ,…, 𝜋 𝑡 = 𝜋 𝑖 𝑡 :𝑖∈𝒮 , 𝜋 𝑖 𝑡 =𝑃 𝑋 𝑡 =𝑖 Geçiş olasılıkları: 𝑃 𝑋 𝑡 =𝑗 𝑋 𝑠 =𝑖 = 𝑝 𝑖𝑗 (𝑠,𝑡) Durum geçiş matrisi 𝐻 𝑠,𝑡 = 𝑝 𝑖𝑗 𝑠,𝑡 :𝑖,𝑗∈𝒮 Satırlarını toplayınca 1 çıkar 𝑝 𝑋 𝑖 1 , 𝑡 1 ,…, 𝑖 𝑛 , 𝑡 𝑛 = 𝜋 𝑖 1 𝑝 𝑖 1 𝑖 2 ( 𝑡 1 , 𝑡 2 ) …𝑝 𝑖 𝑛−1 𝑖 𝑛 ( 𝑡 𝑛−1 , 𝑡 𝑛 ) 𝜋 𝑗 𝑡 = 𝑖 𝑃 𝑋 𝑠 =𝑖, 𝑋 𝑡 =𝑗 = 𝑖 𝜋 𝑖 𝑠 𝑝 𝑖𝑗 (𝑠,𝑡) 𝜋 𝑡 =𝜋 𝑠 𝐻 𝑠,𝑡 𝐻 𝑠,𝑡 =𝐻 𝑠,𝜏 𝐻(𝜏,𝑡) Chapman Kolmogorov Denklemleri

4.9 Ayrık durum Markov süreçleri Zamansal olarak homojen Markov süreci 𝑝 𝑖𝑗 (𝑠,𝑡) sadece t-s’ye bağlı ise 𝜋 𝑠+𝜏 =𝜋 𝑠 𝐻(𝜏) Denge: Equilibirium 𝜋=𝜋𝐻(𝜏) Durağan Markov süreci 𝜋 𝑡 =𝜋 Ayrık zaman 𝐻 𝑛,𝑘+1 =𝐻 𝑛,𝑘 𝑃 𝑘 𝑃 𝑘 =𝐻(𝑘,𝑘+1) 𝐻 𝑛,𝑛 =𝐼, 𝐻 𝑛,𝑛+1 =𝑃 𝑛 , 𝐻 𝑛,𝑛+1 = 𝑃 𝑛 𝑃 𝑛+1 ….. Time homogeneous 𝐻 𝑘 = 𝑃 𝑘 𝜋=𝜋𝑃

4.9 Ayrık durum Markov süreçleri

4.9 Ayrık durum Markov süreçleri Pure jump Markov process (sürekli-zaman) Örnek fonksiyonlar sadece sıçramalardan oluşuyor Sıçrama oranları 𝑞 𝑖𝑗 ≥0, 𝑖,𝑗∈𝒮, 𝑖≠𝑗 Ör: 𝑄= −1 0.5 0.5 1 −2 1 0 1 −1 Bir h süresinde sıçrama olasılıkları 𝑝 𝑖𝑗 ℎ = 𝐼 𝑖=𝑗 +ℎ 𝑞 𝑖𝑗 +𝑜 ℎ , 𝑖,𝑗∈𝒮 1−ℎ 0.5ℎ 0.5ℎ ℎ 1−2ℎ ℎ 0 ℎ 1−ℎ + 𝑜(ℎ) 𝑜(ℎ) 𝑜(ℎ) 𝑜(ℎ) 𝑜(ℎ) 𝑜(ℎ) 𝑜(ℎ) 𝑜(ℎ) 𝑜(ℎ) Chapman Kolmogorov denklemlerinden.. 𝜋 𝑗 𝑡+ℎ − 𝜋 𝑗 (𝑡) ℎ = 𝑖∈𝒮 𝜋 𝑖 𝑡 𝑝 𝑖𝑗 ℎ − 𝐼 𝑖=𝑗 ℎ 𝜕 𝜋 𝑗 𝑡 𝜕𝑡 = 𝑖∈𝒮 𝜋 𝑖 𝑡 𝑞 𝑖𝑗

4.9 Ayrık durum Markov süreçleri Kolmogorov forward equations 𝜕 𝜋 𝑗 𝑡 𝜕𝑡 = 𝑖∈𝒮,𝑖≠𝑗 𝜋 𝑖 𝑡 𝑞 𝑖𝑗 − 𝑖∈𝒮,𝑖≠𝑗 𝜋 𝑗 𝑡 𝑞 𝑗𝑖

4.10 Ayrık durum Markov süreçlerinin uzay-zaman yapısı Zamansal homojen, ayrık durum Markov zincirleri bir başlangıç olasılık dağılımı ve geçiş matrisi (P veya Q) ile ifade edilir. Diğer bir ifade yolu: Ziyaret edilen durumların sırası ve süresi Ayrık zaman süreçler: Tutulma süreleri 𝑇 0 = min 𝑡≥0:𝑋 𝑡 ≠𝑋(0) 𝑇 𝑘 = min 𝑡≥0: 𝑋 𝑇 0 +… 𝑇 𝑘−1 +𝑡 ≠𝑋( 𝑇 0 +…+ 𝑇 𝑘−1 ) Sıçrama süreci 𝑋 𝐽 0 =𝑋 0 , 𝑣𝑒 𝑋 𝐽 𝑘 =𝑋 𝑇 0 +…+ 𝑇 𝑘−1 , 𝑘≥0

4.10 Ayrık durum Markov süreçlerinin uzay-zaman yapısı Proposition 4.9: (sf 137) X zamansal homojen ve P geçiş matrisli bir Markov süreci ise Sıçrama süreci 𝑋 𝐽 de zamansal homojen ayrık zaman bir Markov sürecidir ve geçiş matrisi 𝑝 𝑖𝑗 𝐽 = 𝑝 𝑖𝑗 1− 𝑝 𝑖𝑖 , 𝑝 𝑖𝑖 𝐽 =0 olur 𝑋(0) verildiğinde 𝑋 𝐽 1 , 𝑇 0 ’dan bağımsız olur 𝑋 𝐽 0 ,…, 𝑋 𝐽 (𝑛) = 𝑗 0 ,…, 𝑗 𝑛 verildiğinde 𝑇 0 ,…, 𝑇 𝑛 bağımsız olur. 𝑇 𝑙 ′ 𝑛𝑖𝑛 koşullu dağılımı 𝑝 𝑗 𝑙 𝑗 𝑙 parametreli Geometrik dağılımlıdır 𝑃 𝑇 𝑙 =𝑘| 𝑋 𝐽 0 = 𝑗 0 ,…, 𝑋 𝐽 𝑛 = 𝑗 𝑛 = 𝑝 𝑗 𝑙 𝑗 𝑙 k−1 1− 𝑝 𝑗 𝑙 𝑗 𝑙

4.10 Ayrık durum Markov süreçlerinin uzay-zaman yapısı Sürekli zaman süreçler Tutulum süreleri üstel dağılımlıdır Proposition 4.10: (sf 138) X zamansal homojen ve Q geçiş matrisli bir Markov süreci ise Sıçrama süreci 𝑋 𝐽 de zamansal homojen ayrık zaman bir Markov sürecidir ve geçiş matrisi 𝑝 𝑖𝑗 𝐽 = −𝑞 𝑖𝑗 𝑞 𝑖𝑖 , 𝑝 𝑖𝑖 𝐽 =0 olur 𝑋(0) verildiğinde 𝑋 𝐽 1 , 𝑇 0 ’dan bağımsız olur 𝑋 𝐽 0 ,…, 𝑋 𝐽 (𝑛) = 𝑗 0 ,…, 𝑗 𝑛 verildiğinde 𝑇 0 ,…, 𝑇 𝑛 bağımsız olur. 𝑇 𝑙 ′ 𝑛𝑖𝑛 koşullu dağılımı −𝑞 𝑗 𝑙 𝑗 𝑙 parametreli üstel dağılımlıdır 𝑃 𝑇 𝑙 ≥𝑐| 𝑋 𝐽 0 = 𝑗 0 ,…, 𝑋 𝐽 𝑛 = 𝑗 𝑛 = exp 𝑐 𝑞 𝑗 𝑙 𝑗 𝑙