Konu 1: Olasılık ve Rastgele Değişkenler Tekrarı

... konulu sunumlar: "Konu 1: Olasılık ve Rastgele Değişkenler Tekrarı"— Sunum transkripti:

1 Konu 1: Olasılık ve Rastgele Değişkenler Tekrarı
ELE 574 RASTGELE SÜREÇLER Konu 1: Olasılık ve Rastgele Değişkenler Tekrarı

2 Olasılık Kuramı ve Aksiyomlar
Olasılık Uzayı (Ω,ℱ,𝑃) Örnek uzay (Ω), Çıktı (𝜔∈Ω) Olaylar (ℱ) : Örnek uzayın altkümeleri ℱ: 𝜎 cebiri (3 şartı var) Ayrık (bağdaşmaz) olaylar : 𝐴 𝑖 ∩ 𝐴 𝑗 =∅ P(A) olasılık ölçümü (measure) aksiyomları P.1:𝑃 𝐴 ≥0, ∀𝐴∈ℱ P.2:𝐴∩𝐵=∅→𝑃 𝐴∪𝐵 =𝑃 𝐴 +𝑃(𝐵) P.3: 𝑃 Ω =1 Aksiyomların ima ettiği özellikler 𝐴⊂𝐵→𝑃 𝐴 ≤𝑃(𝐵) 𝑃 𝐴∪𝐵 =𝑃 𝐴 +𝑃 𝐵 −𝑃(𝐴𝐵) 𝑃 𝐴∪𝐵∪𝐶 =𝑃 𝐴 +𝑃 𝐵 +𝑃 𝐶 −𝑃 𝐴𝐵 −𝑃 𝐴𝐶 −𝑃 𝐵𝐶 +𝑃(𝐴𝐵𝐶) 𝑃 𝐴 +𝑃 𝐴 𝑐 =1 𝑃 ∅ =0

3

4

5 Bağımsızlık ve Koşullu Olasılık
Tanım: 𝐴 1 , 𝐴 2 ,…, 𝐴 𝑘 olaylarının bağımsız olmasının şartı: ∀𝑗≥1, 𝑣𝑒 1≤𝑖 1 ,≤ 𝑖 2 ≤…≤ 𝑖 𝑗 ≤𝑘 𝑖ç𝑖𝑛 𝑃 𝐴 𝑖 𝐴 𝑖 2 … 𝐴 𝑖 𝑗 =𝑃 𝐴 𝑖 1 𝑃 𝐴 𝑖 2 …𝑃 𝐴 𝑖 𝑗 olmasıdır 𝑗=3 için örnek: adet eşitliğin sağlanması gerekiyor N olayın bağımsızlığı için 2 𝑘 −𝑘 −1 adet şart sağlanmalıdır Tanım: İkili bağımsızlık 𝑘 𝑘−1 2 eşitliğin sağlanması gerekiyor. Koşullu olasılık 𝑃 𝐴|𝐵 = 𝑃 𝐴∩𝐵 𝑃(𝐵) , 𝑃 𝐵 ≠0 𝑃 𝐴|𝐵 koşullu olasılığı da P1,P2,P3 aksiyomlarını sağlar. 𝐴, 𝐵 bağımsız ise 𝐴 𝑐 ,𝐵 de bağımsızdır.

6 Bağımsızlık ve Koşullu Olasılık
Bölüntü (Partition): 𝐸 1 , 𝐸 2 ,…, 𝐸 𝑘 𝐸 𝑖 ∩ 𝐸 𝑗 =∅∀𝑖,𝑗, Ω= 𝐸 1 ∪ 𝐸 2 ∪…∪ 𝐸 𝑘 1=𝑃 𝐸 1 +…+𝑃( 𝐸 𝑘 ) Toplam Olasılık Kuralı: 𝑃 𝐴 =𝑃 𝐴 𝐸 1 +…+𝑃 𝐴 𝐸 𝑘 𝑃 𝐴 =𝑃 𝐴 𝐸 1 𝑃 𝐸 1 +…+𝑃 𝐴 𝐸 𝑘 𝑃 𝐸 𝑘 Böl ve yönet Bayes Kuralı 𝑃 𝐸 𝑖 𝐴 = 𝑃 𝐴| 𝐸 𝑖 𝑃 𝐸 𝑖 𝑃(𝐴) = 𝑃 𝐴| 𝐸 𝑖 𝑃 𝐸 𝑖 𝑃 𝐴 𝐸 1 𝑃 𝐸 1 +…+𝑃 𝐴 𝐸 𝑘 𝑃 𝐸 𝑘 Bulmak istediğimiz şeyi bildiklerimiz cinsinden yazıyoruz Infinitely often 𝐴 𝑛 infinitely often = ∩ 𝑘≥1 ∪ 𝑛≥𝑘 𝐴 𝑛 Borel Cantelli Lemma: 𝐴 𝑛 :𝑛≥1 bir dizi olay, 𝑝 𝑛 =𝑃( 𝐴 𝑛 ) 𝑛=1 ∞ 𝑝 𝑛 <∞→𝑃 𝐴 𝑛 infinitely often =0 𝑛=1 ∞ 𝑝 𝑛 =∞ ve 𝐴 1 , 𝐴 2 ,…bağımsız→𝑃 𝐴 𝑛 𝑖𝑛𝑓𝑖𝑛𝑖𝑡𝑒𝑙𝑦 𝑜𝑓𝑡𝑒𝑛 =1

7 Borel kümesi : Sadece açık veya sadece kapalı kümelerden sonlu sayıda birleşim, kesişim işlemleriyle elde edilebilen küme

8 1.3 Olasılıksal Dağılımlar
Toplamsal Dağılım Fonksiyonu 𝐹 𝑋 𝑐 =𝑃 𝜔:𝑋 𝜔 ≤𝑐 =𝑃 𝑋≤𝑐 X ayrık: ör. Zar (sayılabilir çoklukta örnek uzay) X sürekli : ör. Matlab «rand» (Fig. 1.4) 𝑃 𝑋=𝑐 = 𝐹 𝑋 𝑐 − 𝐹 𝑋 𝑐 − =Δ 𝐹 𝑋 𝑐 (sıçrama) Herhangi bir 𝑃 𝑋∈𝐴 , 𝐹 𝑋 ’ler kullanılarak yazılabilir Proposition 1.4: 𝐹 𝑋 ancak aşağıdaki özellikleri sağladığında bir toplamsal dağılım fonksiyonudur F.1: 𝐹 𝑋 azalmayan bir fonksiyondur F.2: lim 𝑥→∞ 𝐹 𝑥 =1⁡ lim 𝑥→−∞ 𝐹 𝑥 =0 F.3: 𝐹 𝑋 sağdan süreklidir İspat: Sf. 10 Ayrık rastgele değişkenler Örnek uzay sayılabilir çoklukta elemana sahip 𝑝 𝑋 𝑥 =𝑃 𝑋=𝑥 =Δ 𝐹 𝑋 𝑥 𝐹 𝑋 𝑥 = 𝑦:𝑦≤𝑥 𝑝 𝑋 𝑦

9 1.4 Rastgele Değişkenin Fonksiyonları
Sürekli Rastgele Değişkenler Örnek uzay sayılamaz çoklukta elemana sahip 𝐹 𝑋 𝑥 = −∞ 𝑥 𝑓 𝑋 𝑦 𝑑𝑦 (olasılık yoğunluk fonksiyonu) 𝑃 𝑋∈𝐴 = 𝑥∈𝐴 𝑓 𝑋 𝑥 𝑑𝑥 Bir 𝑋 rastgele değişkeninin 𝑌=𝑔(𝑋) fonksiyonunun dağılımı Sürekli r.d.’ler için Prosedür 𝑋 ve 𝑌’nin değer kümesini bul, g fonksiyonunu çiz 𝑌’nin CDF’ini bul 𝐹 𝑌 𝑐 =𝑃 𝑌≤𝑐 =𝑃 𝑔 𝑋 ≤𝑐 CDF’ten PDF’i bul (türev alarak) Ayrık r.d.’ler 𝑝 𝑌 𝑦 =𝑃 𝑔 𝑋 =𝑦 = 𝑥:𝑔 𝑥 =𝑦 𝑝 𝑋 (𝑥)

10

11

12 Rastgele Sayıların Üretimi
F(x) CDF’ine sahip bir rastgele sayı üretmek Önce 𝐹 −1 ters fonksiyonunu bul 𝑈∈ 0,1 rastgele sayısını üret 𝐹 −1 (𝑈) sayısı 𝐹 CDF’ine sahiptir.

13 1.5 Beklenen Değer Expected value, Mean..Tanım Özellikler Varyans
Ayrık: 𝐸 𝑋 = 𝑖=1 𝑚 𝑥 𝑖 𝑃 𝑋= 𝑥 𝑖 Genel: 𝐸 𝑋 = −∞ ∞ 𝑥𝑑 𝐹 𝑋 (𝑥) Sürekli: 𝐸 𝑋 = −∞ ∞ 𝑥 𝑓 𝑋 𝑥 𝑑𝑥 Özellikler E.1: Doğrusallık: 𝐸 𝑐𝑋 =𝑐𝐸 𝑋 , 𝐸 𝑋+𝑌 =𝐸 𝑋 +𝐸[𝑌] E.2: 𝑃 𝑋≥𝑌 =1 →𝐸 𝑋 ≥𝐸[𝑌] E.3: 𝐸 𝑋 = −∞ ∞ 𝑥 𝑓 𝑋 𝑥 𝑑𝑥 E.4: 𝐸 𝑋 = 𝑥 𝑥 𝑝 𝑋 (𝑥) E.5: 𝐸 𝑔 𝑋 = Ω 𝑔 𝑋 𝜔 𝑃 𝑑𝜔 = −∞ ∞ 𝑔 𝑥 𝑑𝐹(𝑥) E.6: 𝐸 𝑋 = 0 ∞ 1−𝐹(𝑥) 𝑑𝑥 − −∞ 0 𝐹 𝑋 𝑥 𝑑𝑥 Varyans 𝑉𝑎𝑟 𝑋 =𝐸 𝑋−𝐸 𝑋 2 =𝐸 𝑋 2 −𝐸 𝑋 2

14 1.5 Beklenen Değer Markov Eşitsizliği (Y pozitif için)
𝑃 𝑌≥𝑐 ≤ 𝐸 𝑌 𝑐 Chebyshev Eşitsizliği 𝑃 𝑋−𝜇 ≥𝑑 ≤ 𝜎 2 𝑑 2 Karakteristik fonksiyon (sürekli r.d. için) Φ 𝑋 𝑢 = −∞ ∞ 𝑒 𝑗𝑢𝑥 𝑓 𝑋 𝑥 𝑑𝑥 =𝐸 𝑒 𝑗𝑢𝑋 Pdf ve Φ 𝑋 𝑢 birebir eşleme Φ 𝑋 𝑘 0 = 𝑗 𝑘 𝐸 𝑋 𝑘 Z-dönüşümü (ayrık r.d. için) Ψ 𝑋 𝑧 =𝐸 𝑧 𝑋 = 𝑘=0 ∞ 𝑧 𝑘 𝑝 𝑋 𝑘

15 1.6 Sıkça Kullanılan Dağılımlar
Bernoulli (𝐵𝑒(𝑝)) 𝑝 𝑋 0 =1−𝑝, 𝑝 𝑋 1 =𝑝, 𝐸 𝑥 =𝑝, 𝑉𝑎𝑟 𝑋 =𝑝 1−𝑝 , Ψ 𝑋 𝑧 =1−𝑝+𝑝𝑧 Binom (𝐵𝑖(𝑛,𝑝)) 𝑝 𝑋 𝑖 =𝐶 𝑛,𝑖 𝑝 𝑖 1−𝑝 𝑛−𝑖 , 0≤𝑖≤𝑛, 𝐸 𝑋 =𝑛𝑝, 𝑉𝑎𝑟 𝑋 =𝑛𝑝 1−𝑝 , Ψ 𝑋 𝑧 = 1−𝑝+𝑝𝑧 𝑛 Poisson 𝑝 𝑋 𝑖 = 𝜆 𝑖 𝑒 −𝜆 𝑖! , 𝑖≥0, 𝐸 𝑋 =𝜆, 𝑉𝑎𝑟 𝑋 =𝜆, Ψ 𝑋 𝑧 = exp 𝜆(𝑧−1) 𝑃𝑜𝑖𝑠𝑠𝑜𝑛= lim 𝑝→0, 𝑛𝑝→𝜆 ⁡𝐵𝑖𝑛𝑜𝑚 Geometrik (𝐺𝑒𝑜 𝑝 , 0≤ 𝑝≤1) 𝑝 𝑋 𝑖 = 1−𝑝 𝑖−1 𝑝, 𝑖≥ 1, Ψ 𝑋 𝑧 = 𝑝𝑧 1−𝑧+𝑝𝑧 , 𝐸 𝑥 = 1 𝑝 , 𝑉𝑎𝑟 𝑋 = 1−𝑝 𝑝 2 Memoryless (Hafızasız)

16 1.6 Sıkça Kullanılan Dağılımlar
Gauss (𝒩 𝜇, 𝜎 2 ) 𝑓 𝑋 𝑥 = 1 2𝜋 𝜎 2 exp − 𝑥− 𝜇 𝜎 2 , Φ 𝑋 𝑢 = exp 𝑗𝑢𝜇− 𝑢 2 𝜎 2 2 𝑄 𝑐 =1−Φ 𝑐 = 𝑐 ∞ 𝜋 𝑒 − 𝑥 𝑑𝑥 Merkezi limit teoremi: Üssel (𝐸𝑥𝑝 (𝜆)) 𝑓 𝑋 𝑥 =𝜆 𝑒 −𝜆𝑥 , 𝑥≥0, Φ 𝑋 𝑢 = 𝜆 𝜆−𝑗𝑢 , 𝐸 𝑋 = 1 𝜆 , 𝑉𝑎𝑟 𝑋 = 1 𝜆 2 Hafızasızlık özelliği Düzgün (𝑈(𝑎,𝑏)) 𝑓 𝑋 𝑥 = 1 𝑏−𝑎 , 𝑎≤ 𝑥≤𝑏, Φ 𝑋 𝑢 = 𝑒 𝑗𝑢𝑏 − 𝑒 𝑗𝑢𝑎 𝑗𝑢 𝑏−𝑎 , 𝐸 𝑋 = 𝑎+𝑏 2 , 𝑉𝑎𝑟 𝑋 = 𝑏−𝑎 Gama (𝐺𝑎𝑚𝑚𝑎 𝑛,𝛼 ) 𝑓 𝑋 𝑥 = 𝛼 𝑛 𝑥 𝑛−1 𝑒 −𝛼𝑥 Γ(𝑛) , 𝑥≥0, Γ 𝑛 = 0 ∞ 𝑠 𝑛−1 𝑒 −𝑠 𝑑𝑠 Φ 𝑋 𝑢 = 𝛼 𝛼−𝑗𝑢 𝑛 ,𝐸 𝑋 = 𝑛 𝛼 , 𝑉𝑎𝑟 𝑋 = 𝑛 𝛼 2 Rayleigh( 𝜎 2 ) 𝑓 𝑋 𝑥 = 𝑥 𝜎 2 exp − 𝑥 2 2 𝜎 2 , 𝐸 𝑋 =𝜎 𝜋 2 , 𝑉𝑎𝑟 𝑋 = 𝜎 2 2− 𝜋 2

17 1.8 Ortak Dağılım Ortak toplamsal dağılım fonksiyonu
𝐹 𝑋 1 𝑋 2 … 𝑋 𝑚 𝑥 1 , 𝑥 2 ,…, 𝑥 𝑚 =𝑃 𝑋 1 ≤ 𝑥 1 ,…, 𝑋 𝑚 ≤ 𝑥 𝑚 𝐹 𝑋 1 𝑋 2 𝑥 1 ,∞ = lim 𝑥 2 →∞ 𝐹 𝑋 1 𝑋 2 𝑥 1 , 𝑥 2 = 𝐹 𝑋 1 𝑥 1 𝐹 𝑋 1 𝑋 2 … 𝑋 𝑚 𝑥 1 , 𝑥 2 ,…, 𝑥 𝑚 = −∞ 𝑥 𝑚 … −∞ 𝑥 1 𝑓 𝑋 1 𝑋 2 … 𝑋 𝑚 𝑥 1 , 𝑥 2 ,…, 𝑥 𝑚 𝑑 𝑢 𝑚 … 𝑑 𝑢 1 𝑓 𝑋 1 𝑥 1 = −∞ 𝑥 2 𝑓 𝑋 1 𝑋 2 𝑥 1 𝑥 2 𝑑 𝑥 2 (marjinal) 𝑝 𝑋 1 𝑋 2 … 𝑋 𝑚 𝑥 1 , 𝑥 2 ,…, 𝑥 𝑚 =𝑃 𝑋 1 = 𝑥 1 ,…, 𝑋 𝑚 = 𝑥 𝑚 𝑝 𝑋 1 𝑢 1 = 𝑢 2 𝑝 𝑋 1 𝑋 2 ( 𝑢 1 , 𝑢 2 ) (marjinal) Φ 𝑋 1 𝑋 2 … 𝑋 𝑚 𝑢 1 , 𝑢 2 ,…, 𝑢 𝑚 =𝐸[ 𝑒 𝑗 𝑢 1 𝑋 1 +…+ 𝑢 𝑚 𝑋 𝑚 ] Bağımsızlık 𝐹 𝑋 1 𝑋 2 … 𝑋 𝑚 𝑥 1 , 𝑥 2 ,…, 𝑥 𝑚 = 𝐹 𝑋 1 𝑥 1 𝐹 𝑋 2 𝑥 2 … 𝐹 𝑋 𝑚 𝑥 𝑚 Koşulu OYF: 𝑓 𝑋|𝑌 𝑥|𝑦 = 𝑓 𝑋𝑌 (𝑥,𝑦) 𝑓 𝑌 (𝑦) , −∞<𝑥<∞ Koşullu beklenen değer 𝐸 𝑋 𝑌=𝑦 = −∞ ∞ 𝑥 𝑓 𝑋|𝑌 𝑥 𝑦 𝑑𝑥

18 1.10 İlinti ve Kovaryans İlinti: 𝐸 𝑋𝑌 (𝐸 𝑋𝑌 =0 ise X ve Y dik )
İlinti Katsayısı : 𝜌 𝑋𝑌 = 𝐶𝑜𝑣(𝑋,𝑌) 𝑉𝑎𝑟 𝑋 𝑉𝑎𝑟(𝑌) 𝐶𝑜𝑣 𝑋,𝑌 =0 ise X ve Y ilintisiz 𝜌 𝑋𝑌 ≤1 (Schwarz eşitsizliği) 𝜌 𝑋𝑌 =1 olması için 𝑋=𝑎𝑌+𝑏 olması gerekiyor. X ve Y bağımsız ise aynı zamanda ilintisizdir Tersi çoğu zaman geçerli değildir 𝑉𝑎𝑟 𝑋 =𝐶𝑜𝑣 𝑋,𝑋 𝐶𝑜𝑣 𝑋+𝑌, 𝑈+𝑉 =𝐶𝑜𝑣 𝑋,𝑈 +𝐶𝑜𝑣 𝑋,𝑉 +𝐶𝑜𝑣 𝑌,𝑈 +𝐶𝑜𝑣 𝑌,𝑉 𝐶𝑜𝑣 𝑎𝑋+𝑏, 𝑐𝑌+𝑑 =𝑎𝑐𝐶𝑜𝑣 𝑋,𝑌 𝑉𝑎𝑟 𝑋 1 +… 𝑋 𝑚 = 𝑖 𝑉𝑎𝑟( 𝑋 𝑖 ) + 𝑖≠𝑗 𝐶𝑜𝑣 ( 𝑋 𝑖 , 𝑋 𝑗 ) İlintisizlik var ise 𝑉𝑎𝑟 𝑋 1 +… 𝑋 𝑚 = 𝑖 𝑉𝑎𝑟( 𝑋 𝑖 )

19 1.11 Matris Dönüşümleri 𝑋= 𝑋 1 𝑋 2 ⋮ 𝑋 𝑚 , 𝑦=𝑔 𝑥 , 𝑥= 𝑔 −1 𝑦
𝑋= 𝑋 1 𝑋 2 ⋮ 𝑋 𝑚 , 𝑦=𝑔 𝑥 , 𝑥= 𝑔 −1 𝑦 𝑓 𝑋 1 𝑋 2 … 𝑋 𝑚 𝑥 1 , 𝑥 2 ,… 𝑥 𝑚 , vektörünün pdf’i Jacobian 𝜕𝑦 𝜕𝑥 𝑥 , tersi 𝜕𝑥 𝜕𝑦 𝑦 = 𝜕𝑦 𝜕𝑥 𝑥 −1 𝑓 𝑌 𝑦 = 𝑓 𝑋 (𝑥) 𝜕𝑦 𝜕𝑥 𝑥 = 𝑓 𝑋 𝑥 𝜕𝑥 𝜕𝑦 𝑦

20