Sunum yükleniyor. Lütfen bekleyiniz

Sunum yükleniyor. Lütfen bekleyiniz

İstatistiksel Sınıflandırma

Benzer bir sunumlar


... konulu sunumlar: "İstatistiksel Sınıflandırma"— Sunum transkripti:

1 İstatistiksel Sınıflandırma
Yrd. Doç. Dr. Ayhan Demiriz 7 Mart 2006

2 Sınıflandırma Problemi
Verilen birden fazla kategoriye (sınıfa) ait verileri (datayı) birbirinden ayırarak önceden bilinen farklı gruplara atama Eğitici yardımıyla yapılan bu atama yardımıyla yeni karşılaşılan verilerin hangi sınıfa ait olduklarını tahmin etmek Örnek Uygulamalar: Kredi Kartı Başvuru Değerlendirme Kredi Başvurusu Değerlendirme Hedef Pazarlama Hastalık Teşhisi Okul Başvuruları Değerlendirme

3 Sınıflandırma: İki Adımlı Bir Süreç
Model Oluşturma Ayağı: Önceden bilinen sınıfların tanımlanması Verilen her örneğin bilinen bir sınıfa ait olduğu kabul edilir Bu örnek seti “Öğrenme Kümesi (Seti)” olarak adlandırılır Bulunan model “Karar Ağacı”, “Sınıflandırma Kuralları” veya “Matematiksel Formül” olarak ifade edilir Modeli Kullanma: Sınıfları bilinmeyen verilerin sınıf tahmini Modelin doğruluk derecesini kestir Test kümesinin bilinen sınıf etiketleri tahmin sonucu elde edilen sınıflandırma sonuçları ile karşılaştırılır Doğruluk derecesi test setindeki tahmin başarı oranıdır Test kümesi öğrenme kümesinden bağımsızdır fakat aynı dağılımdan geldiği kabul edilir Eğer modelin doğruluk derecesi kabul edilebilir ise modeli kabullen ve yeni noktaları (verileri) sınıflandırmak için uygula

4 İstatistiksel Öğrenme
ŷ Örnek Oluşturucu Öğrenme Makinası Kayıp fonskiyonu L(y, f(x, ω) ) olarak tanımlanır O zaman öğrenme ile alınan risk (beklenen kayıp) olarak hesaplanır İkili sınıflandırma için kayıp fonsiyonu aşağıdaki gibi verilebilir x Sistem y Örnek oluşturucu, p(x) dağılımına göre x’i (girdi değişkenleri) belirler Sistem, verilen x değerlerine karşı gelen y (çıktı - etiket) değerlerini belirler Öğrenme makinası, f(x, ω) fonksiyonunu öğrenerek verilen x için ŷ değerlerini hesaplar

5 Diskriminant (Ayrım) Analizi

6 Bayesci Sınıflandırma
İhtimale Dayalı Öğrenme: Hipotezler için ihtimaller hesaplanır. Bazı öğrenme problemleri için en pratik yöntemdir. Artan: Önceden bilinenler gözlemlenen veri ile birleştirilebilir. Her örnek bir hipotezin doğruluk olasılığını artırıp azaltabilir. İhtimale Dayalı Tahmin: Birden fazla hipotez tahmin edilir ve ihtimallerine göre ağırlandırılır. Temel Karşılaştırma Yöntemi: Bazı durumlarda Bayesci öğrenme yöntemlerinin uygulanması sayısal olarak mümkün olmasa da diğer yöntemlerin optimal karar yüzeylerini karşılaştırmak için en önemli temel yaklaşımdır.

7 Bayes Teoremi X, ait olduğu sınıf belli olmayan veri olsun
H hipotezi, X’in C sınıfına ait olduğunu kabul etsin Sınıflandırma problemi için gözlemlenen X’in verildiği varsayılırsa, P(H|X), yani X verildiğinde hipotezin kabul edilebilir (doğru) olma ihtimali P(H) ise H hipotezinin gözlem yapılmadan önceki ilk haldeki ihtimali P(X) ise örnek datanın gözlemlenmesi ihtimali P(X|H) ise hipotezin doğru olduğu verildiğinde X’in gözlemlenme ihtimali

8 Bayes Teoremi Sonsal İhtimal =Olabilirlik x Öncel İhtimal / Kanıt
Öğrenme kümesi X verildiğinde, H hipotezinin sonsal (posterior) ihtimali, P(H|X) Bayes teoremine göre Başkabir ifadeyle Sonsal İhtimal =Olabilirlik x Öncel İhtimal / Kanıt Enbüyük Sonsal (MAP (maximum posteriori) ) hipotezi Zorluk: İlk hale ait birçok ihtimalin bilinmesini gerektiriyor

9 Naiv Bayes Sınıflandırıcı
Değişkenlerin koşullu olarak bağımsız oluşu basitleştirilmiş bir varsayımdır Örneğin x1 ve x2 gibi 2 elemanın, verilen C sınıfı için ortak olasılık dağılımı herbirinin ayrı ayrı olasılık dağılımlarının çarpımına eşittir. Yani P([x1,x2],C) = P(x1,C) * P(x2,C) Hesaplamaları büyük oranda azaltıyor P(X|Ci) ihtimali bilindiğinde, X’i, maksimum P(X|Ci)*P(Ci) değerini veren sınıfa ata

10 Ögrenme veri seti Sınıflar: C1:Bilgisayar Alır?= ‘evet’
‘hayır’ Örnek veri X =(yaş≤30, gelir=orta, öğrenci=evet Kredi durumu= vasat)

11 Naiv Bayes Sınıflandırıcı: Örnek
Her sınıf için P(X/Ci)’i hesapla P(yaş=“<30” | Bilgisayar Alır?=“evet”) = 2/9=0.222 P(yaş=“<30” | Bilgisayar Alır?=“hayır”) = 3/5 =0.6 P(gelir=“orta” | Bilgisayar Alır?=“evet”)= 4/9 =0.444 P(gelir=“orta” | Bilgisayar Alır?=“hayır”) = 2/5 = 0.4 P(öğrenci=“evet” | Bilgisayar Alır?=“evet)= 6/9 =0.667 P(öğrenci=“evet” | Bilgisayar Alır?=“hayır”)= 1/5=0.2 P(kredi durumu=“vasat” | Bilgisayar Alır?=“evet”)=6/9=0.667 P(kredi durumu=“vasat” | Bilgisayar Alır?=“hayır”)=2/5=0.4 X=(yaş<=30 ,gelir =orta, öğrenci=evet,kredi durumu=vasat) P(X|Ci) : P(X|Bilgisayar Alır?=“evet”)= x x x =0.044 P(X|Bilgisayar Alır?=“hayır”)= 0.6 x 0.4 x 0.2 x 0.4 =0.019 P(X|Ci)*P(Ci ) : P(X|Bilgisayar Alır?=“evet”) * P(Bilgisayar Alır?=“evet”)=0.028 P(X|Bilgisayar Alır?=“hayır”) * P(Bilgisayar Alır?=“hayır”)=0.007 X, “Bilgisayar Alır?=evet” sınıfına aittir

12 Naiv Bayes Sınıflandırıcı: Yorumlar
Faydaları: Uygulama için çok kolay Birçok durumda iyi sonuçlar verir Mahzurları Sınıflar arası koşullu bağımsızlık varsayımından ötürü doğruluğundaki azalma Gerçekte değişkenler arasında bağımlılık vardır Practically, dependencies exist among variables Bu bağımlılıklar naiv bayes yöntemi ile modellenemez Bu bağımlılıklarla nasıl modelleme yapabiliriz? Bayesian Belief Networks – Bayesci İnanç Ağları

13 Bayesci Ağlar Bayesci İnanç Ağları, değişkenlerin bir altkümesinin koşullu olarak bağımsız olmasına izin verir Nedensel ilişkilerin grafiksel bir modelidir Değişkenler arasında bağımlılığı gösterir Ortak olasılık dağılımları için spesifikasyonları belirler Düğüm: rassal değişkenler Bağlantılar: bağımlılık X,Y Z’nin ebeveynleridir, Y ise P’nin ebeveynidir Z ve P arasında herhangi bir bağımlılık yoktur Hiç bir çevrim ve döngüye izin vermez Y Z P X

14 Bayesci İnanç Ağı: Bir Örnek
Aile Tarihçesi Sigara İçer (AT, S) (AT, ~S) (~AT, S) (~AT, ~S) AK 0.8 0.5 0.7 0.1 Akciğer Kanseri Emphysema ~AK 0.2 0.5 0.3 0.9 Akciğer Kanseri değişkeninin koşullu olasılık tablosu, bu değişkenin her ebeveyn kombinasyonu için koşullu olasılığını gösterir Positif Röntgen Dyspnea Bayesci İnanç Ağı


"İstatistiksel Sınıflandırma" indir ppt

Benzer bir sunumlar


Google Reklamları