Sunum yükleniyor. Lütfen bekleyiniz

Sunum yükleniyor. Lütfen bekleyiniz

Sınıflandırıcılarda Hata Ölçülmesi ve Karşılaştırılması için İstatistiksel Yöntemler Ethem Alpaydın Boğaziçi Üniversitesi

Benzer bir sunumlar


... konulu sunumlar: "Sınıflandırıcılarda Hata Ölçülmesi ve Karşılaştırılması için İstatistiksel Yöntemler Ethem Alpaydın Boğaziçi Üniversitesi"— Sunum transkripti:

1 Sınıflandırıcılarda Hata Ölçülmesi ve Karşılaştırılması için İstatistiksel Yöntemler Ethem Alpaydın Boğaziçi Üniversitesi SİU 2009

2 SİU 2009 Eğitim semineri E Alpaydın Nisan Giriş Sorular:  Bir sınıflandırıcının hatasını nasıl ölçebiliriz?  İki sınıflandırıcının hatasını nasıl karşılaştırabiliriz? Öğrenme/geçerleme/deneme kümeleri Yeniden örnekleme: K-kat çapraz geçerleme Parametrik ve parametrik olmayan testler İkiden çok sınıflandırıcının karşılaştırılması Tek/çok veri kümesi Hata dışındaki ölçütlerin karşılaştırılması

3 SİU 2009 Eğitim semineri E Alpaydın Nisan Yöntemlerin Karşılaştırılması Kıstaslar (Uygulamaya bağlı olarak):  Sınıflandırma hatası (Risk, kayıp fonksiyonları)  Öğrenme zaman/bellek karmaşıklığı  Deneme zaman/bellek karmaşıklığı  Yorumlanabilirlik  Kolay programlanabilme Masraf (karmaşıklık) duyarlı öğrenme

4 SİU 2009 Eğitim semineri E Alpaydın Nisan Öğrenme, Ezberleme, Genelleme Deneme Kümesi Geçerleme Kümesi Öğrenme Kümesi Çapraz geçerleme

5 SİU 2009 Eğitim semineri E Alpaydın Nisan Yeniden Örnekleme K-Kat Çapraz Geçerleme Birden çok öğrenme/gerçekleme kümesi yaratmak için { X i, V i } i : kat i X, K parçaya ayırılıyor: X i,i=1,...,K K-2 parça ortak Sınıf olasılıklarının korunması

6 SİU 2009 Eğitim semineri E Alpaydın Nisan ×2 Çapraz Geçerleme 5 kere 2 kat çapraz geçerleme (Dietterich, 1998)

7 SİU 2009 Eğitim semineri E Alpaydın Nisan Aralık Kestirimi X = { x t } t, x t ~ N ( μ, σ 2 ) m ~ N ( μ, σ 2 /N) 100(1- α) % güven aralığı

8 SİU 2009 Eğitim semineri E Alpaydın Nisan Tek taraflı güven aralığı

9 SİU 2009 Eğitim semineri E Alpaydın Nisan σ 2 bilinmediğinde :

10 SİU 2009 Eğitim semineri E Alpaydın Nisan Hipotez Testleri Sıfır hipotezi H 0 Örneğin, H 0 : μ = μ 0 vs. H 1 : μ ≠ μ 0 Eğer μ 0, 100(1- α) güven aralığına düşmüyorsa H 0 reddedilir X = { x t } t, x t ~ N ( μ, σ 2 ) Çift taraflı test

11 SİU 2009 Eğitim semineri E Alpaydın Nisan Tek taraflı test: H 0 : μ ≤ μ 0 vs. H 1 : μ > μ 0 H 0 reddedilmez eğer Varyans bilinmiyorsa; z yerine t dağılımı H 0 : μ = μ 0 reddedilmez eğer

12 SİU 2009 Eğitim semineri E Alpaydın Nisan Testin hata tipleri ve gücü Karar GerçekKabulRed H 0 DoğruDoğru kararBirinci tip hata (  ) H 0 Yanlışİkinci tip hata (  ) Doğru karar (Güç)

13 SİU 2009 Eğitim semineri E Alpaydın Nisan Hata Ölçülmesi: H 0 : p ≤ p 0 vs. H 1 : p > p 0 Tek öğrenme/geçerleme kümesi: Binom Testi Hata olasılığı p 0 ise, en az e hata yapma olasılığı çok küçükse reddet:

14 SİU 2009 Eğitim semineri E Alpaydın Nisan Normal Approximation to the Binomial Hata sayısı X yaklaşık olarak N (Np 0, Np 0 (1-p 0 )) X = e için bu değer > z α ise reddet 1- α

15 SİU 2009 Eğitim semineri E Alpaydın Nisan Birden çok Öğrenme/Geçerleme x t i = 1 eğer kat i’de örnek t yanlış sınıflandırılırsa Kat i’de hata: H 0 : p ≤ p 0 vs. H 1 : p > p 0 reddederiz, eğer > t α,K-1

16 SİU 2009 Eğitim semineri E Alpaydın Nisan Sınıflandırıcıların Karşılaştırılması: H 0 : μ 1 = μ 2 vs. H 1 : μ 1 ≠ μ 2 K-kat Çapraz Geçerleme Eşlenmiş t testi p i 1, p i 2 : Sınıflandırıcı 1 ve 2’nin kat i’deki hataları p i = p i 1 – p i 2 : Kat i’deki eşlenmiş fark Sıfır hipotezimiz p i ‘in beklenen değeri 0’dır:

17 SİU 2009 Eğitim semineri E Alpaydın Nisan ×2 Çapraz Geçerleme Eşlenmiş t Testi (Dietterich, 1998) 5×2 çapraz geçerleme ile 5 tekrarda 2 kat öğrenme/geçerleme kümesi oluşturulur p i (j) : sınıflandırıcılar 1 ve 2’nin kat j=1, 2 tekrar i=1,...,5’deki farkı Çift taraflı : Reddet H 0 : μ 1 = μ 2 eğer (-t α/2,5,t α/2,5 ) Tek taraflı: Reddet H 0 : μ 1 ≤ μ 2 eğer > t α,5

18 SİU 2009 Eğitim semineri E Alpaydın Nisan ×2 Çapraz Geçerleme Eşlenmiş F Testi (Alpaydın, 1999) Çift taraflı test: Reddet H 0 : μ 1 = μ 2 eğer > F α,10,5

19 SİU 2009 Eğitim semineri E Alpaydın Nisan L>2 Sınıflandırıcı: Varyans Analizi (Anova) L sınıflandırıcının K kattaki hataları Reddedilirse ikili testler

20 SİU 2009 Eğitim semineri E Alpaydın Nisan Anova tablosu Değişkenli ğin kaynağı Karelerin toplamı Serbestlik derecesi Ortalama Kare F0F0 Gruplar arası L-1 Grup içiL(K-1) ToplamLK-1

21 SİU 2009 Eğitim semineri E Alpaydın Nisan Çoklu Anakütle Testleriyle İlgili Bonferroni düzeltmesi: Eğer m test sonunda bir karara varılacaksa, sonuç karar hassasiyetinin α olabilmesi için, her bir testin hassasiyetinin α/m olması gerekir. Kontrastlar

22 SİU 2009 Eğitim semineri E Alpaydın Nisan MultiTest Yöntemiyle Sınıflandırıcıların Sıralanması (Yıldız ve Alpaydın, 2006) L sınıflandırıcı ön bir karmaşıklık ölçütüne göre sıralanır: i

23 SİU 2009 Eğitim semineri E Alpaydın Nisan

24 SİU 2009 Eğitim semineri E Alpaydın Nisan

25 SİU 2009 Eğitim semineri E Alpaydın Nisan Parametrik olmayan testler İşaret testi Sıralama (rank) testleri: Kruskal-Wallis testi Friedman sıralama testi Kullanımı:  Birden çok veritabanı üzerinde karşılaştırma  Sınıflandırma hatası dışındaki ölçütlerin (hız, bellek, vs) karşılaştırılması

26 SİU 2009 Eğitim semineri E Alpaydın Nisan Başarı Ölçütleri Hata = (FN+FP) / N Recall = bulunan artılar/ toplam artılar = TP / (TP+FN) = sensitivity = hit rate Precision = bulunan artılar / bulunanlar = TP / (TP+FP) Specificity = TN / (TN+FP) False alarm rate = FP / (FP+TN) = 1 - Specificity Öngörü GerçekArtıEksi ArtıTPFN EksiFPTN

27 SİU 2009 Eğitim semineri E Alpaydın Nisan ROC Eğrisi

28 SİU 2009 Eğitim semineri E Alpaydın Nisan

29 SİU 2009 Eğitim semineri E Alpaydın Nisan Sonuçlar Güven aralıkları Örnek kümesi büyüklüğü Öğrenme, ezberleme, genelleme Deney tasarımı

30 SİU 2009 Eğitim semineri E Alpaydın Nisan Kaynaklar M. Aytaç (2004) “Matematiksel İstatistik,” Ezgi Yayınevi.


"Sınıflandırıcılarda Hata Ölçülmesi ve Karşılaştırılması için İstatistiksel Yöntemler Ethem Alpaydın Boğaziçi Üniversitesi" indir ppt

Benzer bir sunumlar


Google Reklamları