Bölüm 4 için Ders Notları Introduction to Data Mining

... konulu sunumlar: "Bölüm 4 için Ders Notları Introduction to Data Mining"— Sunum transkripti:

1 Bölüm 4 için Ders Notları Introduction to Data Mining
Veri Madenciliği Sınıflandırma: Temel Tanımlar, Karar Ağaçları ve Model Değerlendirmesi Bölüm 4 için Ders Notları Introduction to Data Mining by Tan, Steinbach, Kumar, Çeviren Yrd. Doç. Dr. Mete Çelik © Tan,Steinbach, Kumar Introduction to Data Mining /18/

2 Sınıflandırma: Tanım Bir kayıt kolleksiyonu verilsin (eğitim kümesi)
Herbir kayıt parametreler grubu (x,y) ile karakterize edilir. Buradaki x özellik kümesidir ve y ise sınıf etiketidir. x: özellik, kestirici, bağımsız değişken, giriş y: etiket, cevap, bağımlı değişken, çıkış Görev: Herbir özellik kümesi x’i, daha önceden tanımlanmış sınıf etiketi y’den birine eşleştiren bir modeli öğren.

3 Sınıflandırma Görevi Örnekleri
Özellik kümesi, x Sınıf etiketi, y E-posta mesajlarını kategorilere ayırmak Eposta üstbilgisinden veya içeriginden çıkarılan özellikler İstenmeyen e-posta (spam) veya değil ( non-spam) Tümör hücrelerini belirleme MRI görüntülerinden çıkarılan özellikler Kötü huylu veya iyi huylu hücreler Galaksileri kataloglama Teleskop resimlerinden çıkarılan özellikler Oval, spiral, or düzensiz-şekilli galaksiler

4 Sınıflandırma Modelinin Oluşturulması için Genel Yaklaşım

5 Sınıflandırma Teknikleri
Temel Sınıflandırıcılar Karar Ağacı tabanlı Yöntemler Kural-tabanlı Yöntemler En yakın komşu Sinir Ağları Naïve Bayes ve Bayesian Belief Ağları Destek Vektör Makineleri Topluluk Sınıflandırıcıları (Ensemble Classifiers) Hızlandırma, Çuvallama, Rastgele Ağaçlar (Boosting, Bagging, Random Forests)

6 Bir Karar Ağacı Örneği Model: Karar Ağacı Eğitim Verisi
kategorik kategorik sürekli sınıf Ayrılan Özellikler Home Owner Yes No NO MarSt Single, Divorced Married Income NO < 80K > 80K NO YES Eğitim Verisi Model: Karar Ağacı

7 Başka Bir Karar Ağacı Örneği
kategorik kategorik sürekli sınıf MarSt Single, Divorced Married NO Home Owner No Yes NO Income < 80K > 80K NO YES Aynı veriye uyan birden fazla ağaç olabilir.

8 Karar Ağacı Sınıflandırma Görevi
Decision Tree

9 Modelin Test Verisine Uygulanması
Kökten başla Home Owner Yes No NO MarSt Single, Divorced Married Income NO < 80K > 80K NO YES

10 Modelin Test Verisine Uygulanması
Home Owner Yes No NO MarSt Single, Divorced Married Income NO < 80K > 80K NO YES

11 Modelin Test Verisine Uygulanması
Home Owner Yes No NO MarSt Single, Divorced Married Income NO < 80K > 80K NO YES

12 Modelin Test Verisine Uygulanması
Home Owner Yes No NO MarSt Single, Divorced Married Income NO < 80K > 80K NO YES

13 Modelin Test Verisine Uygulanması
Home Owner Yes No NO MarSt Single, Divorced Married Income NO < 80K > 80K NO YES

14 Modelin Test Verisine Uygulanması
Home Owner Yes No NO MarSt Single, Divorced Married Atanan değer “No” Income NO < 80K > 80K NO YES

15 Karar Ağacı Sınıflandırma Görevi
Decision Tree

16 Karar Ağacı Algoritmaları
Çok Sayıda Algoritma : Hunt Algorithması (ilk algoritmalardan) CART ID3, C4.5 SLIQ,SPRINT

17 Karar Ağaçları Algoritmalarının Tasarım Meseleleri
Eğitim verilerinin nasıl ayrılması gerekir? Test durumunu belirlemek için bir metot belirle özellik tiplerine bağlı olabilir Bir test durumunun iyiliğini değerlendirmek için ölçme yap Bölünme işleminin nasıl durması gerekir? Bütün kayıtlar aynı sınıfa ait olunca veya benzer özellik değerlerine sahip olunca dur. Erken durdurma

18 Test Durumlarını İfade Eden Metotlar
Özellik tipine bağlı İkili Nominal Ordinal Sürekli Bölünme sayısına bağlı 2-yönlü ayırma Çok-yönlü ayırma

19 Nominal Değerler için Test Durumları
Çok-yölü bölünme: Ayrık değerler olarak çok sayıda bölme kullanılır. İkili bölünnme Değerleri iki altkümeye ayırır Optimal bölümlemeyi bulmak gerekir.

20 Ornidal Değerler için Test Durumları
Çok-yönlü bölünme: Ayrık değerler olarak çok sayıda bölme kullanılır. İkili bölünme: Değerleri iki altkümeye ayırır Optimal bölümlemeyi bulmak gerekir. Özellik değerleri arasındaki sıralamayı koru Bu gruplama sırayı bozar

21 Sürekli Değerler için Test Durumları

22 Sürekli Özelliklere Dayanarak Bölünme
Farklı yolları vardır Ordinal kategorik özellik oluşturmak için ayrıklaştırma Statik – en başkta birkez ayrıklaştırma Dinamik – aralıklar eşit aralık veya eşit frekans veya kümeleme yolu ile bulunabilir. İkili Karar: (A < v) or (A  v) bütün muhtemel ayrımları hesaba kat ve en iyi kesimi bul hesaplama maliyeti yüksek olabilir

23 En İyi Bölünme Nasıl Belirlenir
Bölünmeden önce: Sınıf 0’da 10 kayıt, Sınıf 1’de 10 kayıt En iyi test durumu hangisidir?

24 En İyi Bölünme Nasıl Belirlenir
Aç gözlü yaklaşım: En saf sınıf dağılımına sahip düşümler tercih edilir Düğüm safsızlığının ölçümü için bir ölçüt gerekir: Yüksek safsızlık derecesi Düşük safsızlık derecessi

25 Düğüm Safsızlığının Ölçüleri
Gini Indeks Entropi Yanlış Sınıflandırma Hatası

26 En İyi Bölünmenin Bulunması
Bölünmeden önce safsızlık ölçüsünü (P) hesapla Bölünmeden sonra safsızlık ölçüsünü (M) hesapla Herbir çocuk düğüm için safsızlık ölçüsünü hesapla Çocukların ortalama safsızlığını hesapla (M) En yüksek kazancı üreten özellik test durumunu seç veya aynı mantıkla, bölünmeden sonra en düşük safsızlık ölçüsünü seç (M) . Kazanç= P – M

27 En İyi Bölünmenin Bulunması
Bölünmeden önce: P A? B? Yes No Yes No Düğüm N1 Düğüm N2 Düğüm N3 Düğüm N4 M11 M12 M21 M22 M1 M2 Kazanç= P – M1 vs P – M2

28 Safsızlığın Ölçüsü : : GINI
Verilen t düğümü için Gini indeks : (NOT: p( j | t) t düğümündeki j sınıfının bağıl frekansıdır.). Eğer kayıtlar bütün sınıflar arasında eşit olarak dağıtıldıysa maksimum (1 - 1/nc ). Yani en az ilginç bilgi. Bütün kayıtlar tek sınıfa ait olduğune minimum (0.0) olur. Yani en ilginç bilgi.

29 Tek Bir Düğümün Gini Indeksinin Hesaplanması
P(C1) = 0/6 = P(C2) = 6/6 = 1 Gini = 1 – P(C1)2 – P(C2)2 = 1 – 0 – 1 = 0 P(C1) = 1/ P(C2) = 5/6 Gini = 1 – (1/6)2 – (5/6)2 = 0.278 P(C1) = 2/ P(C2) = 4/6 Gini = 1 – (2/6)2 – (4/6)2 = 0.444

30 Birden Fazla Düğüm için Gini Indeksinin Hesaplanması
Eğer p düğümü k bölüme (çocuğa) ayırılısa ni = i çocuğundaki kayıt sayısı, n = p düğümündkei kayıt sayısı. Çocukların ağırlıklı ortalama Gini indeksini minimize eden özelliği seç Gini indeks CART, SLIQ, SPRINT gibi karar ağacı algoritmalarında kullanılır

31 İkili Özellikler: GINI Indeksini Hesaplanması
İki bölmeye ayrılırlar Ağırlıklı bölünmenin etkisi: En büyük ve en saf bölünmeler aranıyor. B? Yes No Düğüm N2 Düğüm N1 Gini(N1) = 1 – (5/6)2 – (1/6)2 = 0.278 Gini(N2) = 1 – (2/6)2 – (4/6)2 = 0.444 Gini(Çocuklar) = 6/12 * /12 * = 0.361

32 Categorical Özellikler: Gini Indeksin Hesaplanması
Herbir farklı değer için, herbir sınıftaki sayılarını bul Karar vermek için sayım matrisini kullan Çok-Yönlü Bölünme Two-way split (find best partition of values)

33 Sürekli Özellikler: Gini Indeksin Hesaplanması
Bir değere bağlı olarak İkili kararları kullan Bölünme değeri için birden fazla tercih Muhtemel bölünme değeri sayısı = Farklı değer sayısı Herbir bölünme değeri için kendisi ile ilişkili bir sayım matrisi vardır Herbir bölünme için sınıf sayıları, A < v ve A  v En basit yöntem en iyi v’yi bulmak Herbir v için Gini indeksini hesaplamak ve sayım matrisini oluşturmak için veritabanını tara Hesaplama maliyeti yüksek.

34 Sürekli Özellikler: Gini Indeksin Hesaplanması
Etkili hesaplama için; herbir özellik için, Özellikleri sırala Bu değerleri lineer olarak tara, her seferinde sayım matrisin güncelle ve gini indeksi hesapla En düşük gini indeksi olan bölünme pozisyonunu seç Sıralı değerler Bölünme pozisyonları

35 Safsızlığın Ölçümü : Entropi
Verilen t düşümündeki Entropi: (NOT: p( j | t) t düğümündeki j sınıfının bağıl frekansıdır.). Eğer kayıtlar bütün sınıflar arasında eşit olarak dağıtıldıysa maksimum (log nc ). Yani en az ilginç bilgi. Bütün kayıtlar tek sınıfa ait olduğune minimum (0.0) olur. Yanı en ilginç bilgi. Entropy tabanlı hesaplamalar GINI indekisi hesaplamalarına benzerdir

36 Bir Düğümün Entropisinin Hesaplanması
P(C1) = 0/6 = P(C2) = 6/6 = 1 Entropi = – 0 log 0 – 1 log 1 = – 0 – 0 = 0 P(C1) = 1/ P(C2) = 5/6 Entropi = – (1/6) log2 (1/6) – (5/6) log2 (1/6) = 0.65 P(C1) = 2/ P(C2) = 4/6 Entropi = – (2/6) log2 (2/6) – (4/6) log2 (4/6) = 0.92

37 Bölünmeden Sonra Bilgi Kazancının Hesaplanması
Ana düğüm p, k bölüme ayrılıyor; ni i bölümündeki kayıt sayısı En fazla indirgeme sağlayan bölünmeyi seç (GAIN’i maksimize eden) ID3 ve C4.5’de kullanılır.

38 Bilgi Kazancının Problemleri
Bilgi Kazancı saf ve küçük parçalardan oluşan çok sayıda bölünmeli ayrıma meyillidir. Customer ID en yüksek bilgi kazancına sahiptir çünkü heribr çocuk için entropi sıfırdır.

39 Kazanç Oranı (Gain Ratio)
Ana düğüm p, k bölüme ayrılıyor; ni i bölümündeki kayıt sayısı Bölümlemenin entropisi olarak (SplitINFO) Bilgi Kazancını ayarla. En yüksek entropi bölümleme cezalandırılır C4.5’te kullanılır Bilgi Kazancının dezavantajını ortadan kaldırmak için tasarlanmıştır.

40 Safsızlık Ölçüsü : Sınflandırma Hatası
t düğümündeki sınıflandırma hatası: Eğer kayıtlar bütün sınıflar arasında eşit olarak dağıtıldıysa maksimum (1 - 1/nc . Yani en az ilginç bilgi. Bütün kayıtlar tek sınıfa ait olduğune minimum (0) olur. Yanı en ilginç bilgi.

41 Tek Düğümüm Hatasınn Hesaplanması
P(C1) = 0/6 = P(C2) = 6/6 = 1 Hata = 1 – max (0, 1) = 1 – 1 = 0 P(C1) = 1/ P(C2) = 5/6 Hata = 1 – max (1/6, 5/6) = 1 – 5/6 = 1/6 P(C1) = 2/ P(C2) = 4/6 Hata= 1 – max (2/6, 4/6) = 1 – 4/6 = 1/3

42 Safsızlık Ölülerinin Karşılaştırması
2-sınıf problemi için:

43 Yanlış Sınıflandırma Hatasına karşılık Gini Indeks
Yes No Düğüm N1 Düğüm N2 Gini(N1) = 1 – (3/3)2 – (0/3)2 = 0 Gini(N2) = 1 – (4/7)2 – (3/7)2 = 0.489 Gini(Çocuklar) = 3/10 * /10 * = 0.342 Gini daha iyi olur ancak hata aynı kalır!!

44 Karar Ağacı Tabanlı Sınıflandırma
Avantajları: Kurulumları maliyetli değil Bilinmeyen kayıtları sınıflandırmada oldukça hızlıdır Küçük-boyutlu ağaçları için yorumu kolay Çoğu basit veri kümesi için doğruluğu diğer yöntemlere göre daha iyi olabilir.