Support Vector Machines

Slides:



Advertisements
Benzer bir sunumlar
GEOMETRİ PERFORMANS ÖDEVİ
Advertisements

Baz Değişimi Bir sorun için uygun olan bir baz, bir diğeri için uygun olmayabilir, bu nedenle bir bazdan diğerine değişim için vektör uzayları ile çalışmak.
KARMAŞIK SAYILAR.
17-21 Şubat Doğrusal Fonksiyonların Grafiği
DERS : KONU : DERS ÖĞ.: MATEMATİK SÜREKLİLİK.
Prof. Dr. Halil İbrahim Karakaş Başkent Üniversitesi
Prof. Dr. Halil İbrahim Karakaş Başkent Üniversitesi
10. OPTİMİZASYON OPTİMİZASYON NEDİR?
MIT503 Veri Yapıları ve algoritmalar Algoritmalara giriş
Mustafa Seçkin DURMUŞ Serdar İPLİKÇİ
Bölüm 8: EĞRİ UYDURMA Fizikte laboratuarda yapılan deneysel ölçümlerin ne kadar hata payı içerdiğini, veya belli teorik modellere ne kadar uyduğunu bilmek.
Bellek Tabanlı Sınıflandırma
FONKSİYONLAR ve GRAFİKLER
MIT563 Yapay Zeka ve Makine Öğrenmesi
Çoklu Denklem Sistemleri
MATLAB’ de Programlama XII Hafta 12 Matlab Ders Notları.
Hakan Öktem Orta Doğu Teknik Üniversitesi
SONLU ELEMANLAR YÖNTEMİ
TBF - Genel Matematik I DERS – 8 : Grafik Çizimi
KESİRLİ FONKSİYONLARIN GRAFİKLERİ
Bölüm 4: Sayısal İntegral
Analiz Yöntemleri Çevre Yöntemi
DERS 11 KISITLAMALI MAKSİMUM POBLEMLERİ
MATRİS-DETERMİNANT MATEMATİK.
FONKSİYONLARIN GRAFİKLERİ
DOĞRU GRAFİKLERİ EĞİM.
Bölüm6:Diferansiyel Denklemler: Başlangıç Değer Problemleri
İKİNCİ DERECEDEN FONKSİYONLAR ve GRAFİKLER
Ders : MATEMATİK Sınıf : 8.SINIF
Yıldız Teknik Üniversitesi Makina Müh. Bölümü
GEOMETRİK PROGRAMLAMA
Mustafa Kösem Özkan Karabacak
Bölüm5 :Kök Bulma Sayısal bilgisayarlar çıkmadan önce, cebirsel denklemlerin köklerini çözmek için çeşitli yollar vardı. Bazı durumlarda, eşitliğinde olduğu.
RAYLEIGH YÖNTEMİ : EFEKTİF KÜTLE
SONLU ELEMANLAR YÖNTEMİ
1.4 Analitik Düzlemde Vektörler YÖNLÜ DOĞRU PARÇASI :
TİTREŞİM PROBLEMLERİNİN DOĞRUSALLAŞTIRILMASI
Ters Hiperbolik Fonksiyonlar
Yrd.Doç.Dr. Mustafa Akkol
TEK FONKSİYON-ÇİFT FONKSİYON
Yrd. Doç. Dr. Mustafa Akkol
DOĞRUSAL DENKLEM SİSTEMLERİNİN GRAFİK İLE ÇÖZÜMÜ
2 Birinci Mertebeden Adi Diferansiyel Denklemler
Yıldız Teknik Üniversitesi Makina Müh. Bölümü
DOĞRUSAL EŞİTSİZLİK SİSTEMLERİ
SONLU ELEMANLAR DERS 9.
KARMAŞIK SAYILAR.
SONLU ELEMANLAR DERS 6.
DOĞRUSAL EŞİTSİZLİKLER
Lineer Programlama: Model Formulasyonu ve Grafik Çözümü
Yapay Sinir Ağları (YSA)
Sayısal Analiz 7. Hafta SAÜ YYurtaY.
Denklemeler içerdiği değişkenin sayısına ve kuvvetine göre sınıflandırılır. Aşağıdaki örneklere bakarsak; 2x+4=15I. Dereceden I Bilinmeyenli Denklem x.
Tanım: Bir x 0  A = [a,b] alalım. f : A  R ye veya f : A -{x 0 }  R ye bir Fonksiyon olsun Terimleri A - {x 0 } Cümlesine ait ve x 0 ’a yakınsayan.
Geçen hafta anlatılanlar Değişmez küme Değişmez kümelerin kararlılığı Bildiğimiz diğer kararlılık tanımları ve değişmez kümenin kararlılığı ile ilgileri.
Bölüm10 İteratif İyileştirme Copyright © 2007 Pearson Addison-Wesley. All rights reserved.
Kümeleme Modeli (Clustering)
DERS 7 SAYISAL İNTEGRASYON DERS 7.1 TRAPEZOIDAL (YAMUK) KURAL
Çok Katmanlı Algılayıcı-ÇKA (Multi-Layer Perceptron)
Sinir Hücresi McCulloch-Pitts x1 w1 x2 w2 v y wm xm wm+1 1 '
Ünite 10: Regresyon Analizi
Hopfield Ağı Ayrık zaman Sürekli zaman
5.1 POLİNOMİNAL REGRESSİYON
Sistem Özellikleri: Yönetilebilirlik, Gözlenebilirlik ve Kararlılık
S. Haykin, “Neural Networks- A Comprehensive Foundation”,
SONLU ELEMANLAR DERS 5.
2 Birinci Mertebeden Adi Diferansiyel Denklemler
Prof. Dr. Halil İbrahim Karakaş Başkent Üniversitesi
ÖSS GEOMETRİ Analitik.
Sunum transkripti:

Support Vector Machines

Giriş İki sınıflı doğrusal veya doğrusal olmayan verilerin sınıflandırılması Çalışma prensibi: İki sınıfı birbirinden ayıran en uygun karar fonksiyonunun (hiperdüzlemin) tahmin edilebilmesi

İki sınıfı ayıran hiperdüzlemler

Optimum hiperdüzlem

Optimum hiperdüzlem Eğitim verileri: sonucu üreten bir h hipotezi aranır. h hipotezi bir karar sınırıdır (seperating hyperplane) (w,b) parametreleri ile tanımlanır w: ağırlık vektörü b: eğilim değerleri

Functional margin Functional margin of a hyperplane: Fonksiyonel marjinin geniş olması hedeflenir: Eğer ise (xi,yi) doğru sınıflandırılmıştır. Optimum hiperdüzlemin belirlenmesi için Bu düzleme paralel olan ve düzlemin sınırlarını oluşturan iki hiperdüzlem belirlenir. Bu iki hiperdüzlem: destek vektörleri (support vectors) Eğer birden çok eğitim verisi var ise Functional margin:

Geometric Margin B noktası: Bu nokta karar düzlemi üzerindedir ve denklemini sağlamalıdır. A noktasındaki veri için geometrik margin: Daha genel olarak:

Optimal Margin Classifier Optimum hiperdüzlem sınırının maksimuma çıkarılması gerekir Bunun için minimum yapılmalıdır. Optimum hiperdüzlem belirlenmesi için optimizasyon problemi:

Lagrangian Duality Problem: Lagrange denklemi şu şekilde tanımlanır: β: lagrange multiplier, w ve β çözümü için:

Lagrangian Duality Primal optimizasyon problemi: Genelleştirilmiş lagrangian: α ve β: lagrangian multipliers

Karush-Kuhn-Tucker COnditions w, α ve β KKT koşullarını sağlamalıdır ancak bu durumda çözüm primal ve dual problem çözümüdür.:

Lagrange Multipliers Lagrange çarpanları SVM ile nasıl çalışır? Kısıtlı optimizasyon problemlerinde sağlanması gereken koşullar Karush-Kuhn-Tucker Conditions KKT conditions:

Optimal Margin Classifier Constraints: Optimizasyon problemi için Lagrangian formu:

Optimal Margin Classifier Lagrange denkleminin w ve b’ye göre türevleri alınırsa:

Optimal Margin Classifier Bu durumda lagrange denklemi: Son terim 0 dır: Sonuçta aşağıdaki optimizasyon problemi elde edilir.

Kernels Original input values  attributes Original inputs mapped to new quantities features Φ : feature mapping function <xi,yi) verilerini < Φ (xi), Φ (yi)> ile yer değiştir. Örneğin Giriş verileri yüksek boyutlu ise: Φ(x) çok yüksek boyutlu Bu durumda Kernel fonksiyonu tanımlanır.

Kernels Verilen bir özellik eşlemesine(feature mapping) göre Kernel fonksiyonu tanımlanır: SVM çalışma mantığı <xi,xj> görüldüğü yerde K(xi,xj) ile yer değiştirmektir. n=3 ve Örnek kernel: Feature mapping:

Mercer Kernel Mercer teoremi: şeklinde yazılmasını sağlayan bir eşleşmesi varsa pozitif tanımlı ve simetrik K(x,z) bir çekirdek fonksiyondur.

Örn Kernel Fonksiyonu X=(x1,x2), z=(z1,z2), K=(x,z)2

Sık kullanılan Kernel Fonksiyonları Doğrusal: Polinom Radyal Tabanlı

Nonlinear dataset

Nonlinear Case

Nonlinear Mapping Veriler nonlinear ise nonlinear sınıflandırıcılar kullanılır.

Nonlinear Case, Soft Margin SVM Primal optimization problem: Modified Opt. Problem:

Nonlinear Case, Soft Margin SVM Daha önceden olduğu gibi Lagrangian formu kurulur: α ve r: lagrange çarpanlarıdır. W ve b ye göre türev alındığında problemin dual formu şu şekilde elde edilir: KKT koşulları:

SMO Algoritması

Problem Problem: Çözüm: İki boyutlu veri kümesine 2 adet farklı sınıf olsun. Her sınıfta bir veri noktası olsun, bunlar Bu iki sınıfı ayıran hiperdüzlemi bulalım Çözüm: SVM teoreminden bildiğimiz denklemler:

Çözüm Denklemleri Lagrange formuna koyarız Ve Lagrange’ın Gradyenini buluruz

Çözüm Lagrange Gradyeni şunları verir: Bu denklemler analitik çözüm için yeterlidir: [1] [2] [3] [4]

Çözüm Problemde verilen x1 ve x2 giriş verilerini elde ettiğimiz denklemlere yazarsak: şu eşitlikler elde edilir: [5]

Çözüm [1] ve [2] nolu denklemleri birleştirerek şu eşitlikler elde edilir: Buradan elde edilen sonuç Bu sonuçları denklem [5]’e yazdığımızda:

Çözüm Ve son olarak denklem [3] ve [4] ü kullanarak: Elde edilen bu sonuç tüm KKT koşullarını karşılamaktadır.

Kernel Model

Örnek Nonlinear Sınıflama XOR problemi için SVM sınıflayıcıyı bulun.

Örnek Nonlinear Sınıflama N=4 ve optimizasyon fonksiyonu: burada Uygulanacak kernel fonksiyonu

Örnek Nonlinear Sınıflama Hessien Matrisi hesaplanır: Hesaplanan matris: yı bulmak için:

Örnek Nonlinear Sınıflama Hesaplanan değerleri: tüm ise tüm örnekler support vektördür ve koşulunu sağlar. Yeni gelen bir x giriş verisi için sınıf etiketi sınıflayıcı fonksiyondan elde edilir: