YAPAY SİNİR AĞLARI VE BAYES SINIFLAYICI Yrd.Doç.Dr.Lale Özyılmaz

YAPAY SİNİR AĞLARI (YSA) Genel olarak insan beyninin ya da merkezi sinir sisteminin çalışma prensiplerini taklit eden bilgi işleme sistemleridir. YSA yapay sinir hücrelerinden meydana gelir ve katmanlar halinde oluşturulur.

BİYOLOJİK VE YAPAY SİNİR SİSTEMİ Biyolojik Sinir Sistemi YSA Sistemi Nöron İşlem Elemanı Dendrit Birleştirme Fonksiyonu Hücre Gövdesi Transfer Fonksiyonu Akson İşlem Elemanı Çıkışı Sinapslar Ağırlıklar

İŞLEM ELEMANININ YAPISI

YAPAY SİNİR AĞLARININ YAPISI-1

YAPAY SİNİR AĞLARININ YAPISI-2 Yapay sinir ağları, yapay sinir hücrelerinin birbirine bağlanmasıyla oluşan yapılardır. Yapay sinir ağları üç ana bölümde incelenir: giriş, ara (gizli) ve çıkış katmanları.

YAPAY SİNİR AĞLARININ YAPISI-3 Giriş Katmanı: Yapay sinir ağına dış dünyadan girişlerin geldiği katmandır. Genelde girişler herhangi bir işleme uğramadan ara katmanlara iletilmektedir.

YAPAY SİNİR AĞLARININ YAPISI-4 Ara (Gizli) Katman: Giriş katmanından çıkan bilgiler bu katmana gelir. Ara katman sayısı ağdan ağa değişebilir. Bazı yapay sinir ağlarında ara katman bulunmadığı gibi bazı yapay sinir ağlarında ise birden fazla ara katman bulunmaktadır. Ara katmanlardaki nöron sayıları giriş ve çıkış sayısından bağımsızdır.

YAPAY SİNİR AĞLARININ YAPISI-5 Çıkış Katmanı: Ara katmanlardan gelen bilgiyi işleyerek, giriş katmanından gelen verilere karşılık olan çıkışları üreten katmandır. Bu katmanda üretilen çıkışlar dış dünyaya gönderilir.

YSA’NIN TEMEL BAZI ÖZELLİKLERİ Öğrenme: İstenen çıkış(lar)ı elde etmek için bağlantı ağırlıklarının ayarlanmasıdır. Genelleme: YSA’nın eğitim sırasında karşılaşmadığı test örnekleri için de istenen çıkışı üretmesidir. Adaptiflik: Ele alınan problemdeki değişikliklere göre ağırlıkların tekrar ayarlanmasıdır.

YSA’LARIN YAPILARINA GÖRE SINIFLANDIRILMASI-1 İleri Beslemeli Ağ:

YSA’LARIN YAPILARINA GÖRE SINIFLANDIRILMASI-2 Geri Beslemeli Ağ: Çıkışlar Z-1 : gecikme operatörü Girişler

YSA’LARIN ÖĞRENME ALGORİTMALARINA GÖRE SINIFLANDIRILMASI Eğiticili (Denetimli) Öğrenme: Çıkış katmanında ağın üretmesi gereken sonuçlar yani hedef (istenen, beklenen) çıkışlar YSA’ya verilir. Eğiticisiz (Denetimsiz) Öğrenme: Örneklerden elde edilen çıkış bilgisine göre YSA, girişleri kümelere ayırır.

YAPAY SİNİR AĞININ EĞİTİMİNDE ÖNEMLİ BAZI KRİTERLER Eğitme örneklerinin seçilmesi Ağ yapısının belirlenmesi Durdurma kriterlerinin seçimi

TEK KATMANLI ALGILAYICI (TKA) ÖĞRENME KURALI-1 Adım 1: Ağa giriş verileri  ve girişlere karşılık gelen beklenen (hedef) çıkışlar uygulanır. Hedef çıkış, 1 ve 0 değerlerinden birisini alır. Adım 2: Net  giriş şu şekilde hesaplanır: NET=∑(wi*xi) Adım 3: Ağın çıkış değeri hesaplanır. Net girişin eşik değerinden büyük veya küçük olmasına  göre ağın çıkış değeri 1 ve 0 değerlerinden birisini alır.

TEK KATMANLI ALGILAYICI (TKA) ÖĞRENME KURALI-2 Ç: Ağ çıkışı (gerçekleşen çıkış) olmak üzere, Ç=1 Eğer NET > EŞİK DEĞERİ Ç=0 Eğer NET < = EŞİK DEĞERİ Eğer gerçekleşen çıkış ile beklenen (hedef) çıkış aynı olursa ağırlıklarda herhangi bir değişiklik yapılmaz. Gerçekleşen çıkış ile beklenen çıkış farklı olursa iki durum söz konusudur:

TEK KATMANLI ALGILAYICI (TKA) ÖĞRENME KURALI-3 a) Ağın beklenen çıkışı 0 değerindedir. Fakat net giriş eşik değerinin üstündedir. Yani ağın gerçekleşen çıkışı 1 değerindedir. Bu durumda ağırlık değerleri azaltılır. Ağırlıkların değişimi Wn = W0 - λX ile hesaplanır. Burada λ öğrenme katsayısıdır. b) Beklenen çıkışın 1 olması ve ağın gerçek çıkışının 0 olması durumudur. Yani net giriş eşik değerine eşittir ya da eşik değerinden küçüktür. Bu durumda ağırlıkların değerlerinin arttırılması gerekmektedir. Yeni ağırlık değerleri Wn = W0 + λX ile hesaplanır.

TEK KATMANLI ALGILAYICI (TKA) ÖĞRENME KURALI-4 Adım 4: Önceki adımlar giriş setindeki (kümesindeki) bütün örnekler için doğru sınıflandırmalar yapılıncaya kadar tekrarlanır.

TEK KATMANLI ALGILAYICI (TKA) İÇİN ÖRNEK PROBLEM-1 X : Ağa uygulanan örnekler H : Hedef (Beklenen) çıkışlar Ç : Gerçekleşen çıkışlar (Ağın çıkışı) 1. örnek : X1 = (x1, x2) = (1,0) ; H1 = 1 2. örnek : X2 = (x1, x2) = (0,1) ; H2 = 0 Ağırlıklar: W = (w1, w2) = (1,2) Eşik Değeri: θ = -1 Öğrenme Katsayısı: λ = 0.5

TEK KATMANLI ALGILAYICI (TKA) İÇİN ÖRNEK PROBLEM-2 1. Eğitme Adımı (İterasyon) : 1. örnek ağa uygulanır. NET = w1*x1 + w2*x2 = 1*1 + 2*0 = 1 NET > θ olduğu için Ç1 = 1 olur. Ç1 = H1 olduğundan ağırlıklar değiştirilmez. 2. Eğitme Adımı (İterasyon) : 2. örnek ağa uygulanır. NET = w1*x1 + w2*x2 = 1*0 + 2*1 = 2 NET > θ olduğu için Ç2 = 1 olur. Ç2 >H2 olduğundan ağırlıklar Wn=W0-λX ile değiştirilir. w1 = w1-λx1 = 1- 0.5*0 = 1 w2 = w2-λx2 = 2- 0.5*1 = 1.5

TEK KATMANLI ALGILAYICI (TKA) İÇİN ÖRNEK PROBLEM-3 3. Eğitme Adımı (İterasyon) : 1. örnek ağa uygulanır. NET = w1*x1 + w2*x2 = 1*1 + 1.5*0 = 1 NET > θ olduğu için Ç1 = 1 olur. Ç1 = H1 olduğundan ağırlıklar değiştirilmez. 4. Eğitme Adımı (İterasyon) : 2. örnek ağa uygulanır. NET = w1*x1 + w2*x2 = 1*0 + 1.5*1 = 1.5 NET > θ olduğu için Ç2 = 1 olur. Ç2 >H2 olduğundan ağırlıklar Wn=W0-λX ile değiştirilir. w1 = w1-λx1 = 1- 0.5*0 = 1 w2 = w2-λx2 = 1.5- 0.5*1 = 1

TEK KATMANLI ALGILAYICI (TKA) İÇİN ÖRNEK PROBLEM-4 5. Eğitme Adımı (İterasyon) : 1. örnek ağa uygulanır. NET = w1*x1 + w2*x2 = 1*1 + 1*0 = 1 NET > θ olduğu için Ç1 = 1 olur. Ç1 = H1 olduğundan ağırlıklar değiştirilmez. 6. Eğitme Adımı (İterasyon) : 2. örnek ağa uygulanır. NET = w1*x1 + w2*x2 = 1*0 + 1*1 = 1 NET > θ olduğu için Ç2 = 1 olur. Ç2 >H2 olduğundan ağırlıklar Wn=W0-λX ile değiştirilir. w1 = w1-λx1 = 1- 0.5*0 = 1 w2 = w2-λx2 = 1- 0.5*1 = 0.5

TEK KATMANLI ALGILAYICI (TKA) İÇİN ÖRNEK PROBLEM-5 7. Eğitme Adımı (İterasyon) : 1. örnek ağa uygulanır. NET = w1*x1 + w2*x2 = 1*1 + 0.5*0 = 1 NET > θ olduğu için Ç1 = 1 olur. Ç1 = H1 olduğundan ağırlıklar değiştirilmez. 8. Eğitme Adımı (İterasyon) : 2. örnek ağa uygulanır. NET = w1*x1 + w2*x2 = 1*0 + 0.5*1 = 0.5 NET > θ olduğu için Ç2 = 1 olur. Ç2 >H2 olduğundan ağırlıklar Wn=W0-λX ile değiştirilir. w1 = w1-λx1 = 1- 0.5*0 = 1 w2 = w2-λx2 = 0.5- 0.5*1 = 0

TEK KATMANLI ALGILAYICI (TKA) İÇİN ÖRNEK PROBLEM-6 9. Eğitme Adımı (İterasyon) : 1. örnek ağa uygulanır. NET = w1*x1 + w2*x2 = 1*1 + 0*0 = 1 NET > θ olduğu için Ç1 = 1 olur. Ç1 = H1 olduğundan ağırlıklar değiştirilmez. 10. Eğitme Adımı (İterasyon) : 2. örnek ağa uygulanır. NET = w1*x1 + w2*x2 = 1*0 + 0*1 = 0 NET > θ olduğu için Ç2 = 1 olur. Ç2 >H2 olduğundan ağırlıklar Wn=W0-λX ile değiştirilir. w1 = w1-λx1 = 1- 0.5*0 = 1 w2 = w2-λx2 = 0- 0.5*1 = -0.5

TEK KATMANLI ALGILAYICI (TKA) İÇİN ÖRNEK PROBLEM-7 11. Eğitme Adımı (İterasyon) : 1. örnek ağa uygulanır. NET = w1*x1 + w2*x2 = 1*1 + (-0.5)*0 = 1 NET > θ olduğu için Ç1 = 1 olur. Ç1 = H1 olduğundan ağırlıklar değiştirilmez. 12. Eğitme Adımı (İterasyon) : 2. örnek ağa uygulanır. NET = w1*x1 + w2*x2 = 1*0 + (-0.5)* 1 = -0.5 NET > θ olduğu için Ç2 = 1 olur. Ç2 >H2 olduğundan ağırlıklar Wn=W0-λX ile değiştirilir. w1 = w1-λx1 = 1- 0.5*0 = 1 w2 = w2-λx2 = (-0.5)- 0.5*1 = -1

TEK KATMANLI ALGILAYICI (TKA) İÇİN ÖRNEK PROBLEM-8 13. Eğitme Adımı (İterasyon) : 1. örnek ağa uygulanır. NET = w1*x1 + w2*x2 = 1*1 + (-1)* 0 = 1 NET > θ olduğu için Ç1 = 1 olur. Ç1 = H1 olduğundan ağırlıklar değiştirilmez. 14. Eğitme Adımı (İterasyon) : 2. örnek ağa uygulanır. NET = w1*x1 + w2*x2 = 1*0 + (-1)*1 = -1 NET = θ olduğu için Ç2 = 0 olur. Ç2 = H2 olduğundan ağırlıklar değiştirilmez. Ağırlıkların son durumu : W = (w1, w2) = (1,-1)

BAYES SINIFLAYICI İstatistiksel bir sınıflandırıcıdır. Sınıf üyelik olasılıklarını öngörür. İstatistikteki Bayes Teoremine dayanır. Basit bir yöntemdir.

BASİT BAYES SINIFLANDIRMA YÖNTEMİ Giriş : Öğrenme seti C1, C2, …, Cm adlı m sınıfımız olsun . Sınıflandırma maksimum posteriori olasılığını bulmaya dayanır. P(X) is bütün sınıflar için sabittir. olasılığının maksimum değeri bulunmalıdır. Yeni bir örnek X, maximum P(X|Ci)*P(Ci) değerine sahip olan sınıfa atanır.

P(xi|C) DEĞERLERİNİN BULUNMASI Özellik 1 P(1|A) = 3/5 P(1|B) = 2/9 P(2|A) = 0 P(2|B) = 4/9 P(3|A) = 2/5 P(3|B) = 3/9 Özellik 2 P(1|A) = 2/5 P(2|A) = 2/5 P(3|A) = 1/5 Özellik 3 P(1|A) = 4/5 P(1|B) = 3/9 P(2|A) = 1/5 P(2|B) = 6/9 Özellik 4 P(1|B) = 6/9 P(2|A) = 3/5 P(2|B) = 3/9 P(A) = 5/14 P(B) = 9/14

YENİ X ÖRNEĞİNİN SINIFLANDIRILMASI Yeni örnek X = <özellik1, özellik2, özellik3, özellik4>=<3, 1, 1, 1> P(X|A)·P(A) = P(3|A)·P(1|A)·P(1|A)·P(1|A)·P(A) = 2/5·2/5·4/5·2/5·5/14 = 0.018286 P(X|B)·P(B) = P(3|B)·P(1|B)·P(1|B)·P(1|B)·P(B) = 3/9·2/9·3/9·6/9·9/14 = 0.010582 Örnek X’in sınıfı A olarak öngörülür.

TEŞEKKÜRLER ... Yrd.Doç.Dr. LALE ÖZYILMAZ YILDIZ TEKNİK ÜNİVERSİTESİ ELEKTRONİK ve HABERLEŞME MÜHENDİSLİĞİ BÖLÜMÜ www.yildiz.edu.tr/~ozyilmaz ozyilmaz@yildiz.edu.tr