“Bilgi”’nin Gösterimi “Bilgi” İnsan veya Makina Yorumlama Öngörme Uygun yanıt verme Depolanmış enformasyon veya model Kurallar: (1) Benzer sınıflardan benzer girişler ağda benzer gösterimler oluşturmalı ve böylece aynı kategoriye ait olarak sınıflanmalı, (2) Farklı sınıflara ayrılacak nesnelere, ağda çok farklı gösterimler atanmalı, (3) Belirli bir özellik önemli ise ağda onun gösterimi ile görevlendirilen hücre sayısı daha fazla olmalı, Nasıl anlayacağız? Nasıl gösterimi oluşturacağız? Hatırlatma

Benzerliğin bir ölçütü - Norm V vektör uzayı olmak üzere, aşağıdaki dört özelliği sağlayan fonksiyon : normdur Hatırlatma

Gösterim için bir yol Bir T harfi İşlem uygulayacağımıza göre nasıl ifade edebiliriz? Bir L harfi

Öğrenme Süreçleri Ağın içinde bulunduğu ortamdan etkilenerek parametrelerini değiştirmesi işlemi öğrenmedir. Öğrenme şekli, parametrelerin nasıl değiştirildiği ile belirlenir. Öğrenme Süreçleri Eğiticili ÖğrenmeEğiticisiz Öğrenme Pekiştirmeli Öğrenme Özdüzenlemeli Öğrenme

OrtamEğitici Eğitilen Sistem Eğiticili Öğrenme + -

Eğitici ortam hakkında bilgiye sahip Eğitilen sistem ortam hakkında bilgiye sahip değil Eğitilen sisteme ilişkin eğitim kümesinde içerilen bilgi ve aracılığı ile değiştiriliyor ağırlıklar hata Eğiticinin ortam hakkında sahip olduğu bilgi, eğitilen sisteme aktarılıyor Burada rahatsız edici bir şey var, ne?

davranış Kritik Ödül r δ Pekiştirmeli Öğrenme Eğitilen Sistem Ortam Değer Atama Öğrenme işleminin her adımında istenilen yanıtı sağlayan bir eğitici yok Eğitilen sistem, sonuçta elde edilecek yanıta erişmek için gerekli davranışı eleştiriyi gözönünde tutarak bulmak bulmak zorunda

Ortam Özdüzenlemeli Öğrenme Eğitilen Sistem Bilgiye sahip ya da eleştiride bulunan bir eğitici yok Eğitilen sistem girişlerin istatiksel dağılımını belirledikten sonra sınıflamayı oluşturuyor.

x1x1 x2x2 xnxn 1 w1w1 w2w2 wnwn w n+1 v Genlikte Ayrık Algılayıcı-GAA (Perceptron) y x1x1 x2x2 xnxn 1 w1w1 w2w2 wnwn w n+1 y

Ancak Rosenblatt’ın 1954’de önerdiği yapı bundan farklı Giriş Katmanı Çıkış Katmanı y x1x1 x2x2 xnxn 1 w1w1 w2w2 wnwn w n+1 y w1w1 w2w2 wmwm x1x1 x2x2 xnxn Giriş Katmanı Çıkış Katmanı Birinci Katman Sabit ağırlıklar, sabit fonksiyonlar Bağlantı ağırlıkları, eğitim kümesi ile belirlenen tek bir nöron

Genlikte Ayrık Algılayıcı aslında Girişlere doğrudan bağlı tek bir nöron değil Birinci katman değişmeyen bir yapıya sahip Çıkış katmanı, tek bir nörondan oluşan eğitilebilir bir yapı. Peki Rosenblatt neden birinci katmana gerek duymuş? Birinci katmanda farklı fonksiyonları oluşturup, öğrenme ile bunlar cinsinden çıkışta istenilen fonksiyonu ifade etmek Tanım: Doğrusal ayrıştırılabilir küme (Linearly separable set) X kümesi R tane X i alt kümesinden oluşsun. g i ‘ler x’in doğrusal fonksiyonu olmak üzere ise X i kümeleri doğrusal ayrıştırılabilir kümelerdir.

Tanımı anlamaya çalışalım... (-1,1)(1,1) (-1,-1) (1,-1) R=? g’leri yazalım Bu iki kümenin doğrusal ayrıştırılabilir olduğunu göstermek için ne yapmalıyız? ve sağlayan a,b ve c’ler bulunmalı bir çözüm:

Tanım: Karar Düzlemi (Decision Surface) Kümeleri ayıran düzlem. Özellikle, örüntüleri farklı sınıflara ayıran düzlem olarak kullanılıyor. Tek bir nöron ile neler yapılabilir? Nöron sayısını artırarak ne yapılabilir ne yapılamaz?

Rosenblatt’ın Genlikte Ayrık Algılayıcısında neler oluyor? Girişler n-boyutlu bir vektör bir örüntüyü temsil ediyor (pattern) Örüntü uzayı (pattern space) Katman1’in çıkışı Ne oldu? Bu dönüşüm genel olarak doğrusal değil Genlikte Ayrık Algılayıcı için karar düzlemi: y w1w1 w2w2 wmwm x1x1 x2x2 xnxn Genlikte Ayrık Algılayıcı ancak katman 1’in görüntü uzayındaki örüntüleri ise iki sınıfa ayırır. Doğrusal Ayrıştırılabilir ??????

Soru: Katman 1’de m işlem birimine sahip bir GAA, katman 1 görüntü uzayınındaki P tane örüntüyü 2 sınıfa kaç türlü ayırabilir? Yanıt: Burada işi ne? Hatırlatma: Soru: Herhangi bir doğrusal karar düzleminin GAA ile hesaplanabilme olasılığı nedir? Yanıt: m büyük bir sayı ise 2(m+1)’den daha az sayıdaki örüntüyü doğru şekilde sınıflayabilir. 0 < P <2(m+1)

Katman 1 örüntüleri doğrusal ayrıştırılabilecekleri görüntü uzayına taşır. Doğrusal ayrıştırılamayan örüntüleri doğrusal ayrıştırılabilir kılmak iki türlü olasıdır: (i) m (ii) P XOR Genlikte Ayrık Algılayıcı ile ifade etmek: P=4, n=2 İki girişli, tek nöronun kapasitesi: 2*3=6 Kapasite açısından uygun ama doğrusal ayrıştırılabilir değiller m mi P mi değişti? (0,1)(1,1) (0,0) (1,0) (0,1)(1,1) (0,0) (1,0) (0,1,1)(1,1,1) (0,0,0) (1,0,1)

m mi P mi değişti? Şimdi Genlikte Ayrık Algılayıcı ile biraz iş yapalım Verilenler: Eğitim Kümesi Amaç: İki sınıfa ayırmak y x1x1 x2x2 xmxm 1 w1w1 w2w2 wmwm w m+1 Gerçeklenebilme Koşulu: Eğitim kümesi doğrusal ayrıştırılabilir Eğitim kümesi doğrusal ayrıştırılabilir ise:

Eğitim kümesi doğrusal ayrıştırılabilir değil ise: Öğrenme Kuralı: öğrenme hızı <1 olan pozitif bir sayı

Genlikte Ayrık Algılayıcı Yakınsama Teoremi Eğitim kümesi doğrusal ayrıştırılabilir ise genlikte ayrık algılayıcı için verilen öğrenme kuralı sonlu adımda bir çözüm verir. Tanıt: c=1 X eğitim kümesindeki tüm girişler olsun Bu eğitim kümesine karşı düşen ağırlık vektörleri olan adımlarda eğitim kümesindeki örüntüler ve ağırlık vektörleri yukarıdaki dizilerden çıkarılsın Geriye hangileri kaldı? Ağırlıkların güncellenmesi gereken her adımda ne oluyor?

Güncelleme sırasında neler olacak Burada tuhaf olan birşey var. öğrenme kuralı

Eğitim kümesi doğrusal ayrıştırılabilir çözüm kümesi Burada da tuhaf olan birşey var. Bir seçilsin Alt sınır

Neden? Nasıl geldik? Üst sınır

Büyük k’lar için bu sınırlara dikkat edin!!!! Alt sınır Üst sınır en büyük adım sayısı yukarıdaki eşitliğin belirlediği k m ‘den büyük olamaz