Yapay sinir ağı, basit işlemci ünitelerinden oluşmuş, çok Hatırlatma Bir Yapay Sinir Ağı Tanımı (Alexander, Morton 1990) Yapay sinir ağı, basit işlemci ünitelerinden oluşmuş, çok yoğun, parallel ve dağılmış düzende çalışan bir işlemcidir. Deneysel bilgiyi depolama ve kullanıma sunma özelliğine sahiptir. Beyni iki şekilde andırır: 1) Ağ, bilgiyi ortamdan öğrenme yolu ile elde eder. 2) Gerekli bilgiyi depolama için basit işlemci ünitelerin arasındaki bağlantıları kullanır. Sinir hücresi Kenetleyici ağırlıklar ağırlık matrisi girişler İnsan beyni yaklaşık 100 milyar sinir hücresinin karmaşık ağlar ve kenetleyiciler ile bağlantılandığı dinamik bir sistemdir, ve sürekli elektriksel ve kimyasal bir etkinlik süregider.Basit üniteler sinir hücreleri, ama bunların nasıl bir organizasyon icinde olacagi ag yapıları ile belirlenecek. Ve bir diğer önemli bileşen öğrenme nasıl gerçeklenecek Bilindiği kadarıyla beynin fiziksel yapısından ve işleyiş ilkelerinden esinlenerek tasarlanan yapay sinir ağları farklı mimarilere (yapılara) ve farklı öğrenme kurallarına sahiptirler. http://filipinovoices.com/wp-content/uploads/2009/06/neurons.jpg

Ağ Yapıları İleri yol Tam bağlaşımlı Karma Hatırlatma girişler ağırlık matrisi gizli katman çıkış katmanı çıkışlar İleri yol ağırlık matrisi girişler Tam bağlaşımlı ağırlık matrisi öznitelik dönüşümü girişler Karma http://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-12-text.html

parametrelerin nasıl değiştirildiği ile belirlenir. Ağın içinde bulunduğu ortamdan etkilenerek parametrelerini değiştirmesi işlemi öğrenmedir. Öğrenme şekli, parametrelerin nasıl değiştirildiği ile belirlenir. Hatırlatma Öğrenme Süreçleri Öğrenme Süreçleri Eğiticili Öğrenme Eğiticisiz Öğrenme Pekiştirmeli Öğrenme Özdüzenlemeli Öğrenme

Hatırlatma Eğiticili Öğrenme Ortam Eğitici + - Eğitilen Sistem

Özdüzenlemeli Öğrenme Hatırlatma Özdüzenlemeli Öğrenme Ortam Eğitilen Sistem

Pekiştirmeli Öğrenme Eğitilen Sistem δ Kritik davranış Değer Atama Hatırlatma Pekiştirmeli Öğrenme Eğitilen Sistem davranış Kritik Ödül r δ Değer Atama Ortam

“Bilgi”’nin Gösterimi “Bilgi” İnsan veya Makina Yorumlama Öngörme Uygun yanıt verme Depolanmış enformasyon veya model Nasıl anlayacağız? Nasıl gösterimi oluşturacağız? Kurallar: (1) Benzer sınıflardan benzer girişler ağda benzer gösterimler oluşturmalı ve böylece aynı kategoriye ait olarak sınıflanmalı, (2) Farklı sınıflara ayrılacak nesnelere, ağda çok farklı gösterimler atanmalı, (3) Belirli bir özellik önemli ise ağda onun gösterimi ile görevlendirilen hücre sayısı daha fazla olmalı,

Benzerliğin bir ölçütü - Norm V vektör uzayı olmak üzere, aşağıdaki dört özelliği sağlayan fonksiyon : normdur

Gösterim için bir yol Bir T harfi Bir L harfi İşlem uygulayacağımıza göre nasıl ifade edebiliriz? Bir T harfi Bir L harfi

İleri Yol Ağı ve Eğiticili Öğrenme Giriş vektörü Çıkış vektörü Gizli katmanlar Çıkış katmanı

Çok Katmanlı Algılayıcı-ÇKA (Multi-Layer Perceptron) Teorem: (Kolmogorov 1957) ‘e bağlı olmayan monoton artan sürekli tek değişkenli fonksiyon sürekli tek değişkenli fonksiyon

Teoremin sonuçları..... Kolmogorov Teoremi bir varlık teoremi ‘i özel bir şekilde ifade edebileceğimizi söylüyor. ve ‘nin ne yapıda olduklarını ve kaç tanesinin yeterli olacağını söylüyor. Kolmogorov Teoremi bir varlık teoremi olduğundan nasıl belirlenir söylemiyor. Kolmogorov Teoreminde bazı şeylerden vazgeçelim, tam olmasın yaklaşık olsun ama fonksiyonları bilelim. Teorem: (Cybenko 1989) yeterince büyük herhangi bir sürekli sigmoid fonksiyon

işlem yapan gizli katmanlar işlem yapan çıkış katmanı Nöron ve sigmoid Ağ yapısı Giriş Gizli katman 1 Gizli katman 2 Çıkış giriş katmanı işlem yapan gizli katmanlar işlem yapan çıkış katmanı Nöron sürekli türetilebilir, lineer olmayan aktivasyon fonksiyonu var Eğitim eğiticili öğrenme Öğrenme algoritması geriye yayılım http://www.oscarkilo.net/wiki/images/8/84/Ffperceptron.png

- + Gizli katman ve çıkış katmanındaki her nöron iki iş yapıyor: (i) nöron çıkışındaki işareti nöron girişindeki işaretler cinsinden hesaplıyor, (ii) gradyen vektörünü geriye yayılım için yaklaşık olarak hesaplıyor

Eğitim Kümesi Giriş vektörü İstenilen Çıkış vektörü

Eğitim Kümesindeki q. çifte ilişkin çıkış katmanındaki j. nörondaki hata: Nöron j için ani hata: Toplam ani hata: Ortalama karesel hata:

Eğiticili Öğrenme Amaç Ölçütü Toplam ani hata: veya Ortalama karesel hata: olan bir eniyileme problemi Öğrenme kuralı:

Yerel gradyen