Yapay sinir ağı, basit işlemci ünitelerinden oluşmuş, çok

... konulu sunumlar: "Yapay sinir ağı, basit işlemci ünitelerinden oluşmuş, çok"— Sunum transkripti:

1 Yapay sinir ağı, basit işlemci ünitelerinden oluşmuş, çok
Hatırlatma Bir Yapay Sinir Ağı Tanımı (Alexander, Morton 1990) Yapay sinir ağı, basit işlemci ünitelerinden oluşmuş, çok yoğun, parallel ve dağılmış düzende çalışan bir işlemcidir. Deneysel bilgiyi depolama ve kullanıma sunma özelliğine sahiptir. Beyni iki şekilde andırır: 1) Ağ, bilgiyi ortamdan öğrenme yolu ile elde eder. 2) Gerekli bilgiyi depolama için basit işlemci ünitelerin arasındaki bağlantıları kullanır. Sinir hücresi Kenetleyici ağırlıklar ağırlık matrisi girişler İnsan beyni yaklaşık 100 milyar sinir hücresinin karmaşık ağlar ve kenetleyiciler ile bağlantılandığı dinamik bir sistemdir, ve sürekli elektriksel ve kimyasal bir etkinlik süregider.Basit üniteler sinir hücreleri, ama bunların nasıl bir organizasyon icinde olacagi ag yapıları ile belirlenecek. Ve bir diğer önemli bileşen öğrenme nasıl gerçeklenecek Bilindiği kadarıyla beynin fiziksel yapısından ve işleyiş ilkelerinden esinlenerek tasarlanan yapay sinir ağları farklı mimarilere (yapılara) ve farklı öğrenme kurallarına sahiptirler.

2 Ağ Yapıları İleri yol Tam bağlaşımlı Karma Hatırlatma girişler
ağırlık matrisi gizli katman çıkış katmanı çıkışlar İleri yol ağırlık matrisi girişler Tam bağlaşımlı ağırlık matrisi öznitelik dönüşümü girişler Karma

3 parametrelerin nasıl değiştirildiği ile belirlenir.
Ağın içinde bulunduğu ortamdan etkilenerek parametrelerini değiştirmesi işlemi öğrenmedir. Öğrenme şekli, parametrelerin nasıl değiştirildiği ile belirlenir. Hatırlatma Öğrenme Süreçleri Öğrenme Süreçleri Eğiticili Öğrenme Eğiticisiz Öğrenme Pekiştirmeli Öğrenme Özdüzenlemeli Öğrenme

4 Hatırlatma Eğiticili Öğrenme Ortam Eğitici + - Eğitilen Sistem

5 Özdüzenlemeli Öğrenme
Hatırlatma Özdüzenlemeli Öğrenme Ortam Eğitilen Sistem

6 Pekiştirmeli Öğrenme Eğitilen Sistem δ Kritik davranış Değer Atama
Hatırlatma Pekiştirmeli Öğrenme Eğitilen Sistem davranış Kritik Ödül r δ Değer Atama Ortam

7 “Bilgi”’nin Gösterimi “Bilgi” İnsan veya Makina Yorumlama Öngörme
Uygun yanıt verme Depolanmış enformasyon veya model Nasıl anlayacağız? Nasıl gösterimi oluşturacağız? Kurallar: (1) Benzer sınıflardan benzer girişler ağda benzer gösterimler oluşturmalı ve böylece aynı kategoriye ait olarak sınıflanmalı, (2) Farklı sınıflara ayrılacak nesnelere, ağda çok farklı gösterimler atanmalı, (3) Belirli bir özellik önemli ise ağda onun gösterimi ile görevlendirilen hücre sayısı daha fazla olmalı,

8 Benzerliğin bir ölçütü - Norm
V vektör uzayı olmak üzere, aşağıdaki dört özelliği sağlayan fonksiyon : normdur

9 Gösterim için bir yol Bir T harfi Bir L harfi
İşlem uygulayacağımıza göre nasıl ifade edebiliriz? Bir T harfi Bir L harfi

10 İleri Yol Ağı ve Eğiticili Öğrenme
Giriş vektörü Çıkış vektörü Gizli katmanlar Çıkış katmanı

11 Çok Katmanlı Algılayıcı-ÇKA (Multi-Layer Perceptron)
Teorem: (Kolmogorov 1957) ‘e bağlı olmayan monoton artan sürekli tek değişkenli fonksiyon sürekli tek değişkenli fonksiyon

12 Teoremin sonuçları..... Kolmogorov Teoremi bir varlık teoremi ‘i özel bir şekilde ifade edebileceğimizi söylüyor. ve ‘nin ne yapıda olduklarını ve kaç tanesinin yeterli olacağını söylüyor. Kolmogorov Teoremi bir varlık teoremi olduğundan nasıl belirlenir söylemiyor. Kolmogorov Teoreminde bazı şeylerden vazgeçelim, tam olmasın yaklaşık olsun ama fonksiyonları bilelim. Teorem: (Cybenko 1989) yeterince büyük herhangi bir sürekli sigmoid fonksiyon

13 işlem yapan gizli katmanlar işlem yapan çıkış katmanı Nöron
ve sigmoid Ağ yapısı Giriş Gizli katman 1 Gizli katman 2 Çıkış giriş katmanı işlem yapan gizli katmanlar işlem yapan çıkış katmanı Nöron sürekli türetilebilir, lineer olmayan aktivasyon fonksiyonu var Eğitim eğiticili öğrenme Öğrenme algoritması geriye yayılım

14 - + Gizli katman ve çıkış katmanındaki her nöron iki iş yapıyor:
(i) nöron çıkışındaki işareti nöron girişindeki işaretler cinsinden hesaplıyor, (ii) gradyen vektörünü geriye yayılım için yaklaşık olarak hesaplıyor

15 Eğitim Kümesi Giriş vektörü İstenilen Çıkış vektörü

16

17 Eğitim Kümesindeki q. çifte ilişkin çıkış
katmanındaki j. nörondaki hata: Nöron j için ani hata: Toplam ani hata: Ortalama karesel hata:

18 Eğiticili Öğrenme Amaç Ölçütü Toplam ani hata: veya
Ortalama karesel hata: olan bir eniyileme problemi Öğrenme kuralı:

19 Yerel gradyen

20