Geriye Yayılım Algoritması

... konulu sunumlar: "Geriye Yayılım Algoritması"— Sunum transkripti:

1 Geriye Yayılım Algoritması
Bazı İpuçları Öğrenme Hızı Öğrenme hızını belirleyen büyüklük küçük ağırlıklardaki değişim bir iterasyondan diğerine küçük olacağı için, ağırlık uzayında düzgün bir değişim gözlenecek öğrenme yavaş olacak büyük öğrenme hızlanacak salınım oluşacağından yakınsama mümkün olmayabilir Hızı artıralım ama salınım da olmasın. Bu mümkün mü?

2 Momentum Terimi HATIRLATMA Momentum terimi Bu ifade neyi anımsatıyor?
Lineer zamanla değişmeyen ayrık zaman sistemi HATIRLATMA

3 Bu sistemin çözümü nereye gidiyor?
A matrisinin özdeğerleri birim daire içinde ise girişin belirlediği değere A matrisinin özdeğerleri birim daire üstünde ise salınım yapan bir sistem A matrisinin özdeğerleri birim daire dışında ise sonsuza hatırlatmanın sonu Momentum terimi varken güncellemede ne oluyor ona bakalım

4 Ardışık iterasyonlarda aynı işaretli ise ‘nın
genliği büyüyecek, ağırlıklardaki değişim büyük olacak. Ardışık iterasyonlarda farklı işaretli ise ‘nın genliği azalacak, ağırlıklardaki değişim küçük olacak Momentum teriminin gradyenin işaretinin değiştiği doğrultularda kararlı kılma etkisi var.

5 S. Haykin, “Neural Networks- A Comprehensive Foundation”,
2nd Edition, Prentice Hall, 1999, New Jersey.

6 S. Haykin, “Neural Networks- A Comprehensive Foundation”,
2nd Edition, Prentice Hall, 1999, New Jersey.

7 S. Haykin, “Neural Networks- A Comprehensive Foundation”, 2nd Edition, Prentice Hall, 1999, New Jersey.

8 Adaptif Öğrenme Hızı

9 Grup-Veri Uyarlamalı Eğitim
“sequential mode” “on-line mode” “ pattern mode” “stochastic mode” Grup Uyarlamalı Eğitim “batch mode” Eğitim kümesindeki her örüntü ağa uyarlandıktan sonra ağırlıklar değiştiriliyor Eğitim kümesindeki tüm örüntüler ağa uyarlandıktan sonra ağırlıklar değiştiriliyor

10 Grup Uyarlamalı Veri uyarlamalı Amaç Ölçütü Her bağlantı için gereken bellek Örüntülerin ağa sunuluşu Algoritmanın yakınsaması Paralelliğin sağlanması Eğitim kümesinin fazlalıklı olması Algoritmanın basitliği Büyük boyutlu ve zor problemlerde etkin çözün sağlanması

11 Geriye Yayılım Algoritmasının Yakınsaması
Genlikte Ayrık Algılayıcıdaki gibi yakınsaması garanti değil. Ne zaman durduracağız? Kramer+Sangionanni-Vincentelli (1989) Çapraz değerlendirme (cross-validation) Eğitim Kümesi Yaklaşıklık Kümesi (estimation subset) Değerlendirme Kümesi (validation subset)

12 S. Haykin, “Neural Networks- A Comprehensive Foundation”, 2nd Edition, Prentice Hall, 1999, New Jersey.

13 Hata Fonksiyonları Lojistik Fonksiyon ß ß Huber Fonksiyonu ß ß

14 Talvar Fonksiyonu ß ß

15 Verilerin Ölçeklenmesi
YSA Eğitilmiş modeli Eğitim Kümesi Ölçekleme Geri Ölçeklenmiş Veri Verilerin Ölçeklenmesi Doğrusal Ölçekleme: Logaritmik Ölçekleme:

16 Son İpuçları ‘ler büyük ise ağırlıkların değişim aralığı küçülür; fiziksel gerçeklemeye uygun olur. Ancak girişlerdeki gürültüye tolerans azalır. Ağırlıklar başlangıçta aynı seçilirse, değişimleri de aynı olabilir. Dolayısıyla ağırlıklar yenilendiğinde aynı kalabilirler. Bunu engellemek için başlangıç ağırlıkları sıfıra yakın sayılardan rastgele seçilmeli. Her katman eklendiğinde geriye yayılım algoritması yavaşlar. Bunu engellemek için girişten çıkışa doğrudan bağlantılar yapılabilir.

17 Geriye yayılım algoritması “en dik iniş” ve gradyen yönteme dayalı olduğundan, bu yöntemi iyileştirici tüm teknikler geriye yayılım algoritmasını da iyileştirmek için kullanılabilir. İkinci türevleri kullanan lineer olmayan eniyileme yöntemlerinden herhangi biri de kullanılabilir. SONLU ADIMDA GLOBAL MİNİMUMA YAKINSAMASI GARANTİ DEĞİLDİR.

18 T ve L harfini ayırt eden bir ağ
Bu harfleri ağa nasıl sunacağız? 25X1 boyutlu vektörler ile

19 Bu verilerin yanı sıra bozuk veriler de verelim....

20 Bir de test kümesi oluşturalım...
Test kümesinde sağlam veriler ve eğitim kümesindekilerden farklı bozuk veriler olsun

21 Giriş-Çıkış Eşleme Fonksiyonu
Mahmut Meral, Lisans Bitirme Ödevi, 2003 Giriş – Çıkış Modeline göre Dinamik Sistem Tanıma F(.) y[n+1] Giriş Vektörü Giriş-Çıkış Eşleme Fonksiyonu Çıkış NARX (nonlinear autoregressive with exogenous inputs) modeli

22 Çok Katmanlı Ağ F(.) Mahmut Meral, Lisans Bitirme Ödevi, 2003 z-1
Giriş u(n) Çıkış y(n+1) u(n-1) u(n-m) y(n) y(n-1) y(n-k)

23 ŷ(n+1) Mahmut Meral, Lisans Bitirme Ödevi, 2003 Nonlineer Sistem Giriş
F(.) z-1 Çok Katmanlı Ağ + y(n+1) ŷ(n+1) e(n)=y(n+1)- ŷ(n+1) Giriş u(n) z-1

24 Billings sistemi test sonuçları o- gerçek değer *- ağın çıkışı
Mahmut Meral, Lisans Bitirme Ödevi, 2003 Billings sistemi test sonuçları o- gerçek değer *- ağın çıkışı

25 Mahmut Meral, Lisans Bitirme Ödevi, 2003
Feigenhoum sistemi için bir adım sonrasının öngörümü o- gerçek değer *- ağın çıkışı

26 Feigenhoum sisteminin otonom davranışı o- gerçek değer *- ağın çıkışı
Mahmut Meral, Lisans Bitirme Ödevi, 2003 Feigenhoum sisteminin otonom davranışı o- gerçek değer *- ağın çıkışı

27 Çok katmanlı ağın çekicisi
Mahmut Meral, Lisans Bitirme Ödevi, 2003 Çok katmanlı ağın çekicisi Gerçek sistemin çekicisi

28 Çok katmanlı ağın çekicisi
Mahmut Meral, Lisans Bitirme Ödevi, 2003 Çok katmanlı ağın çekicisi Çok katmanlı ağın çıkışı

29 CS (Conditioned Stimulus) şartlı uyaran
Bu yapı farklı bir öğrenme kuralı ile korku şartlanması için kullanılmıştır.... Armony, Servan-Schreiber, Cohen & LeDoux (1997) CS (Conditioned Stimulus) şartlı uyaran US (Unconditioned Stimulus) şartsız uyaran CS-US eşleştirilmesi tipik davranışlar fizyolojik tepkiler

30 Korku Şartlanması Şartlanma sırasında: CS İşitme alanı Talamus MGB
Amygdala korteks

31 Serkan Çapkan, Lisans Bitirme Ödevi, 2007
Yapılan Nedir? Bir ses tonu ile birlikte, rahatsız edici bir etki uygulayarak beynin-deneğin-modelin o sese karşı şartlanmasını modellemek…

32 Yapılan Nedir? Örnek; Bir insana, çok sayıda farklı ses veriliyor.
Bu seslerin herhangi biri ile birlikte, bu insanın ayağına küçük bir elektrik şoku uygulanıyor. Daha sonra yine sesler dinletilirken “o” ses verildiğinde, kişinin korkması bekleniyor

33 Yapılan Nedir? Bu çalışmada; Modele,
15 farklı ses veriliyor, bu seslere tepkisi ölçülüyor. Sonra, bu seslerden herhangi biri ile birlikte, modele rahatsız edici bir uyaran uygulanıyor. Daha sonra yine sesler aynı verilirken “o ses” verildiğinde, modelin beklenmeyen bir tepki vermesi bekleniyor

34 Ses Nasıl Modelleniyor? (15 farklı frekansta ses)
16 boyutlu bir vektör ……….

35 Ses Nasıl Modelleniyor? (15 farklı frekansta ses)
Bu seslerin birbiriyle benzerliği… ………. 1. sesin belirleyeni 1 2 3 15

36 Seslerin Uygulanması, tepkilerin ölçülmesi
İşlem Basamakları Seslerin Uygulanması, tepkilerin ölçülmesi Yine seslerin uygulanması, 5. seste rahatsız edici uyaranın uygulanması Gözlem

37 Model

38 Örnek Bir İşlem (auditory cortex -> amygdala için)
* = Hücreye gelen girişin ağırlıklandırılması

39 Örnek Bir İşlem (auditory cortex -> amygdala için)
Kazanan hücre çıkışının aktivasyon fonksiyonunda geçirilmesi

40 Örnek Bir İşlem (auditory cortex -> amygdala için)
Diğer hücre çıkışlarının aktivasyon fonksiyonundan geçirilmesi = - μ * Tüm aktive edilmiş hücre çıkışları = +

41 Örnek Bir İşlem (auditory cortex -> amygdala için)
Ağırlıkların Yenilenmesi Yalnızca değeri o bölgenin çıkışlarının ortalamasından büyük olan çıkışlara ilişkin ağırlıklar yenilenir , ,

42 Sesler ile birlikte rahatsız edici uyaranın uygulanması
İşlem Basamakları Seslerin Uygulanması Sesler ile birlikte rahatsız edici uyaranın uygulanması Gözlem

43 Sonuçların İncelenmesi (Seslerin İlk Uygulanması )

44 Sonuçların İncelenmesi (Seslerin İlk Uygulanması )

45 Sonuçların İncelenmesi (Seslerin İlk Uygulanması )

46 Sonuçların İncelenmesi (Seslerin İlk Uygulanması )

47 Sonuçların İncelenmesi (Şartlanmadan sonra ve öncekiler)

48 Sonuçların İncelenmesi (Şartlanmadan sonra ve öncekiler)

49 Sonuçların İncelenmesi (Şartlanmadan sonra ve öncekiler)

50 Sonuçların İncelenmesi (Şartlanmadan sonra ve öncekiler)

51 Sonuçların İncel. (Şartlanma öncesi ve sonrası çıkışların farkları)

52 Sonuçların İncel. (Şartlanma öncesi ve sonrası çıkışların farkları)

53 Sonuçların İncel. (Şartlanma öncesi ve sonrası çıkışların farkları)

54 Sonuçların İncel. (Şartlanma öncesi ve sonrası çıkışların farkları)