S. Haykin, “Neural Networks- A Comprehensive Foundation”,

... konulu sunumlar: "S. Haykin, “Neural Networks- A Comprehensive Foundation”,"— Sunum transkripti:

1 S. Haykin, “Neural Networks- A Comprehensive Foundation”,
2nd Edition, Prentice Hall, 1999, New Jersey.

2 S. Haykin, “Neural Networks- A Comprehensive Foundation”,
2nd Edition, Prentice Hall, 1999, New Jersey.

3 S. Haykin, “Neural Networks- A Comprehensive Foundation”, 2nd Edition, Prentice Hall, 1999, New Jersey.

4 Adaptif Öğrenme Hızı

5 Grup-Veri Uyarlamalı Eğitim
“sequential mode” “on-line mode” “ pattern mode” “stochastic mode” Grup Uyarlamalı Eğitim “batch mode” Eğitim kümesindeki her örüntü ağa uyarlandıktan sonra ağırlıklar değiştiriliyor Eğitim kümesindeki tüm örüntüler ağa uyarlandıktan sonra ağırlıklar değiştiriliyor

6 Grup Uyarlamalı Veri uyarlamalı Amaç Ölçütü Her bağlantı için gereken bellek Örüntülerin ağa sunuluşu Algoritmanın yakınsaması Paralelliğin sağlanması Eğitim kümesinin fazlalıklı olması Algoritmanın basitliği Büyük boyutlu ve zor problemlerde etkin çözüm sağlanması

7 Geriye Yayılım Algoritmasının Yakınsaması
Genlikte Ayrık Algılayıcıdaki gibi yakınsaması garanti değil. Ne zaman durduracağız? Kramer+Sangionanni-Vincentelli (1989) Çapraz değerlendirme (cross-validation) Eğitim Kümesi Yaklaşıklık Kümesi (estimation subset) Değerlendirme Kümesi (validation subset)

8 S. Haykin, “Neural Networks- A Comprehensive Foundation”, 2nd Edition, Prentice Hall, 1999, New Jersey.

9 Hata Fonksiyonları Lojistik Fonksiyon ß ß Huber Fonksiyonu ß ß

10 Talvar Fonksiyonu ß ß

11 Verilerin Ölçeklenmesi
YSA Eğitilmiş modeli Eğitim Kümesi Ölçekleme Geri Ölçeklenmiş Veri Verilerin Ölçeklenmesi Doğrusal Ölçekleme: Logaritmik Ölçekleme:

12 Son İpuçları ‘ler büyük ise ağırlıkların değişim aralığı küçülür; fiziksel gerçeklemeye uygun olur. Ancak girişlerdeki gürültüye tolerans azalır. Ağırlıklar başlangıçta aynı seçilirse, değişimleri de aynı olabilir. Dolayısıyla ağırlıklar yenilendiğinde aynı kalabilirler. Bunu engellemek için başlangıç ağırlıkları sıfıra yakın sayılardan rastgele seçilmeli. Her katman eklendiğinde geriye yayılım algoritması yavaşlar. Bunu engellemek için girişten çıkışa doğrudan bağlantılar yapılabilir.

13 Geriye yayılım algoritması “en dik iniş” ve gradyen yönteme dayalı olduğundan, bu yöntemi iyileştirici tüm teknikler geriye yayılım algoritmasını da iyileştirmek için kullanılabilir. İkinci türevleri kullanan lineer olmayan eniyileme yöntemlerinden herhangi biri de kullanılabilir. SONLU ADIMDA GLOBAL MİNİMUMA YAKINSAMASI GARANTİ DEĞİLDİR.

14 T ve L harfini ayırt eden bir ağ
Bu harfleri ağa nasıl sunacağız? 25X1 boyutlu vektörler ile

15 Bu verilerin yanı sıra bozuk veriler de verelim....

16 Bir de test kümesi oluşturalım...
Test kümesinde sağlam veriler ve eğitim kümesindekilerden farklı bozuk veriler olsun

17 Giriş-Çıkış Eşleme Fonksiyonu
Mahmut Meral, Lisans Bitirme Ödevi, 2003 Giriş – Çıkış Modeline göre Dinamik Sistem Tanıma F(.) y[n+1] Giriş Vektörü Giriş-Çıkış Eşleme Fonksiyonu Çıkış NARX (nonlinear autoregressive with exogenous inputs) modeli

18 Çok Katmanlı Ağ F(.) Mahmut Meral, Lisans Bitirme Ödevi, 2003 z-1
Giriş u(n) Çıkış y(n+1) u(n-1) u(n-m) y(n) y(n-1) y(n-k)

19 ŷ(n+1) Mahmut Meral, Lisans Bitirme Ödevi, 2003 Nonlineer Sistem Giriş
F(.) z-1 Çok Katmanlı Ağ + y(n+1) ŷ(n+1) e(n)=y(n+1)- ŷ(n+1) Giriş u(n) z-1

20 Billings sistemi test sonuçları o- gerçek değer *- ağın çıkışı
Mahmut Meral, Lisans Bitirme Ödevi, 2003 Billings sistemi test sonuçları o- gerçek değer *- ağın çıkışı

21 Mahmut Meral, Lisans Bitirme Ödevi, 2003
Feigenhoum sistemi için bir adım sonrasının öngörümü o- gerçek değer *- ağın çıkışı

22 Feigenhoum sisteminin otonom davranışı o- gerçek değer *- ağın çıkışı
Mahmut Meral, Lisans Bitirme Ödevi, 2003 Feigenhoum sisteminin otonom davranışı o- gerçek değer *- ağın çıkışı

23 Çok katmanlı ağın çekicisi
Mahmut Meral, Lisans Bitirme Ödevi, 2003 Çok katmanlı ağın çekicisi Gerçek sistemin çekicisi