S. Haykin, “Neural Networks- A Comprehensive Foundation”,

Slides:



Advertisements
Benzer bir sunumlar
Ayrık Yapılar Algoritma Analizi.
Advertisements

Çok Katmanlı Yapay Sinir Ağı Modelleri
Support Vector Machines
MIT503 Veri Yapıları ve algoritmalar Algoritmalara giriş
Yapay Sinir Ağları Artificial Neural Networks (ANN)
Karar Ağaçları.
Yrd. Doç. Dr. Ayhan Demiriz
NEURAL NETWORK TOOLBOX VE UYGULAMALARI
1.4 Analitik Düzlemde Vektörler YÖNLÜ DOĞRU PARÇASI :
SONLU ELEMANLAR YÖNTEMİ
Yrd.Doç.Dr. Mustafa Akkol
Giriş Dikkat Altsistemi Yönlendirme Altsistemi Kısa Süreli Bellek Uzun Süreli Bellek Kontrol Birimi Kontrol Birimi F1 F2 ART nasıl çalışıyor? Mete Balcı,
Yapay Sinir Ağları (YSA)
Bulanık Mantık Kavramlar:
Yapay Sinir Ağları (YSA)
Yapay Sinir Ağları (Artificial Neural Networks) Bir Yapay Sinir Ağı Tanımı (Alexander, Morton 1990) Yapay sinir ağı, basit işlemci ünitelerinden oluşmuş,
Enerji Sistemlerinde Akıllı Sistem Uygulamaları Akademik Yılı Bahar yarıyılı Doç.Dr. Raşit ATA
V2’nin q1 doğrultusunda ki bileşenine
Çıkış katmanındaki j. nöron ile gizli katmandaki i. nörona ilişkin ağırlığın güncellenmesi Ağırlığın güncellenmesi Hangi yöntem? “en dik iniş “ (steepest.
Devre ve Sistem Analizi Neslihan Serap Şengör Elektronik ve Haberleşme Bölümü, oda no:1107 tel no:
BİYOMEDİKAL MÜHENDİSLİĞİNDE İLERİ KONULAR Neslihan Serap Şengör Oda no: 1107 Tel:
Devre ve Sistem Analizi
Devre ve Sistem Analizi Neslihan Serap Şengör Devreler ve Sistemler A.B.D. oda no:1107 tel no:
YAPAY SİNİR AĞLARI.
(Competitive Learning)
Bazı Sorular Gerçekten de belirlenen ağırlıklar ile istenilen kararlı denge noktalarına erişmemizi sağlayacak dinamik sistem yaratıldı mı? Eğer evet ise,
A1 sistemi A2 sistemi Hangisi daha hızlı sıfıra yaklaşıyor ? Hatırlatma.
Yrd.Doç.Dr.Esra Tunç Görmüş
Dinamik Yapay Sinir Ağı Modelleri Yinelemeli Ağlar (recurrent networks) İleri yolGeri besleme.
Bu durumda lineer sistemin çözümleri neler olabilir? Tüm bu durum portrelerinde ortak bir şey var, ne? S. Haykin, “Neural Networks- A Comprehensive Foundation”2.
Uyarlanabilir Yankılaşım Teorisi (Adaptive Resonance Theory- Grossberg ) A crucial metatheoretical.
Momentum Terimi Momentum terimi Bu ifade neyi anımsatıyor? Lineer zamanla değişmeyen ayrık zaman sistemi HATIRLATMA.
Dinamik Yapay Sinir Ağı Modelleri Yinelemeli Ağlar (recurrent networks) İleri yolGeri besleme.
Doğrusal Olmayan Devreler, Sistemler ve Kaos Neslihan Serap Şengör oda no:1107 tel no: Özkan Karabacak oda no:2307 tel.
Doğrusal Olmayan Devreler, Sistemler ve Kaos
Çok Katmanlı Algılayıcı-ÇKA (Multi-Layer Perceptron)
Doğrusal Olmayan Devreler, Sistemler ve Kaos Neslihan Serap Şengör oda no:1107 tel no: Müştak Erhan Yalçın oda no:2304.
F(.) y[n+1] Giriş Vektörü Giriş-Çıkış Eşleme Fonksiyonu Çıkış Mahmut Meral, Lisans Bitirme Ödevi, 2003 Giriş – Çıkış Modeline göre Dinamik Sistem Tanıma.
Hata Fonksiyonları Lojistik Fonksiyon ß ß Huber Fonksiyonu ß ß.
Ayrık Zaman Hopfield Ağı ile Çağrışımlı Bellek Tasarımı Kullanılan Hücre Modeli: McCulloch-Pitts Eksik birşey var!! Örüntüler: 1. Aşama: Belleğin Oluşturulması.
Doğrusal Olmayan Devreler, Sistemler ve Kaos
Biz şimdiye kadar hangi uzaylar ile uğraştık:
“Bilgi”’nin Gösterimi “Bilgi” İnsan veya Makina Yorumlama Öngörme Uygun yanıt verme Depolanmış enformasyon veya model Kurallar: (1) Benzer sınıflardan.
İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Öğrenme nasıl gerçekleşiyor? Ağırlıklar hatayı en azlıyacak şekilde güncelleniyor Öğrenme.
Geriye Yayılım Algoritması
Yapay sinir ağı, basit işlemci ünitelerinden oluşmuş, çok
Doğrusal Olmayan Devreler, Sistemler ve Kaos
Devre ve Sistem Analizi
Doğrusal Olmayan Devreler, Sistemler ve Kaos
(Self-Organizing Map- Kohonen )
Dinamik Sistem Dinamik sistem: (T, X, φt ) φt : X X a1) φ0=I
Doğrusal Olmayan Devreler, Sistemler ve Kaos
YAPAY SİNİR AĞLARININ YAPISI VE TEMEL ELEMANLARI
Poincare Dönüşümü
Geriye Yayılım Algoritması (Back-Propagation Algorithm)
Dinamik Yapay Sinir Ağı Modelleri
İlk olarak geçen hafta farklı a değerleri için incelediğiniz lineer sisteme bakalım: MATLAB ile elde ettiğiniz sonuçları analitik ifade ile elde edilen.
ART nasıl çalışıyor? Giriş Dikkat Altsistemi Yönlendirme Altsistemi F2
Çok Katmanlı Algılayıcı-ÇKA (Multi-Layer Perceptron)
Teorem 2: Lineer zamanla değişmeyen sistemi
Sinir Hücresi McCulloch-Pitts x1 w1 x2 w2 v y wm xm wm+1 1 '
Hopfield Ağı Ayrık zaman Sürekli zaman
Sistem Özellikleri: Yönetilebilirlik, Gözlenebilirlik
Hatırlatma Yörünge: Or(xo)
EK BİLGİ Bazı Eniyileme (Optimizasyon) Teknikleri Eniyileme problemi
Sistem Özellikleri: Yönetilebilirlik, Gözlenebilirlik ve Kararlılık
Eğiticisiz Öğrenme Amaç: Veri kümesinin belirli özelliklerini, özniteliklerini sadece veri kümesinden yararlanarak belirlemek Vektör Kuantalama Veri Tanımlama.
SONLU ELEMANLAR YÖNTEMİ
Yapay Zeka Nadir Can KAVKAS
Çok Katmanlı Algılayıcı-ÇKA (Multi-Layer Perceptron)
Sunum transkripti:

S. Haykin, “Neural Networks- A Comprehensive Foundation”, 2nd Edition, Prentice Hall, 1999, New Jersey.

S. Haykin, “Neural Networks- A Comprehensive Foundation”, 2nd Edition, Prentice Hall, 1999, New Jersey.

S. Haykin, “Neural Networks- A Comprehensive Foundation”, 2nd Edition, Prentice Hall, 1999, New Jersey.

Adaptif Öğrenme Hızı

Grup-Veri Uyarlamalı Eğitim “sequential mode” “on-line mode” “ pattern mode” “stochastic mode” Grup Uyarlamalı Eğitim “batch mode” Eğitim kümesindeki her örüntü ağa uyarlandıktan sonra ağırlıklar değiştiriliyor Eğitim kümesindeki tüm örüntüler ağa uyarlandıktan sonra ağırlıklar değiştiriliyor

Grup Uyarlamalı Veri uyarlamalı Amaç Ölçütü Her bağlantı için gereken bellek Örüntülerin ağa sunuluşu Algoritmanın yakınsaması Paralelliğin sağlanması Eğitim kümesinin fazlalıklı olması Algoritmanın basitliği Büyük boyutlu ve zor problemlerde etkin çözüm sağlanması

Geriye Yayılım Algoritmasının Yakınsaması Genlikte Ayrık Algılayıcıdaki gibi yakınsaması garanti değil. Ne zaman durduracağız? Kramer+Sangionanni-Vincentelli (1989) Çapraz değerlendirme (cross-validation) Eğitim Kümesi Yaklaşıklık Kümesi (estimation subset) Değerlendirme Kümesi (validation subset)

S. Haykin, “Neural Networks- A Comprehensive Foundation”, 2nd Edition, Prentice Hall, 1999, New Jersey.

Hata Fonksiyonları Lojistik Fonksiyon ß ß Huber Fonksiyonu ß ß

Talvar Fonksiyonu ß ß

Verilerin Ölçeklenmesi YSA Eğitilmiş modeli Eğitim Kümesi Ölçekleme Geri Ölçeklenmiş Veri Verilerin Ölçeklenmesi Doğrusal Ölçekleme: Logaritmik Ölçekleme:

Son İpuçları ‘ler büyük ise ağırlıkların değişim aralığı küçülür; fiziksel gerçeklemeye uygun olur. Ancak girişlerdeki gürültüye tolerans azalır. Ağırlıklar başlangıçta aynı seçilirse, değişimleri de aynı olabilir. Dolayısıyla ağırlıklar yenilendiğinde aynı kalabilirler. Bunu engellemek için başlangıç ağırlıkları sıfıra yakın sayılardan rastgele seçilmeli. Her katman eklendiğinde geriye yayılım algoritması yavaşlar. Bunu engellemek için girişten çıkışa doğrudan bağlantılar yapılabilir.

Geriye yayılım algoritması “en dik iniş” ve gradyen yönteme dayalı olduğundan, bu yöntemi iyileştirici tüm teknikler geriye yayılım algoritmasını da iyileştirmek için kullanılabilir. İkinci türevleri kullanan lineer olmayan eniyileme yöntemlerinden herhangi biri de kullanılabilir. SONLU ADIMDA GLOBAL MİNİMUMA YAKINSAMASI GARANTİ DEĞİLDİR.

T ve L harfini ayırt eden bir ağ Bu harfleri ağa nasıl sunacağız? 25X1 boyutlu vektörler ile

Bu verilerin yanı sıra bozuk veriler de verelim....

Bir de test kümesi oluşturalım... Test kümesinde sağlam veriler ve eğitim kümesindekilerden farklı bozuk veriler olsun

Giriş-Çıkış Eşleme Fonksiyonu Mahmut Meral, Lisans Bitirme Ödevi, 2003 Giriş – Çıkış Modeline göre Dinamik Sistem Tanıma F(.) y[n+1] Giriş Vektörü Giriş-Çıkış Eşleme Fonksiyonu Çıkış NARX (nonlinear autoregressive with exogenous inputs) modeli

Çok Katmanlı Ağ F(.) Mahmut Meral, Lisans Bitirme Ödevi, 2003 z-1 Giriş u(n) Çıkış y(n+1) u(n-1) u(n-m) y(n) y(n-1) y(n-k)

ŷ(n+1) Mahmut Meral, Lisans Bitirme Ödevi, 2003 Nonlineer Sistem Giriş F(.) z-1 Çok Katmanlı Ağ + y(n+1) ŷ(n+1) e(n)=y(n+1)- ŷ(n+1) Giriş u(n) z-1

Billings sistemi test sonuçları o- gerçek değer *- ağın çıkışı Mahmut Meral, Lisans Bitirme Ödevi, 2003 Billings sistemi test sonuçları o- gerçek değer *- ağın çıkışı  

Mahmut Meral, Lisans Bitirme Ödevi, 2003 Feigenhoum sistemi için bir adım sonrasının öngörümü o- gerçek değer *- ağın çıkışı

Feigenhoum sisteminin otonom davranışı o- gerçek değer *- ağın çıkışı Mahmut Meral, Lisans Bitirme Ödevi, 2003 Feigenhoum sisteminin otonom davranışı o- gerçek değer *- ağın çıkışı

Çok katmanlı ağın çekicisi Mahmut Meral, Lisans Bitirme Ödevi, 2003 Çok katmanlı ağın çekicisi Gerçek sistemin çekicisi