Hopfield Ağı Ayrık zaman Sürekli zaman

Slides:



Advertisements
Benzer bir sunumlar
Support Vector Machines
Advertisements

Bölüm 8: EĞRİ UYDURMA Fizikte laboratuarda yapılan deneysel ölçümlerin ne kadar hata payı içerdiğini, veya belli teorik modellere ne kadar uyduğunu bilmek.
Lineer Sistemlerin Deprem Davranışı
SONLU ELEMANLAR YÖNTEMİ
Bölüm6:Diferansiyel Denklemler: Başlangıç Değer Problemleri
SONLU ELEMANLAR YÖNTEMİ
SONLU ELEMANLAR YÖNTEMİ
SONLU ELEMANLAR YÖNTEMİ
SONLU ELEMANLARA GİRİŞ DERSİ
SONLU ELEMANLAR DERS 9.
Giriş Dikkat Altsistemi Yönlendirme Altsistemi Kısa Süreli Bellek Uzun Süreli Bellek Kontrol Birimi Kontrol Birimi F1 F2 ART nasıl çalışıyor? Mete Balcı,
Yapay Sinir Ağları (YSA)
Yapay Sinir Ağları (Artificial Neural Networks) Bir Yapay Sinir Ağı Tanımı (Alexander, Morton 1990) Yapay sinir ağı, basit işlemci ünitelerinden oluşmuş,
Geçen hafta anlatılanlar Değişmez küme Değişmez kümelerin kararlılığı Bildiğimiz diğer kararlılık tanımları ve değişmez kümenin kararlılığı ile ilgileri.
Dinamik sistemin kararlılığını incelemenin kolay bir yolu var mı? niye böyle bir soru sorduk? Teorem 1: (ayrık zaman sisteminin sabit noktasının kararlılığı.
V2’nin q1 doğrultusunda ki bileşenine
n bilinmeyenli m denklem
Devre ve Sistem Analizi
Devre ve Sistem Analizi Neslihan Serap Şengör Devreler ve Sistemler A.B.D. oda no:1107 tel no:
Bazı Sorular Gerçekten de belirlenen ağırlıklar ile istenilen kararlı denge noktalarına erişmemizi sağlayacak dinamik sistem yaratıldı mı? Eğer evet ise,
A1 sistemi A2 sistemi Hangisi daha hızlı sıfıra yaklaşıyor ? Hatırlatma.
Dinamik Yapay Sinir Ağı Modelleri Yinelemeli Ağlar (recurrent networks) İleri yolGeri besleme.
Hopfield Ağı Ayrık zamanSürekli zaman Denge noktasının kararlılığı Lyapunov Anlamında kararlılık Lineer olmayan sistemin kararlılığı Tam Kararlılık Dinamik.
Bu durumda lineer sistemin çözümleri neler olabilir? Tüm bu durum portrelerinde ortak bir şey var, ne? S. Haykin, “Neural Networks- A Comprehensive Foundation”2.
Tanım: (Lyapunov anlamında kararlılık)
Çok Katmanlı Algılayıcı-ÇKA (Multi-Layer Perceptron)
Düğüm-Eyer dallanması için ele alınan ön-örneğe yüksek mertebeden terimler eklense davranışı yapısal olarak değişir mi? Bu soru neden önemli Lemma sistemi.
Doğrusal Olmayan Devreler, Sistemler ve Kaos Neslihan Serap Şengör oda no:1107 tel no: Müştak Erhan Yalçın oda no:2304.
Bu derste ders notundan 57,58,59 ve 67,68,69,70,71 nolu sayfalar kullanılacak.
2- Jordan Kanonik Yapısı
F(.) y[n+1] Giriş Vektörü Giriş-Çıkış Eşleme Fonksiyonu Çıkış Mahmut Meral, Lisans Bitirme Ödevi, 2003 Giriş – Çıkış Modeline göre Dinamik Sistem Tanıma.
Ayrık Zaman Hopfield Ağı ile Çağrışımlı Bellek Tasarımı Kullanılan Hücre Modeli: McCulloch-Pitts Eksik birşey var!! Örüntüler: 1. Aşama: Belleğin Oluşturulması.
Izhikevich Sinir Hücresinin davranışı Deneysel sonuçModelden elde edilen sonuç E.M. Izhikevich, “Dynamical Systems in Neuroscience”, MIT Press, 2007.
Biz şimdiye kadar hangi uzaylar ile uğraştık:
“Bilgi”’nin Gösterimi “Bilgi” İnsan veya Makina Yorumlama Öngörme Uygun yanıt verme Depolanmış enformasyon veya model Kurallar: (1) Benzer sınıflardan.
Geriye Yayılım Algoritması
Yapay sinir ağı, basit işlemci ünitelerinden oluşmuş, çok
Lineer cebrin temel teoremi-kısım 1
Lineer Vektör Uzayı ‘de iki
3. Kirchhoff’un Akım Yasası (KAY)
Dinamik Sistem Dinamik sistem: (T, X, φt ) φt : X X a1) φ0=I
Ayrık Zaman Hopfield Ağı ile Çağrışımlı Bellek Tasarımı
h homeomorfizm h homeomorfizm h 1-e-1 ve üstüne h sürekli h
Eleman Tanım Bağıntıları
Geriye Yayılım Algoritması (Back-Propagation Algorithm)
Özdeğerler, Sıfırlar ve Kutuplar
Dinamik Yapay Sinir Ağı Modelleri
Dinamik Sistem T=R sürekli zaman Dinamik sistem: (T, X, φt ) T zaman
Sistem Özellikleri: Yönetilebilirlik, Gözlenebilirlik
Dizinin Yakınsaklığı, Limit
İlk olarak geçen hafta farklı a değerleri için incelediğiniz lineer sisteme bakalım: MATLAB ile elde ettiğiniz sonuçları analitik ifade ile elde edilen.
+ + v v _ _ Hatırlatma Lineer Olmayan Direnç
ART nasıl çalışıyor? Giriş Dikkat Altsistemi Yönlendirme Altsistemi F2
Teorem 2: Lineer zamanla değişmeyen sistemi
Geçen hafta ne yapmıştık
Hatırlatma bu durumda ne olacak? Boyuta dikkat!!
Çok Katmanlı Algılayıcı-ÇKA (Multi-Layer Perceptron)
Bazı sorular: Topolojik eşdeğerlilik ne işimize yarayacak, topolojik
Geçen haftaki tanımlar:
Teorem 2: Lineer zamanla değişmeyen sistemi
Sinir Hücresi McCulloch-Pitts x1 w1 x2 w2 v y wm xm wm+1 1 '
Teorem NU4 Lineer Kombinasyonlar ‘de lineer bağımsız bir küme Tanıt
Sistem Özellikleri: Yönetilebilirlik, Gözlenebilirlik
Hatırlatma Yörünge: Or(xo)
EK BİLGİ Bazı Eniyileme (Optimizasyon) Teknikleri Eniyileme problemi
Sistem Özellikleri: Yönetilebilirlik, Gözlenebilirlik ve Kararlılık
Matrise dikkatle bakın !!!!
Teorem: (Tellegen Teoremi) ne elemanlı bir G grafında KAY’sını
S. Haykin, “Neural Networks- A Comprehensive Foundation”,
Çok Katmanlı Algılayıcı-ÇKA (Multi-Layer Perceptron)
Sunum transkripti:

Hopfield Ağı Ayrık zaman Sürekli zaman Dinamik sistemin kalıcı çözümünü incelemek için öncelikle denge noktalarının kararlılığına bakacağız Denge noktasının kararlılığı Lyapunov Anlamında kararlılık Lineer olmayan sistemin kararlılığı Tam Kararlılık

http://www. ncbi. nlm. nih http://www.ncbi.nlm.nih.gov/pmc/articles/PMC220822/pdf/pnas00227-0122.pdf

Soru: Sürekli zaman sistemi için denge noktalarını nasıl buluruz? Soru: Ayrık zaman sistemi için denge noktalarını nasıl buluruz? Sürekli Zaman Hopfield Ağının Kararlılık Analizi Lyapunov’un 2. yöntemi Hatırlatma Tanım: Lyapunov Fonksiyonu Lyapunov Fonksiyonudur Teorem: Lyapunov Fonksiyonu olmak üzere, denge noktasının kararlı olması için yeter koşul için olmasıdır.

Enerji Fonksiyonunu Lyapunov Fonksiyonu olarak seçebilir miyiz? Sizce koşulları sağlıyor mu? Buradaki büyüklükler nasıl değerler alıyor? Dikkat!!! Türevine de bakalım..... Ancak türev çözümler boyunca olan türev

Monoton artan fonksiyon Tam kararlı, neden?

Ayrık Zaman Hopfield Ağının Kararlılık Analizi Dinamik Sistem: Dinamik sistemin çalışması bu yapıdadır. Ayrık zaman modeli, her anda değişen durum sayısına bağlı olarak farklı şekillerde ele alınır: senkron parallel asenkron seri

Sürekli zamanda enerji fonksiyonunun çözümler boyunca olan türevine bakmıştık, şimdi ayrık zamandayız türev yerine ne ele alınacak? Asenkron Çalışma: n bileşenden sadece biri değişiyor. Bu durumda ‘nın nasıl değiştiğine dikkat edelim

Asenkron çalışan ayrık Hopfield’de tam kararlı

Hopfield ağını kullanacağımız uygulamalar Amaç: 1) Durum uzayındaki dinamik davranışı sonlu sayıdaki kararlı denge noktası ile belirlenen fiziksel sistem, çağrışımlı bellek olarak tasarlanabilir. 2) Aynı sistem, bir optimizasyon problemine ilişkin amaç ölçütünü azlayacak şekilde tasarlanabilir. Yapılan: 1) Bellekde saklanacak örüntüler dinamik sistemin kararlı denge noktalarına karşılık düşecek şekilde tam kararlı dinamik sistem tasarlanıyor. 2) Kısıtlı optimizasyon problemi Lagrange çarpanları yöntemi ile kısıtsız optimizasyon problemine dönüştürülür: Optimizasyon probleminin amaç ölçütü, Hopfield ağına ilişkin “Enerji Fonksiyonuna” denk alınır Hopfield ağına ilişkin parametreler , belirlenerek dinamik sistem tasarlanır.

Ayrık Zaman Hopfield Ağı ile Çağrışımlı Bellek Tasarımı Kullanılan Hücre Modeli: Eksik birşey var!! McCulloch-Pitts Örüntüler: 1. Aşama: Belleğin Oluşturulması n boyutlu, p tane veriden yararlanarak belleği oluşturmak için ağırlıklar belirlenmeli Her nöronun çıkışı diğer nöronların girişine bağlı kendisine geribesleme yok ağırlık matrisi simetrik

Ağırlıklar önceden hesaplanabilir veya ile belirlenebilir. 2. Aşama: Anımsama Dinamik yapı: Verilen bir ilk koşul için durumlar dinamik yapı gereği senkron veya asenkron yenilenir Neye karşılık düşüyor? Tüm nöronlar için olduğunda bellekte saklanan örüntülerden birine karşılık düşen bir kararlı düğüm noktasına erişilir. Örnek: