Sinir Hücresi McCulloch-Pitts x1 w1 x2 w2 v y wm xm wm+1 1 '

Slides:



Advertisements
Benzer bir sunumlar
Support Vector Machines
Advertisements

Bölüm 8: EĞRİ UYDURMA Fizikte laboratuarda yapılan deneysel ölçümlerin ne kadar hata payı içerdiğini, veya belli teorik modellere ne kadar uyduğunu bilmek.
Lineer Sistemlerin Deprem Davranışı
SONLU ELEMANLAR YÖNTEMİ
Bölüm 4: Sayısal İntegral
Bölüm6:Diferansiyel Denklemler: Başlangıç Değer Problemleri
GEOMETRİK PROGRAMLAMA
SONLU ELEMANLAR YÖNTEMİ
SONLU ELEMANLAR YÖNTEMİ
2 Birinci Mertebeden Adi Diferansiyel Denklemler
SONLU ELEMANLARA GİRİŞ DERSİ
SONLU ELEMANLAR DERS 9.
Giriş Dikkat Altsistemi Yönlendirme Altsistemi Kısa Süreli Bellek Uzun Süreli Bellek Kontrol Birimi Kontrol Birimi F1 F2 ART nasıl çalışıyor? Mete Balcı,
Yapay Sinir Ağları (YSA)
Yapay Sinir Ağları (Artificial Neural Networks) Bir Yapay Sinir Ağı Tanımı (Alexander, Morton 1990) Yapay sinir ağı, basit işlemci ünitelerinden oluşmuş,
Geçen hafta anlatılanlar Değişmez küme Değişmez kümelerin kararlılığı Bildiğimiz diğer kararlılık tanımları ve değişmez kümenin kararlılığı ile ilgileri.
V2’nin q1 doğrultusunda ki bileşenine
n bilinmeyenli m denklem
Devre ve Sistem Analizi
Devre ve Sistem Analizi Neslihan Serap Şengör Devreler ve Sistemler A.B.D. oda no:1107 tel no:
YAPAY SİNİR AĞLARI.
Bazı Sorular Gerçekten de belirlenen ağırlıklar ile istenilen kararlı denge noktalarına erişmemizi sağlayacak dinamik sistem yaratıldı mı? Eğer evet ise,
Hatırlatma: Durum Denklemleri
Kararlılık Sıfır giriş kararlılığı Tanım: (Denge noktası) sisteminin sabit çözümleri, sistemin denge noktalarıdır. nasıl belirlenir? Cebrik denkleminin.
Dinamik Yapay Sinir Ağı Modelleri Yinelemeli Ağlar (recurrent networks) İleri yolGeri besleme.
Hopfield Ağı Ayrık zamanSürekli zaman Denge noktasının kararlılığı Lyapunov Anlamında kararlılık Lineer olmayan sistemin kararlılığı Tam Kararlılık Dinamik.
Bu durumda lineer sistemin çözümleri neler olabilir? Tüm bu durum portrelerinde ortak bir şey var, ne? S. Haykin, “Neural Networks- A Comprehensive Foundation”2.
Dinamik Yapay Sinir Ağı Modelleri Yinelemeli Ağlar (recurrent networks) İleri yolGeri besleme.
Tanım: (Lyapunov anlamında kararlılık)
1. Mertebeden Lineer Devreler
Zamanla Değişmeyen Lineer Kapasite ve
ISIS IRIR ITIT Z=10e -j45, 3-fazlı ve kaynak 220 V. I R, I S, I T akımları ile her empedansa ilişkin akımları belirleyin.
Toplamsallık ve Çarpımsallık Özelliği
Çok Katmanlı Algılayıcı-ÇKA (Multi-Layer Perceptron)
Düğüm-Eyer dallanması için ele alınan ön-örneğe yüksek mertebeden terimler eklense davranışı yapısal olarak değişir mi? Bu soru neden önemli Lemma sistemi.
F(.) y[n+1] Giriş Vektörü Giriş-Çıkış Eşleme Fonksiyonu Çıkış Mahmut Meral, Lisans Bitirme Ödevi, 2003 Giriş – Çıkış Modeline göre Dinamik Sistem Tanıma.
Ayrık Zaman Hopfield Ağı ile Çağrışımlı Bellek Tasarımı Kullanılan Hücre Modeli: McCulloch-Pitts Eksik birşey var!! Örüntüler: 1. Aşama: Belleğin Oluşturulması.
Izhikevich Sinir Hücresinin davranışı Deneysel sonuçModelden elde edilen sonuç E.M. Izhikevich, “Dynamical Systems in Neuroscience”, MIT Press, 2007.
“Bilgi”’nin Gösterimi “Bilgi” İnsan veya Makina Yorumlama Öngörme Uygun yanıt verme Depolanmış enformasyon veya model Kurallar: (1) Benzer sınıflardan.
Yapay sinir ağı, basit işlemci ünitelerinden oluşmuş, çok
Lineer Vektör Uzayı ‘de iki
3. Kirchhoff’un Akım Yasası (KAY)
Dinamik Sistem Dinamik sistem: (T, X, φt ) φt : X X a1) φ0=I
Ayrık Zaman Hopfield Ağı ile Çağrışımlı Bellek Tasarımı
h homeomorfizm h homeomorfizm h 1-e-1 ve üstüne h sürekli h
Geriye Yayılım Algoritması (Back-Propagation Algorithm)
Özdeğerler, Sıfırlar ve Kutuplar
Dinamik Yapay Sinir Ağı Modelleri
Sistem Özellikleri: Yönetilebilirlik, Gözlenebilirlik
İlk olarak geçen hafta farklı a değerleri için incelediğiniz lineer sisteme bakalım: MATLAB ile elde ettiğiniz sonuçları analitik ifade ile elde edilen.
ART nasıl çalışıyor? Giriş Dikkat Altsistemi Yönlendirme Altsistemi F2
Teorem 2: Lineer zamanla değişmeyen sistemi
Geçen hafta ne yapmıştık
Hatırlatma bu durumda ne olacak? Boyuta dikkat!!
Çok Katmanlı Algılayıcı-ÇKA (Multi-Layer Perceptron)
Bazı sorular: Topolojik eşdeğerlilik ne işimize yarayacak, topolojik
Teorem 2: Lineer zamanla değişmeyen sistemi
Hopfield Ağı Ayrık zaman Sürekli zaman
Sistem Özellikleri: Yönetilebilirlik, Gözlenebilirlik
Hatırlatma Yörünge: Or(xo)
Sistem Özellikleri: Yönetilebilirlik, Gözlenebilirlik ve Kararlılık
Banach Sabit Nokta Teoremi (Büzülme Teoremi)
Teorem: (Tellegen Teoremi) ne elemanlı bir G grafında KAY’sını
Bir ağaç seçip temel kesitlemeleri belirleyelim Hatırlatma
Matrise dikkatle bakın !!!!
Teorem: (Tellegen Teoremi) ne elemanlı bir G grafında KAY’sını
S. Haykin, “Neural Networks- A Comprehensive Foundation”,
SONLU ELEMANLAR YÖNTEMİ
Yine en basit durumdan başlayarak inceleyelim:
Çok Katmanlı Algılayıcı-ÇKA (Multi-Layer Perceptron)
Sunum transkripti:

Sinir Hücresi McCulloch-Pitts x1 w1 x2 w2 v y wm xm wm+1 1 ' Hatırlatma Sinir Hücresi x1 x2 xm 1 w1 w2 wm wm+1 McCulloch-Pitts v y '

Daha gerçekçi sinir hücresi modeli var mı? Hodgkin-Huxley Modeli Bu hücre modelini kullanmak çok uygun değil, sizce neden? Sadece bir spike uretmek icin cok daha basit bir model kullanılabilir.

Gerçekçi ve ağ yapısı için uygulanabilir hücre modeli 1 Bu nasıl bir fonksiyon? 1 Düğümü için KAY Daha önce yazdığınız bir denklem takımına benziyor? Nasıl yazıldı? Tüm hücreler için denklemleri biraz düzenleme ile yazarsak... Durum Denklemleri

Durum değişkenleri Girişler Çıkışlar Bir lineer dönüşüm ile denklemler biraz daha farklı yazılabilir....

Hopfield Ağı Ayrık zaman Sürekli zaman Dinamik sistemin kalıcı çözümünü incelemek için öncelikle denge noktalarının kararlılığına bakacağız Denge noktasının kararlılığı Lyapunov Anlamında kararlılık Lineer olmayan sistemin kararlılığı Tam Kararlılık

http://www. ncbi. nlm. nih http://www.ncbi.nlm.nih.gov/pmc/articles/PMC220822/pdf/pnas00227-0122.pdf

Soru: Sürekli zaman sistemi için denge noktalarını nasıl buluruz? Soru: Ayrık zaman sistemi için denge noktalarını nasıl buluruz? Sürekli Zaman Hopfield Ağının Kararlılık Analizi Lyapunov’un 2. yöntemi Hatırlatma Tanım: Lyapunov Fonksiyonu Lyapunov Fonksiyonudur Teorem: Lyapunov Fonksiyonu olmak üzere, denge noktasının kararlı olması için yeter koşul için olmasıdır.

Enerji Fonksiyonunu Lyapunov Fonksiyonu olarak seçebilir miyiz? Sizce koşulları sağlıyor mu? Buradaki büyüklükler nasıl değerler alıyor? Dikkat!!! Türevine de bakalım..... Ancak türev çözümler boyunca olan türev

Monoton artan fonksiyon Tam kararlı, neden?

Ayrık Zaman Hopfield Ağının Kararlılık Analizi Dinamik Sistem: Dinamik sistemin çalışması bu yapıdadır. Ayrık zaman modeli, her anda değişen durum sayısına bağlı olarak farklı şekillerde ele alınır: senkron parallel asenkron seri

Sürekli zamanda enerji fonksiyonunun çözümler boyunca olan türevine bakmıştık, şimdi ayrık zamandayız türev yerine ne ele alınacak? Asenkron Çalışma: n bileşenden sadece biri değişiyor. Bu durumda ‘nın nasıl değiştiğine dikkat edelim

Asenkron çalışan ayrık Hopfield’de tam kararlı

Hopfield ağını kullanacağımız uygulamalar Amaç: 1) Durum uzayındaki dinamik davranışı sonlu sayıdaki kararlı denge noktası ile belirlenen fiziksel sistem, çağrışımlı bellek olarak tasarlanabilir. 2) Aynı sistem, bir optimizasyon problemine ilişkin amaç ölçütünü azlayacak şekilde tasarlanabilir. Yapılan: 1) Bellekde saklanacak örüntüler dinamik sistemin kararlı denge noktalarına karşılık düşecek şekilde tam kararlı dinamik sistem tasarlanıyor. 2) Kısıtlı optimizasyon problemi Lagrange çarpanları yöntemi ile kısıtsız optimizasyon problemine dönüştürülür: Optimizasyon probleminin amaç ölçütü, Hopfield ağına ilişkin “Enerji Fonksiyonuna” denk alınır Hopfield ağına ilişkin parametreler , belirlenerek dinamik sistem tasarlanır.

Ayrık Zaman Hopfield Ağı ile Çağrışımlı Bellek Tasarımı Kullanılan Hücre Modeli: Eksik birşey var!! McCulloch-Pitts Örüntüler: 1. Aşama: Belleğin Oluşturulması n boyutlu, p tane veriden yararlanarak belleği oluşturmak için ağırlıklar belirlenmeli Her nöronun çıkışı diğer nöronların girişine bağlı kendisine geribesleme yok ağırlık matrisi simetrik

Ağırlıklar önceden hesaplanabilir veya ile belirlenebilir. 2. Aşama: Anımsama Dinamik yapı: Verilen bir ilk koşul için durumlar dinamik yapı gereği senkron veya asenkron yenilenir Neye karşılık düşüyor? Tüm nöronlar için olduğunda bellekte saklanan örüntülerden birine karşılık düşen bir kararlı düğüm noktasına erişilir. Örnek:

Bazı Sorular Gerçekten de belirlenen ağırlıklar ile istenilen kararlı denge noktalarına erişmemizi sağlayacak dinamik sistem yaratıldı mı? Eğer evet ise, bir bozulmuş veya eksik örüntü ile başlayarak bu örüntünün bellekteki aslına erişilebilinir mi? Herhangi bir ilk ilk koşul ile başlanıldığında ağa ilişkin dinamik hangi kararlı durum çözümünü verecek ? Küçük hata ile kaç örüntü belleğe yerleştirilebilinir?

Hopfield Ağı yakınsıyor, ama nereye? Ağırlıkları yerleştirelim: n büyük ise p > 0.38n ise bellek anlamsızlaşıyor

Sürekli Zaman Hopfield Ağı ile Çağrışımlı Bellek Tasarımı Ayrık zaman Hopfield ağındaki gibi ağırlıklar belirlenir ve diferansiyel Denklem takımı çözülür.