Bu durumda lineer sistemin çözümleri neler olabilir? Tüm bu durum portrelerinde ortak bir şey var, ne? S. Haykin, “Neural Networks- A Comprehensive Foundation”2.

... konulu sunumlar: "Bu durumda lineer sistemin çözümleri neler olabilir? Tüm bu durum portrelerinde ortak bir şey var, ne? S. Haykin, “Neural Networks- A Comprehensive Foundation”2."— Sunum transkripti:

1 Bu durumda lineer sistemin çözümleri neler olabilir? Tüm bu durum portrelerinde ortak bir şey var, ne? S. Haykin, “Neural Networks- A Comprehensive Foundation”2 nd Edition, Prentice Hall, 1999, New Jersey.

2 Dinamik sistemin özel bir çözümü: Denge noktası Kaç tane denge noktası olabilir? Sistemin davranışını incelemenin bir yolu kararlılığını incelemektir. Tanım: Lyapunov anlamında kararlılık sistemine ilişkin bir denge noktası olsun. Verilen herhangi bir için eşitsizliği eşitsizliğini gerektirecek şekilde bir bulunabiliyorsa denge noktası Lyapunov anlamında kararlıdır. Lineer sistemlerde denge noktasının Lyapunov anlamında kararlılığını incelemek için ne yapıyoruz? Denge noktasının kararlılığı neye denk, neden?

3 Lyapunov anlamında kararlılığı incelemenin bir yöntemi nedir? 2. Yöntem (Dolaysız) 1. Yöntem (Dolaylı) Lyapunov’un 2. yöntemi Tanım: Lyapunov Fonksiyonu Lyapunov Fonksiyonudur Teorem: Lyapunov Fonksiyonu olmak üzere, denge noktasının kararlı olması için yeter koşul için olmasıdır. 2. dereceden lineer olmayan bir dinamik sistemin kalıcı hal çözümleri için ne diyebiliriz? Poincare- Bendixson Teoremi: Kararlı denge noktaları Limit çevrim

4 Neden hep lineer sistemler ele alınıyor? “... not to produce the most comprehensive descriptive model but to produce the simplest possible model that incorporates the major features of the phenomenon of interest.” Howard Emmons Lineer sistem modeli neden yetersiz? “Virtually, all physical systems are nonlinear in nature.” M. Vidyasagar sonlu kaçış zamanı çoklu yalıtılmış denge noktası limit çevrim altharmonik, harmonik ve neredeyse periyodik çözümler kaos çoklu davranış

5 S. Haykin, “Neural Networks- A Comprehensive Foundation”, 2 nd Edition, Prentice Hall, 1999, New Jersey. Lineer olmayan sistemlerde başka nasıl çözümler var? Neden Sonuç Kütle çekim yasası Astronomik olaylar Atmosferin hareketleri Hava durumu tahmini Isaac Newton [1643-1727] G.W.F. Von Leibniz [1646-1716] Determinizm Öngörü

6 Laplace’s Demon: “If you can imagine a consciousness great enough to know the exact locations and velocities of all the objects in the universe at the present instant, as well as all forces, then there would be no secrets from this consciousness. It could calculate anything about the past or future from the laws of cause and effect.” Werner Heisenberg [1901-1976] Belirsizlik Kuramı (1927): Herhangi bir cismin konumu ve hızı aynı anda tam olarak belirlenemez. “In the strict formulation of the causality law-’When we know the present precisely, we can calculate the future’- It is not the final clause, but rather the premise, that is false. We cannot know the present in all its determining details.” Yaklaşık olarak birbirine benzer nedenler yaklaşık olarak birbirine benzer sonuçlar doğururlar. Ed Lorenz [1917-2008] Kelebek Kanadı Etkisi (1960):

7 Nasıl bir sistem? Sonuç Determinizm Öngörü Dinamik Yapay Sinir Ağı Modelleri Yinelemeli Ağlar (recurrent networks) Hopfield Ağı, Elman Ağı

8 x1x1 x2x2 xmxm 1 w1w1 w2w2 wmwm w m+1 ' v y Sinir Hücresi McCulloch-Pitts Hatırlatma

9 Daha gerçekçi sinir hücresi modeli var mı? Hodgkin-Huxley Modeli Bu hücre modelini kullanmak çok uygun değil, sizce neden?

10 Gerçekçi ve ağ yapısı için uygulanabilir hücre modeli 1 1 Düğümü için KAY Nasıl yazıldı? Bu nasıl bir fonksiyon? Tüm hücreler için denklemleri biraz düzenleme ile yazarsak... Daha önce yazdığınız bir denklem takımına benziyor? Durum Denklemleri

11 Bir lineer dönüşüm ile denklemler biraz daha farklı yazılabilir.... Durum değişkenleri Girişler Çıkışlar

12 Hopfield Ağı Ayrık zamanSürekli zaman Denge noktasının kararlılığı Lyapunov Anlamında kararlılık Lineer olmayan sistemin kararlılığı Tam Kararlılık Dinamik sistemin kalıcı çözümünü incelemek için öncelikle denge noktalarının kararlılığına bakacağız

13 http://www.ncbi.nlm.nih.gov/pmc/articles/PMC220822/pdf/pnas00227-0122.pdf

14 Soru: Sürekli zaman sistemi için denge noktalarını nasıl buluruz? Soru: Ayrık zaman sistemi için denge noktalarını nasıl buluruz? Sürekli Zaman Hopfield Ağının Kararlılık Analizi Lyapunov’un 2. yöntemi Tanım: Lyapunov Fonksiyonu Lyapunov Fonksiyonudur Teorem: Lyapunov Fonksiyonu olmak üzere, denge noktasının kararlı olması için yeter koşul için olmasıdır. Hatırlatma

15 Enerji Fonksiyonunu Lyapunov Fonksiyonu olarak seçebilir miyiz? Sizce koşulları sağlıyor mu? Dikkat!!! Türevine de bakalım..... Buradaki büyüklükler nasıl değerler alıyor? Ancak türev çözümler boyunca olan türev

16 Monoton artan fonksiyon Tam kararlı, neden?

17 Dinamik Sistem: Ayrık zaman modeli, her anda değişen durum sayısına bağlı olarak farklı şekillerde ele alınır: senkron parallel asenkron seri Dinamik sistemin çalışması bu yapıdadır. Ayrık Zaman Hopfield Ağının Kararlılık Analizi

18 Sürekli zamanda enerji fonksiyonunun çözümler boyunca olan türevine bakmıştık, şimdi ayrık zamandayız türev yerine ne ele alınacak? Asenkron Çalışma: n bileşenden sadece biri değişiyor. Bu durumda ‘nın nasıl değiştiğine dikkat edelim

19 Asenkron çalışan ayrık Hopfield’de tam kararlı

20 Hopfield ağını kullanacağımız uygulamalar Amaç: 1) Durum uzayındaki dinamik davranışı sonlu sayıdaki kararlı denge noktası ile belirlenen fiziksel sistem, çağrışımlı bellek olarak tasarlanabilir. 2) Aynı sistem, bir optimizasyon problemine ilişkin amaç ölçütünü azlayacak şekilde tasarlanabilir. Yapılan: 1) Bellekde saklanacak örüntüler dinamik sistemin kararlı denge noktalarına karşılık düşecek şekilde tam kararlı dinamik sistem tasarlanıyor. 2) Kısıtlı optimizasyon problemi Lagrange çarpanları yöntemi ile kısıtsız optimizasyon problemine dönüştürülür: Optimizasyon probleminin amaç ölçütü, Hopfield ağına ilişkin “Enerji Fonksiyonuna” denk alınır Hopfield ağına ilişkin parametreler, belirlenerek dinamik sistem tasarlanır.

21 Ayrık Zaman Hopfield Ağı ile Çağrışımlı Bellek Tasarımı Kullanılan Hücre Modeli: McCulloch-Pitts Eksik birşey var!! Örüntüler: 1. Aşama: Belleğin Oluşturulması n boyutlu, p tane veriden yararlanarak belleği oluşturmak için ağırlıklar belirlenmeli Her nöronun çıkışı diğer nöronların girişine bağlı kendisine geribesleme yok ağırlık matrisi simetrik

22 Ağırlıklar önceden hesaplanabilir veya ile belirlenebilir. 2. Aşama: Anımsama Dinamik yapı: Verilen bir ilk koşul için durumlar dinamik yapı gereği senkron veya asenkron yenilenir Neye karşılık düşüyor? Tüm nöronlar için olduğunda bellekte saklanan örüntülerden birine karşılık düşen bir kararlı düğüm noktasına erişilir. Örnek:

23 Bazı Sorular Gerçekten de belirlenen ağırlıklar ile istenilen kararlı denge noktalarına erişmemizi sağlayacak dinamik sistem yaratıldı mı? Eğer evet ise, bir bozulmuş veya eksik örüntü ile başlayarak bu örüntünün bellekteki aslına erişilebilinir mi? Herhangi bir ilk ilk koşul ile başlanıldığında ağa ilişkin dinamik hangi kararlı durum çözümünü verecek ? Küçük hata ile kaç örüntü belleğe yerleştirilebilinir?

24