Giriş Dikkat Altsistemi Yönlendirme Altsistemi Kısa Süreli Bellek Uzun Süreli Bellek Kontrol Birimi Kontrol Birimi F1 F2 ART nasıl çalışıyor? Mete Balcı, Nevroz Aslan, Bitirme Ödevi, 2003 Hatırlatma

Tüm bunlar nasıl yapılıyor? I Mete Balcı, Nevroz Aslan, Bitirme Ödevi, 2003

Amaç: Verilen örüntüleri önceden belirlenmiş benzerlik kıstasına göre öbekleme, gerekirse yeni öbekler oluşturma ART -1 Verilenler: n boyutlu p tane vektör benzerlik kıstası “uyanıklık” katsayısı Ağ Yapısı: yukarıdan aşağı bağlantılar aşağıdan yukarı bağlantılar ilk ağırlıklar

Öğrenme Kuralı: F 1 katmanındaki gösterim ile veri ‘nin benzerliğinin ölçüsüne “uyanıklık” değerine göre karar veriliyor. için kazananı belirle ise kazanan aşağıdan yukarıya ağırlık güncelleniyor Kazananı belirlemek için hangi ağırlık kullanılıyor? Hangi ağırlık güncelleniyor? Ağırlıkların Güncellenmesi: Kazanan uyanıklık koşulunu sağlamıyorsa ne olacak? F 2 katmanına yeni örüntü yerleştirilecek İlgili aşağıdan yukarı ağırlıklar, ilk ağırlık güncellenmesinde gibi belirlenecek, yukarıdan aşağı ağırlıklar yeni örüntünün değerleri olarak alınacak

Örnek : Adım 1: Birinci örüntü için m=1, n=7 Başkası olmadığı için kazanan Güncellenmeyi hakediyor mu? Uyanıklık katsayısına bakılınacak

Ağırlıklar güncellenecek

Adım 2: İkinci örüntü için m=1, n=7 Başkası olmadığı için kazanan ancak uyanıklık katsayısına bakmak da gerekiyor Yeni bir nöron oluşturmak gerek

Adım 3: Üçüncü örüntü için m=2, n=7

Ağırlıklar güncellenecek

Dinamik Yapay Sinir Ağı Modelleri Yinelemeli Ağlar (recurrent networks) İleri yolGeri besleme

Önce lineer dinamik sistemler hakkında bildiklerimizi hatırlayalım... durum değişkeni giriş değişkeni çıkış değişkeni Bu değişkenlere ilişkin başka neyi belirtmemiz gerek Bu sistemin çözűmű..... ilk koşul Dinamik Sistem

Bir özel hal: Otonom sistem Çözümü bir daha yazarsak özdeğerler özvektörler Çözüm, özvektörler ve özdeğerler ile nasıl değişir

Özvektörleri aynı özdeğerleri farklı iki sistem

A1 sistemi A2 sistemi Hangisi daha hızlı sıfıra yaklaşıyor ?

Özdeğerleri aynı özvektörleri farklı iki sistem

B1 sistemi B2 sistemi

Bu durumda lineer sistemin çözümleri neler olabilir? Tüm bu durum portrelerinde ortak bir şey var, ne? S. Haykin, “Neural Networks- A Comprehensive Foundation”2 nd Edition, Prentice Hall, 1999, New Jersey.

Dinamik sistemin özel bir çözümü: Denge noktası Kaç tane denge noktası olabilir? Sistemin davranışını incelemenin bir yolu kararlılığını incelemektir. Tanım: Lyapunov anlamında kararlılık sistemine ilişkin bir denge noktası olsun. Verilen herhangi bir için eşitsizliği eşitsizliğini gerektirecek şekilde bir bulunabiliyorsa denge noktası Lyapunov anlamında kararlıdır. Lineer sistemlerde denge noktasının Lyapunov anlamında kararlılığını incelemek için ne yapılınılıyor? Denge noktasının kararlılığı neye denk, neden?

Neden hep lineer sistemler ele alınıyor? “... not to produce the most comprehensive descriptive model but to produce the simplest possible model that incorporates the major features of the phenomenon of interest.” Howard Emmons Lineer sistem modeli neden yetersiz? “Virtually, all physical systems are nonlinear in nature.” M. Vidyasagar sonlu kaçış zamanı çoklu yalıtılmış denge noktası limit çevrim altharmonik, harmonik ve neredeyse periyodik çözümler kaos çoklu davranış

Lyapunov anlamında kararlılığı incelemenin bir yöntemi nedir? 2. Yöntem (Dolaysız) 1. Yöntem (Dolaylı) Lyapunov’un 2. yöntemi Tanım: Lyapunov Fonksiyonu Lyapunov Fonksiyonudur Teorem: Lyapunov Fonksiyonu olmak üzere, denge noktasının kararlı olması için yeter koşul için olmasıdır. 2. dereceden lineer olmayan bir dinamik sistemin kalıcı hal çözümleri için ne diyebiliriz? Poincare- Bendixson Teoremi: Kararlı denge noktaları Limit çevrim

S. Haykin, “Neural Networks- A Comprehensive Foundation”, 2 nd Edition, Prentice Hall, 1999, New Jersey. Lineer olmayan sistemlerde başka nasıl çözümler var? Neden Sonuç Kütle çekim yasası Astronomik olaylar Atmosferin hareketleri Hava durumu tahmini Isaac Newton [ ] G.W.F. Von Leibniz [ ] Determinizm Öngörü

Laplace’s Demon: “If you can imagine a consciousness great enough to know the exact locations and velocities of all the objects in the universe at the present instant, as well as all forces, then there would be no secrets from this consciousness. It could calculate anything about the past or future from the laws of cause and effect.” Werner Heisenberg [ ] Belirsizlik Kuramı (1927): Herhangi bir cismin konumu ve hızı aynı anda tam olarak belirlenemez. “In the strict formulation of the causality law-’When we know the present precisely, we can calculate the future’- It is not the final clause, but rather the premise, that is false. We cannot know the present in all its determining details.” Yaklaşık olarak birbirine benzer nedenler yaklaşık olarak birbirine benzer sonuçlar doğururlar. Ed Lorenz [ ] Kelebek Kanadı Etkisi (1960):

Nasıl bir sistem? Sonuç Determinizm Öngörü Dinamik Yapay Sinir Ağı Modelleri Yinelemeli Ağlar (recurrent networks) Hopfield Ağı, Elman Ağı

Daha gerçekçi sinir hücresi modeli var mı? Bir sinir hücresi modeli: Hodgkin-Huxley Modeli

Nasıl indirgenecek? InIn y1y1 y2y2 ymym y m-1 w1w1 w2w2 w m-1 wmwm - xnxn ynyn