Uyarlanabilir Yankılaşım Teorisi

... konulu sunumlar: "Uyarlanabilir Yankılaşım Teorisi"— Sunum transkripti:

1 Uyarlanabilir Yankılaşım Teorisi
(Adaptive Resonance Theory- Grossberg ) A crucial metatheoretical constraint is to insist upon understanding the behavioral data –which comes to us as static numbers or curves on a page – as the emergent properties of a dynamical process which is taking place moment-by-moment in an individual mind. One also needs to respect the fact that our minds can adapt on their own to changing environmental conditions without being told that these conditions have changed. One thus needs to frontally attack the problem of how an intelligent being can autonomously adapt to a changing world. Knowing how to do this, as with many other theoretical endeavors in science, is presently an art form. There are no known algorithms with which to point the way. Whenever we have attempted this task in the past, we have resisted every temptation to use homunculi, or else the crucial constraint on autonomous adaptation would be violated. The result has regularly been the discovery of new organizational principles and mechanisms, which we have then realized as a minimal model operating according to only locally defined laws that are capable of operating on their own in real time. The remarkable fact is that, when such a behaviorally-derived model has been written down, it has always been interpretable as a neural network. These neural networks have always included known brain mechanisms. The functional interpretation of these mechanisms has, however, often been novel because of the light thrown upon them by the behavioral analysis. The networks have also typically predicted the existence of unknown neural mechanisms, and many of these predictions have been supported by subsequent neurophysiological, anatomical, and even biochemical experiments over the years. Stephen Grossberg

2 Grossberg ‘e göre: Algılama ve Bilişe İlişkin Temel Problem: İnsanlar içinde bulundukları ortamın değişmez özelliklerini nasıl keşfediyor, öğreniyor ve tanıyor ? Yaşam boyunca sürekli öğrenmeyi nasıl başarıyoruz ?

3 Yöntem Psikolojik postülalar Daha ayrıntılı postülalar
bulunur Bu postülaları gerçekleyen minimum ağ yapısı bulunur Gerçeklenen ağın psikolojik ve nöral yetenekleri test edilir Yapılamayanların bulunması, gereken yeni psikolojik temeli gösterecektir

4 Adaptif Rezonans Teorisi (ART)
Klasik şartlanma çalışmalarına dayanır Sağlam matematiksel altyapı Gerçek zamanda gerçek dünya verileri ile çalışma yeteneği Temel düşünce birçok olayı açıklamak için genişletilerek yeni yapılar önerilmiştir

5 ART nasıl çalışıyor? Giriş Dikkat Altsistemi Yönlendirme Altsistemi F2
Kısa Süreli Bellek Uzun Süreli Bellek Kontrol Birimi Kontrol Birimi F1 Kısa Süreli Bellek Giriş Mete Balcı, Nevroz Aslan, Bitirme Ödevi, 2003

6 Tüm bunlar nasıl yapılıyor?
Mete Balcı, Nevroz Aslan, Bitirme Ödevi, 2003 I

7 ART -1 Amaç: Verilen örüntüleri önceden belirlenmiş benzerlik kıstasına göre öbekleme, gerekirse yeni öbekler oluşturma Verilenler: n boyutlu p tane vektör benzerlik kıstası “uyanıklık” katsayısı Ağ Yapısı: yukarıdan aşağı bağlantılar aşağıdan yukarı bağlantılar ilk ağırlıklar

8 F1 katmanındaki gösterim ile veri ‘nin benzerliğinin ölçüsüne
Öğrenme Kuralı: için kazananı belirle F1 katmanındaki gösterim ile veri ‘nin benzerliğinin ölçüsüne “uyanıklık” değerine göre karar veriliyor. ise kazanan aşağıdan yukarıya ağırlık güncelleniyor Kazananı belirlemek için hangi ağırlık kullanılıyor? Hangi ağırlık güncelleniyor? Ağırlıkların Güncellenmesi: Kazanan uyanıklık koşulunu sağlamıyorsa ne olacak? F2 katmanına yeni örüntü yerleştirilecek İlgili aşağıdan yukarı ağırlıklar, ilk ağırlık güncellenmesinde gibi belirlenecek, yukarıdan aşağı ağırlıklar yeni örüntünün değerleri olarak alınacak

9 Adım 1: Birinci örüntü için m=1, n=7
Örnek : Adım 1: Birinci örüntü için m=1, n=7 Başkası olmadığı için kazanan Güncellenmeyi hakediyor mu? Uyanıklık katsayısına bakılacak

10 Ağırlıklar güncellenecek

11 Adım 2: İkinci örüntü için m=1, n=7
Başkası olmadığı için kazanan ancak uyanıklık katsayısına bakmak da gerekiyor Yeni bir nöron oluşturmak gerek

12 Adım 3: Üçüncü örüntü için m=2, n=7

13 Ağırlıklar güncellenecek
Dikkat !!!! Değişiklik oldu mu?

14 Adım 4: Dördüncü örüntü için m=2, n=7
Ağırlıklar güncellenecek

15

16 Dinamik Yapay Sinir Ağı Modelleri
Yinelemeli Ağlar (recurrent networks) İleri yol Geri besleme

17 Dinamik Sistem Önce lineer dinamik sistemler hakkında bildiklerimizi
hatırlayalım... durum değişkeni ilk koşul çıkış değişkeni giriş değişkeni Bu değişkenlere ilişkin başka neyi belirtmemiz gerek Bu sistemin çözűmű.....

18 Çözümü bir daha yazarsak özvektörler
Bir özel hal: Otonom sistem Çözümü bir daha yazarsak özvektörler özdeğerler Çözüm, özvektörler ve özdeğerler ile nasıl değişir

19 Özvektörleri aynı özdeğerleri farklı iki sistem

20 Hangisi daha hızlı sıfıra yaklaşıyor ?
A1 sistemi A2 sistemi

21 Özdeğerleri aynı özvektörleri farklı iki sistem

22 B1 sistemi B2 sistemi

23 Bu durumda lineer sistemin çözümleri neler olabilir?
S. Haykin, “Neural Networks- A Comprehensive Foundation”2nd Edition, Prentice Hall, 1999, New Jersey. Tüm bu durum portrelerinde ortak bir şey var, ne?

24 Dinamik sistemin özel bir çözümü: Denge noktası
Kaç tane denge noktası olabilir? Sistemin davranışını incelemenin bir yolu kararlılığını incelemektir. Tanım: Lyapunov anlamında kararlılık sistemine ilişkin bir denge noktası olsun. Verilen herhangi bir için eşitsizliği eşitsizliğini gerektirecek şekilde bir bulunabiliyorsa denge noktası Lyapunov anlamında kararlıdır. Lineer sistemlerde denge noktasının Lyapunov anlamında kararlılığını incelemek için ne yapıyoruz? Denge noktasının kararlılığı neye denk, neden?

25 Lyapunov anlamında kararlılığı incelemenin bir yöntemi nedir?
(Dolaysız) 1. Yöntem (Dolaylı) Lyapunov’un 2. yöntemi Tanım: Lyapunov Fonksiyonu Lyapunov Fonksiyonudur Teorem: Lyapunov Fonksiyonu olmak üzere, denge noktasının kararlı olması için yeter koşul için olmasıdır. 2. dereceden lineer olmayan bir dinamik sistemin kalıcı hal çözümleri için ne diyebiliriz? Kararlı denge noktaları Poincare- Bendixson Teoremi: Limit çevrim

26 Lineer sistem modeli neden yetersiz?
“Virtually, all physical systems are nonlinear in nature.” M. Vidyasagar sonlu kaçış zamanı çoklu yalıtılmış denge noktası limit çevrim altharmonik, harmonik ve neredeyse periyodik çözümler kaos çoklu davranış Neden hep lineer sistemler ele alınıyor? “. . . not to produce the most comprehensive descriptive model but to produce the simplest possible model that incorporates the major features of the phenomenon of interest.” Howard Emmons

27 Lineer olmayan sistemlerde başka nasıl çözümler var?
Neden Sonuç Kütle çekim yasası Astronomik olaylar Atmosferin hareketleri Hava durumu tahmini Isaac Newton [ ] G.W.F. Von Leibniz [ ] Determinizm Öngörü S. Haykin, “Neural Networks- A Comprehensive Foundation”, 2nd Edition, Prentice Hall, 1999, New Jersey.

28 Laplace’s Demon: “If you can imagine a consciousness great enough to know the exact locations and velocities of all the objects in the universe at the present instant, as well as all forces, then there would be no secrets from this consciousness. It could calculate anything about the past or future from the laws of cause and effect.” Werner Heisenberg [ ] Belirsizlik Kuramı (1927): Herhangi bir cismin konumu ve hızı aynı anda tam olarak belirlenemez. “In the strict formulation of the causality law-’When we know the present precisely, we can calculate the future’- It is not the final clause, but rather the premise, that is false. We cannot know the present in all its determining details.” Yaklaşık olarak birbirine benzer nedenler yaklaşık olarak birbirine benzer sonuçlar doğururlar. Ed Lorenz [ ] Kelebek Kanadı Etkisi (1960):

29 Dinamik Yapay Sinir Ağı Modelleri
Nasıl bir sistem? Sonuç Determinizm Öngörü Dinamik Yapay Sinir Ağı Modelleri Yinelemeli Ağlar (recurrent networks) Hopfield Ağı, Elman Ağı