Uyarlanabilir Yankılaşım Teorisi (Adaptive Resonance Theory- Grossberg ) http://www.cns.bu.edu/Profiles/Grossberg/GrossbergInterests.pdf A crucial metatheoretical constraint is to insist upon understanding the behavioral data –which comes to us as static numbers or curves on a page – as the emergent properties of a dynamical process which is taking place moment-by-moment in an individual mind. One also needs to respect the fact that our minds can adapt on their own to changing environmental conditions without being told that these conditions have changed. One thus needs to frontally attack the problem of how an intelligent being can autonomously adapt to a changing world. Knowing how to do this, as with many other theoretical endeavors in science, is presently an art form. There are no known algorithms with which to point the way. Whenever we have attempted this task in the past, we have resisted every temptation to use homunculi, or else the crucial constraint on autonomous adaptation would be violated. The result has regularly been the discovery of new organizational principles and mechanisms, which we have then realized as a minimal model operating according to only locally defined laws that are capable of operating on their own in real time. The remarkable fact is that, when such a behaviorally-derived model has been written down, it has always been interpretable as a neural network. These neural networks have always included known brain mechanisms. The functional interpretation of these mechanisms has, however, often been novel because of the light thrown upon them by the behavioral analysis. The networks have also typically predicted the existence of unknown neural mechanisms, and many of these predictions have been supported by subsequent neurophysiological, anatomical, and even biochemical experiments over the years. Stephen Grossberg

Grossberg ‘e göre: Algılama ve Bilişe İlişkin Temel Problem: İnsanlar içinde bulundukları ortamın değişmez özelliklerini nasıl keşfediyor, öğreniyor ve tanıyor ? Yaşam boyunca sürekli öğrenmeyi nasıl başarıyoruz ?

Yöntem Psikolojik postülalar Daha ayrıntılı postülalar bulunur Bu postülaları gerçekleyen minimum ağ yapısı bulunur Gerçeklenen ağın psikolojik ve nöral yetenekleri test edilir Yapılamayanların bulunması, gereken yeni psikolojik temeli gösterecektir

Adaptif Rezonans Teorisi (ART) Klasik şartlanma çalışmalarına dayanır Sağlam matematiksel altyapı Gerçek zamanda gerçek dünya verileri ile çalışma yeteneği Temel düşünce birçok olayı açıklamak için genişletilerek yeni yapılar önerilmiştir

ART nasıl çalışıyor? Giriş Dikkat Altsistemi Yönlendirme Altsistemi F2 Kısa Süreli Bellek Uzun Süreli Bellek Kontrol Birimi Kontrol Birimi F1 Kısa Süreli Bellek Giriş Mete Balcı, 2005-2007 Nevroz Aslan, Bitirme Ödevi, 2003

Bir örnek Mete Balcı, 2005-2007 Nevroz Aslan, Bitirme Ödevi, 2003

Mete Balcı, 2005-2007 Nevroz Aslan, Bitirme Ödevi, 2003

Mete Balcı, 2005-2007 Nevroz Aslan, Bitirme Ödevi, 2003

Mete Balcı, 2005-2007 Nevroz Aslan, Bitirme Ödevi, 2003

Tüm bunlar nasıl yapılıyor? Mete Balcı, 2005-2007 Nevroz Aslan, Bitirme Ödevi, 2003 I

ART -1 Amaç: Verilen örüntüleri önceden belirlenmiş benzerlik kıstasına göre öbekleme, gerekirse yeni öbekler oluşturma Verilenler: n boyutlu p tane vektör benzerlik kıstası “uyanıklık” katsayısı Vigilance Ağ Yapısı: yukarıdan aşağı bağlantılar aşağıdan yukarı bağlantılar ilk ağırlıklar http://en.wikipedia.org/wiki/File:ART.png

F1 katmanındaki gösterim ile veri ‘nin benzerliğinin ölçüsüne Öğrenme Kuralı: için kazananı belirle F1 katmanındaki gösterim ile veri ‘nin benzerliğinin ölçüsüne “uyanıklık” değerine göre karar veriliyor. ise kazanan aşağıdan yukarıya ağırlık güncelleniyor Kazananı belirlemek için hangi ağırlık kullanılıyor? Hangi ağırlık güncelleniyor? Ağırlıkların Güncellenmesi: Kazanan uyanıklık koşulunu sağlamıyorsa ne olacak? F2 katmanına yeni örüntü yerleştirilecek İlgili aşağıdan yukarı ağırlıklar, ilk ağırlık güncellenmesinde gibi belirlenecek, yukarıdan aşağı ağırlıklar yeni örüntünün değerleri olarak alınacak

Adım 1: Birinci örüntü için m=1, n=7 Örnek : Adım 1: Birinci örüntü için m=1, n=7 Başkası olmadığı için kazanan Güncellenmeyi hakediyor mu? Uyanıklık katsayısına bakılınacak

Ağırlıklar güncellenecek

Adım 2: İkinci örüntü için m=1, n=7 Başkası olmadığı için kazanan ancak uyanıklık katsayısına bakmak da gerekiyor Yeni bir nöron oluşturmak gerek

Adım 3: Üçüncü örüntü için m=2, n=7

Bilişsel Bilim Neokorteks Hippokampüs LGN (Lateral Geniculate Nucleus) Görsel Korteks Mühendislik Örüntü Sınıflandırma

ART ile önerilen yapılar ne kadar gerçeklenebilir? Koch, K. & Crick, F., Some Thougts on Consciousness and Neuroscience. Bilinç için; Dikkat Kısa Süreli Bellek Dikkat Alt Sistemi Yönlendirme Alt Sistemi Uzun Süreli Bellek

Bilincin tüm farklı yönleri temel bir veya birkaç mekanizma ile oluşur. Aynı ART mekanizması çeşitli duyusal ve bilişsel devrelerde bulunmaktadır. Farkında olmak için çok seviyeli, açık ve sembolik yorum inşa edilmelidir. Niyet, dikkat ve bilinç için yokuş yukarı ve yokuş aşağı yapıların etkileşimi gereklidir.

Kısa süreli bellek dikkat etmezsek ardıl uyarı ile maskelenebilir. Dikkat altsisteminde rezonans durumunda kısa süreli bellek uzun süreli belleğe aktarılır. Temsil açık olmalı Görüntüyü temsil etmek için küçük bir grup nöron kaba bir kod oluşturmalı Nesne/olay temsili, çok çeşitli yönlerinin temsillerini içerecek ve farklı seviyelerde dağılmış düzende bulunacak Bağlaşma problemi Dikkat alt sistemi F(1) F(2) bloğu

Dikkat Ödevden bağımsız, uyaran ile tetiklenen, yokuş yukarı Beynin planlayıcı bölümleri tarafından oluşturulan, yokuş aşağı Dikkat Altsistemi F1 : Yokuş yukarı F2 : Yokuş aşağı

Knight, T. K. & Grabowecky, M., Prefrontal Cortex, Time, and Consciousness. Bilinç içsel ve dış uyaranlar arasında hızlıca geçişe dayanmaktadır; İstenmeyen uyaranlar bastırılamazsa > dağınıklık Yeni uyaranlar farkedilemiyorsa > ısrar Kararlılık <> Esneklik Bilişsel işlemler Simulasyon; gerçek dünyanın içse gösterimlerini oluşturma Gerçekliğin sınanması; içsel gösterimler ile gerçek dünyanın izlenmesi F2 : Gösterimlerin oluşturulması F1 : Gösterimlerin sınanması

Pekiştirmeli Öğrenme Eğitilen Sistem δ Kritik davranış Değer Atama Hatırlatma Pekiştirmeli Öğrenme Eğitilen Sistem davranış Kritik Ödül r δ Değer Atama Ortam

Psikoloji açısından Pekiştirmeli öğrenme Biz kararlarımızı nasıl veriyoruz? Verdiğimiz kararlar daha sonraki davranışlarımızı nasıl etkiliyor? Verdiğimiz kararların sonuçları öğrenmemizi sağlıyor mu? Bir organizmanın yüzleştiği uyaran davranışının doğrudan sonucu Tanım genel olarak yaz sonra psikoloji makine öğrenmesi açısından irdele Öncelikle psikolojide classical conditioning ile instrumental conditioningden bahset ve reinforcement learning icin olmazsa olmazlari belirt. (notlar ve psikoloji kitabı) Sonra makine öğrenmesi nediri bir cumle ile soyle ve cesitli yontemlerin adlarini ver ve dinamik programlama …….

Şartlanma-Pekiştirmeli öğrenme İlişkilendirme (association): O1 T1 O2 T2 O1 T2 Klasik Şartlanma Throndike’nin Yasası: U1 Te1 U1 Te1 U2 Te2 U2 Te2 Etkin Şartlanma δ

Psikolojide pekiştirmeli öğrenme Of several responses made to the same situation, those which are accompanied or closely followed by satisfaction to the animal will, other things being equal, be more firmly connected with the situation, so that, when it recurs, they will be more likely to recur; those which are accompanied or closely followed by discomfort to the animal will, other things being equal, have their connections with that situation weakened, so that, when it recurs, they will be less likely to occur. The greater the satisfaction or discomfort, the greater the strengthening or weakening of the bond. (Thorndike, 1911, p. 244) Bu baslangicta olan Pavlov’la farkı ne. Yapilan secimler ortami etkiliyor. Secimler rastgele yapiliyor ve elde edilen sonuc degerlendiriliyor. Bu hali ile iliski kumak uzere var pekistirmeli ogrenme ama psikolojide bu Skinner tarafından gelistirilmis For Pavlov, what was strengthened is the association between two stimuli (S-S learning). For Thorndike, what was strengthened was the association between a stimulus and a response (S-R learning). For Skinner there is no relationship to be strengthened; there is no stimulus to participate in an association. There is only the operant, tied only probabilistically, not causally, to any antecedent event with which it might be associated.

Psikolojide pekiştirmeli öğrenme Throndike (1898): uyaran-yanıt ilişkilendirmesi (stimulus-response association) Skinner (1938): davranışsal düzenleme (behavioral regulation) in particular behavioral regulation approach is concerned with how an instrumental conditioning procedure set limits on the organism2s free flow of activities and the behavioral consequences of such constraints. It considers “goals” and and how organisms take advantage of the complexities of their environment and their multiple behavioral options in achieving their goals.

Nörobilim açısından Pekiştirmeli öğrenme Beyindeki hangi bölgeler yer alıyor? Bu bölgelerin birbirleriyle bağlantıları neler? Bağlantıları etkileyen mekanizmalar neler?

http://thebrain.mcgill.ca/ Haber, N.S. et.al. The journal of neuroscience, 2000.

Makina öğrenmesinde pekiştirmeli öğrenme (Machine learning) Ortamdaki belirsizliğe rağmen bir amaca erişmek için aktif karar veren bir aracının ortamla ilişkisi inceleniyor. Aracı davranışlarını seçerken yararlanma-arama ikilemi ile yüzleşir. (exploit-explore) Pekiştirmeli öğrenme sistemi: π yaklaşım (policy) r ödül fonksiyonu (reward function) Qπ , Vπ değer fonksiyonu (value function) s ortam modeli goal-directed ile ilişkisini vurgulamayı unutma...Dogru karar vermenin gecmistekilere dayanarak secilen davranislarin gecikmis sonuclarınıda gozonune alarak ileriyi gormesi, planlama yapmasi bekleniyor.davranısların etkileri tam olarak ongorulemediginden aracı surekli ortamı gozlemlemeli ve uygun sekilde tepki vermeli. policy is a mapping from percieved states of the environment to actions to be taken when in those states. It corresponds to what in psychology to be called a set of stimulus-response rules or associations.reward ile value arasındaki farka dikkat cek...Modelin olmasinin tamamen dene yanildan ote planlama yapilmasini mumkun kildigindan bahset. Vπ(s) the value of the state s under policy π, Qπ(s,a) value of taking action a in state s under apolicy π