Parallel Dağılmış İşlemci (Parallel Distributed Processing)

... konulu sunumlar: "Parallel Dağılmış İşlemci (Parallel Distributed Processing)"— Sunum transkripti:

1 Parallel Dağılmış İşlemci (Parallel Distributed Processing)
psikolog psikolog, matematikçi J.L. Mc Clelland, D.E. Rumelhart harf ve kelime algısına yönelik çok katmanlı yapı önerdiler, 1981 Parallel distributed processing: Explorations in the microstructure of cognition Rumelhart, D. E., McClelland, J. L. (1986) MIT Press: Cambrige, Mass Çok katmanlı yapılar, öğrenme kuralları, bilişsel psikoloji ve bilime ilişkin uygulamaları içeriyor.

2 Parallel Dağılmış İşlemci (Parallel Distributed Processing) Geriye yayılım
Learning representations by back-propagating errors David E. Rumelhart*, Geoffrey E. Hinton† & Ronald J. Williams* Nature, 1986. We describe a new learning procedure, back-propagation, for networks of neurone-like units. The procedure repeatedly adjusts the weights of the connections in the network so as to minimize a measure of the difference between the actual output vector of the net and the desired output vector. As a result of the weight adjustments, internal 'hidden' units which are not part of the input or output come to represent important features of the task domain, and the regularities in the task are captured by the interactions of these units. The ability to create useful new features distinguishes back-propagation from earlier, simpler methods such as the perceptron-convergence procedure1.

3 Başka Seçenekler yok mu?
Neyi seçiyoruz? Kullanılan hücre modeli daha gerçekçi olabilir..... Bir sinir hücresi modeli: Hodgkin-Huxley Modeli

4 Nasıl indirgenecek? y1 y2 ym ym-1 w1 w2 wm-1 wm - xn yn In

5 Bu hücrelerden oluşan ağ yapısı nasıl?
İleri yol Geri besleme

6 Bu ağ yapılarının genel adı: Yinelemeli ağlar (Recurrent Networks)
Çıkışlarda geçmişe ait verilerin de katkısı var Dinamik yapılar Kaotik davranış da dahil çok farklı davranışları modellemek mümkün

7 Bu hücrelerden oluşan bir başka ağ
Çıkış katmanı Gizli katman İçerik katmanı giriş Elman Ağı

8 Gizli Katman x(k) İçerik Katmanı xc(k) Çıkış Katmanı y(k)
…..….. Gizli Katman x(k) İçerik Katmanı xc(k) Çıkış Katmanı y(k) Giriş Katmanı u(k)

9 Elman Ağı ile zamanda yapı tanıma: kelime tanıma
Elman ağı belirli bir kurala göre oluşturulmuş sembol dizisinin altında yatan kuralı öğrenebiliyor. Bu da bir başka Kodlama Bu semboller dili oluşturan sesler olarak düşünülebilir. Harf dizisine ilişkin gösterim: 6 özellik ile elde ediliyor Sessiz Sesli Kesikli Yüksek Dönüşlü Akortlu b [1 1 1] d g a [0 i u Mahmut Meral Bitirme Ödevi, 2003

10 önce üç sessiz harften biri rasgele olarak seçilip sesli harfler aşağıdaki kurala göre araya eklenmiştir. b -> ba d -> dii g -> guuu Örneğin rasgele seçilen sessiz harf dizisi dbgbddg… ise oluşan harf dizisi: diibaguuubadiidiiguuu… şeklindedir U(n+1) U(n)

11

12 Elman Ağı ile kelime dizisi tanıma
Elman ağı, ses sembollerinden (harflerden) oluşan kelimeler kullanılarak bir harf dizisinin içinden anlamlı harf dizilerini de (kelimeleri) ayırabilir Uygulamada on üç farklı harften oluşan altı farklı kelime kullanılmaktadır. Harfler beş bitlik vektörler olarak kodlanmıştır. Kelimelerin uzunluğu üç ile yedi harf arasında değişmektedir. Altı kelimeden rasgele 450 kelime uzunluklu bir dizi oluşturdu. Daha sonra kelime dizisi 2106 harf uzunluğunda bir harf dizisine çevrilerek beş bitlik vektörler şeklinde kodlandı

13 Giriş Çıkış e 00101 l 01000 m 01100 a 00001 n 01101 ğ ı 00110 i 00111 00100 z 10010 d 00010 y 10001 p 01110 t 01111

14

15 Kelimeler arası sınırlarda iki ve üzerinde hatalı bit oluşmaktadır
Kelimeler arası sınırlarda iki ve üzerinde hatalı bit oluşmaktadır. Bir nokta hariç ara noktalarda ise hatalı bit yoktur. Sadece “zamanda” kelimesindeki “d” harfinin tahmininde bir hatalı bit oluşmaktadır. Bu durumun sebebi “elman” ve “zamanda” kelimelerinin her ikisinde de “man” dizisinin bulunmasıdır. ”zamanda” kelimesindeki “man” dizisinden sonra “d” gelmesi beklenirken, “elman” kelimesindeki “man” dizisinden sonra altı kelime içinden herhangi birinin ilk harfi (e,a,i,z,y,t) gelebilmektedir. Bu durum eğitimi olumsuz yönde etkileyerek hatanın yeterince azalmasını önlemektedir

16 Uyarlanabilir Yankılaşım Teorisi
(Adaptive Resonance Theory- Grossberg )

17 A crucial metatheoretical constraint is to insist upon understanding the behavioral data –which comes to us as static numbers or curves on a page – as the emergent properties of a dynamical process which is taking place moment-by-moment in an individual mind. One also needs to respect the fact that our minds can adapt on their own to changing environmental conditions without being told that these conditions have changed. One thus needs to frontally attack the problem of how an intelligent being can autonomously adapt to a changing world. Knowing how to do this, as with many other theoretical endeavors in science, is presently an art form. There are no known algorithms with which to point the way. Whenever we have attempted this task in the past, we have resisted every temptation to use homunculi, or else the crucial constraint on autonomous adaptation would be violated. The result has regularly been the discovery of new organizational principles and mechanisms, which we have then realized as a minimal model operating according to only locally defined laws that are capable of operating on their own in real time. The remarkable fact is that, when such a behaviorally-derived model has been written down, it has always been interpretable as a neural network. These neural networks have always included known brain mechanisms. The functional interpretation of these mechanisms has, however, often been novel because of the light thrown upon them by the behavioral analysis. The networks have also typically predicted the existence of unknown neural mechanisms, and many of these predictions have been supported by subsequent neurophysiological, anatomical, and even biochemical experiments over the years. Stephen Grossberg

18 Grossberg ‘e göre: Algılama ve Bilişe İlişkin Temel Problem: İnsanlar içinde bulundukları ortamın değişmez özelliklerini nasıl keşfediyor, öğreniyor ve tanıyor ? Yaşam boyunca sürekli öğrenmeyi nasıl başarıyoruz ?

19 Yöntem Psikolojik postülalar Daha ayrıntılı postülalar
bulunur Bu postülaları gerçekleyen minimum ağ yapısı bulunur Gerçeklenen ağın psikolojik ve nöral yetenekleri test edilir Yapılamayanların bulunması, gereken yeni psikolojik temeli gösterecektir

20 Adaptif Rezonans Teorisi (ART)
Klasik şartlanma çalışmalarına dayanır Sağlam matematiksel altyapı Gerçek zamanda gerçek dünya verileri ile çalışma yeteneği Temel düşünce birçok olayı açıklamak için genişletilerek yeni yapılar önerilmiştir

21 ART nasıl çalışıyor? Giriş Dikkat Altsistemi Yönlendirme Altsistemi F2
Kısa Süreli Bellek Uzun Süreli Bellek Kontrol Birimi Kontrol Birimi F1 Kısa Süreli Bellek Giriş Mete Balcı, Nevroz Aslan, Bitirme Ödevi, 2003

22 Tüm bunlar nasıl yapılıyor?
Mete Balcı, Nevroz Aslan, Bitirme Ödevi, 2003 I

23 Bir örnek

24

25 ART nedir ?

26

27 Bilişsel Bilim Neokorteks Hippokampüs LGN (Lateral Geniculate Nucleus) Görsel Korteks Mühendislik Örüntü Sınıflandırma

28 ACT-R Adaptive Control of Thought-Rational
Yapay Sinir Ağı Yapıları Psikoloji’de Hesaplamalı Modeller için nasıl kullanılmakta? ACT-R Adaptive Control of Thought-Rational psikoloji, bilgisayar bilimi John Robert Anderson, Çağrışımsal bellek Human associative memory Procedural memory Declarative memory İşlevsel (süreçsel) bellek ile ifade edilebilir bellek birarada Ussal Çözümleme -matematiksel yaklaşım ve bağlantıcı modeller The procedural memory was added to the original chunk-like declarative memory system, introducing a computational dichotomy that was later proved to hold in human brain by neuropsychologist Larry Squire to exploring and outlining a mathematical approach to cognition that he named Rational Analysis. The basic assumption of Rational Analysis is that cognition is optimally adaptive, and precise estimates of cognitive functions mirror statistical properties of the environment. he successfully demonstrated that many features of memory, including retention functions and contextual effects, may be reproduced by applying Bayesian estimates to environmental statistics. Anderson become more and more interested in the underlying neural plausibility of his life-time theory, and began to use brain imaging techniques pursuing his own goal of understanding the computational underpinnings of human mind. Rational analysis Biliş uyarlanabilirdir ve bilişsel işlevlerin yaklaşıklığı ortamın istatiksel özelliklerini yansıtır Nöral yapılara dayanan bağlantılara önem veriliyor

29 Bütünleştirilmiş Sistem
Newell, A. (1990). Unified Theories of Cognition. Cambridge, MA: Harvard University Press, pp A single system (mind) produces all aspects of behavior. It is one mind that minds them all. Even if the mind has parts , modules and components, or whatever, they all mesh together to produce behavior. Any bit of behavior has causal tendrils that extend back through large parts of the total cognitive system before grounding in the environmental situation of some earlier times. If a theory covers only one part or component, it flirts with trouble from the start. It goes without saying that there are dissociations, independencies, inpenetrabilities, and modularities. These all help to break the web of each bit of behavior being shaped by an unlimited set of antecedents. So they are important to understand and help to make that theory simple enough to use. But they do not remove the necessity of a theory that provides the total picture and explains the role of the parts and why they exist. Tendril: a threadlike, leafless organ of climbing plants, often growing in spiral form, which attaches itself to or twines round some other body, so as to support the plant.

30 Anderson & Lebiere: The Newell Test for a theory of cognition BEHAVIORAL AND BRAIN SCIENCES (2003) 26:5

31 Dış Dünya Üretim Bazal çekirdekler Kural tabanlı yapı Niyet Birimi
Bildirim Birimi (temporal/hippocampus) Amaç Tamponu DLPFC Geri Çağırma tamponu VLPFC Örüntü tanıma Birimlerdeki oluşumlara duyarlı değil sadece tamponlardaki bilgiye duyarlı Çelişki çözümleme Eşleme Striatum Üretim Bazal çekirdekler Seçme Pallidum Eylem Thalamus Eylemi kontrol etme/gerçekleme Görsel tampon Parietel Manuel tampon motor Kural tabanlı yapı İşlevsel bellek A production rule in ACT-R corresponds to a specification of a cycle from the cortex, to the basal ganglia and back again Görsel Birim (Occipital) Manuel Birim (motor/cerebellum) Dış Dünya