İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Bu hücrelerden oluşan bir başka ağ Elman Ağı Çıkış katmanı İçerik katmanı giriş Gizli.

... konulu sunumlar: "İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Bu hücrelerden oluşan bir başka ağ Elman Ağı Çıkış katmanı İçerik katmanı giriş Gizli."— Sunum transkripti:

1 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Bu hücrelerden oluşan bir başka ağ Elman Ağı Çıkış katmanı İçerik katmanı giriş Gizli katman

2 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ …..….. Gizli Katman x(k) İçerik Katmanı x c (k) Çıkış Katmanı y(k) Giriş Katmanı u(k)

3 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Elman Ağı ile zamanda yapı tanıma: kelime tanıma SessizSesliKesikliYüksekDönüşlüAkortlu b[101001] d[101101] g[101011] a[010011] i[010101] u[010111] Harf dizisine ilişkin gösterim: 6 özellik ile elde ediliyor Mahmut Meral Bitirme Ödevi, 2003 Elman ağı belirli bir kurala göre oluşturulmuş sembol dizisinin altında yatan kuralı öğrenebiliyor. Bu semboller dili oluşturan sesler olarak düşünülebilir. Bu da bir başka Kodlama

4 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ U(n+1)............ 0 1 0 1 0 0 1 0 1 0 1 1 0 1 0 1 0 0 0 1 1 1 0 0 1 1 1 1 1 1 U(n) önce üç sessiz harften biri rasgele olarak seçilip sesli harfler aşağıdaki kurala göre araya eklenmiştir. b -> ba d -> dii g -> guuu Örneğin rasgele seçilen sessiz harf dizisi dbgbddg… ise oluşan harf dizisi: diibaguuubadiidiiguuu… şeklindedir

5 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ

6 Elman Ağı ile kelime dizisi tanıma Elman ağı, ses sembollerinden (harflerden) oluşan kelimeler kullanılarak bir harf dizisinin içinden anlamlı harf dizilerini de (kelimeleri) ayırabilir Uygulamada on üç farklı harften oluşan altı farklı kelime kullanılmaktadır. Harfler beş bitlik vektörler olarak kodlanmıştır. Kelimelerin uzunluğu üç ile yedi harf arasında değişmektedir. Altı kelimeden rasgele 450 kelime uzunluklu bir dizi oluşturdu. Daha sonra kelime dizisi 2106 harf uzunluğunda bir harf dizisine çevrilerek beş bitlik vektörler şeklinde kodlandı

7 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ GirişÇıkış e00101l01000 l m01100 m a00001 a n01101 n a00001 a ğ00101 ğ ı00110 ı i00111 i l01000 l e00100 e z10010 z a00001 a m01100 m a00001 a n01101 n d00010 d a00001 a y10001 y a00001 a p01110 p ı00111 ı t01111 t a00001 a n01101 n ı00110 ı m01100 m a00001 a

8 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ

9 Kelimeler arası sınırlarda iki ve üzerinde hatalı bit oluşmaktadır. Bir nokta hariç ara noktalarda ise hatalı bit yoktur. Sadece “zamanda” kelimesindeki “d” harfinin tahmininde bir hatalı bit oluşmaktadır. Bu durumun sebebi “elman” ve “zamanda” kelimelerinin her ikisinde de “man” dizisinin bulunmasıdır. ”zamanda” kelimesindeki “man” dizisinden sonra “d” gelmesi beklenirken, “elman” kelimesindeki “man” dizisinden sonra altı kelime içinden herhangi birinin ilk harfi (e,a,i,z,y,t) gelebilmektedir. Bu durum eğitimi olumsuz yönde etkileyerek hatanın yeterince azalmasını önlemektedir

10 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Uyarlanabilir Yankılaşım Teorisi (Adaptive Resonance Theory- Grossberg ) http://cns.bu.edu/~steve/

11 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 11 A crucial metatheoretical constraint is to insist upon understanding the behavioral data – which comes to us as static numbers or curves on a page – as the emergent properties of a dynamical process which is taking place moment-by-moment in an individual mind. One also needs to respect the fact that our minds can adapt on their own to changing environmental conditions without being told that these conditions have changed. One thus needs to frontally attack the problem of how an intelligent being can autonomously adapt to a changing world. Knowing how to do this, as with many other theoretical endeavors in science, is presently an art form. There are no known algorithms with which to point the way. Whenever we have attempted this task in the past, we have resisted every temptation to use homunculi, or else the crucial constraint on autonomous adaptation would be violated. The result has regularly been the discovery of new organizational principles and mechanisms, which we have then realized as a minimal model operating according to only locally defined laws that are capable of operating on their own in real time. The remarkable fact is that, when such a behaviorally-derived model has been written down, it has always been interpretable as a neural network. These neural networks have always included known brain mechanisms. The functional interpretation of these mechanisms has, however, often been novel because of the light thrown upon them by the behavioral analysis. The networks have also typically predicted the existence of unknown neural mechanisms, and many of these predictions have been supported by subsequent neurophysiological, anatomical, and even biochemical experiments over the years. Stephen Grossberg

12 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Grossberg ‘e göre: Algılama ve Bilişe İlişkin Temel Problem: – İnsanlar içinde bulundukları ortamın değişmez özelliklerini nasıl keşfediyor, öğreniyor ve tanıyor ? – Yaşam boyunca sürekli öğrenmeyi nasıl başarıyoruz ?

13 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Yöntem Psikolojik postülalar Bu postülaları gerçekleyen minimum ağ yapısı bulunur Gerçeklenen ağın psikolojik ve nöral yetenekleri test edilir Yapılamayanların bulunması, gereken yeni psikolojik temeli gösterecektir Daha ayrıntılı postülalar bulunur

14 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Adaptif Rezonans Teorisi (ART) –Klasik şartlanma çalışmalarına dayanır –Sağlam matematiksel altyapı –Gerçek zamanda gerçek dünya verileri ile çalışma yeteneği –Temel düşünce birçok olayı açıklamak için genişletilerek yeni yapılar önerilmiştir

15 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Giriş Dikkat Altsistemi Yönlendirme Altsistemi Kısa Süreli Bellek Uzun Süreli Bellek Kontrol Birimi Kontrol Birimi F1 F2 ART nasıl çalışıyor? Mete Balcı, 2005-2007 Nevroz Aslan, Bitirme Ödevi, 2003

16 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Tüm bunlar nasıl yapılıyor? I Mete Balcı, 2005-2007 Nevroz Aslan, Bitirme Ödevi, 2003

17 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Bilişsel Bilim – Neokorteks Hippokampüs – LGN (Lateral Geniculate Nucleus) Görsel Korteks Mühendislik – Örüntü Sınıflandırma

18 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ ART ile önerilen yapılar ne kadar gerçeklenebilir? Koch, K. & Crick, F., Some Thougts on Consciousness and Neuroscience. Bilinç için; Dikkat Kısa Süreli Bellek Dikkat Alt Sistemi Yönlendirme Alt Sistemi Kısa Süreli Bellek Uzun Süreli Bellek

19 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Bilincin tüm farklı yönleri temel bir veya birkaç mekanizma ile oluşur. Aynı ART mekanizması çeşitli duyusal ve bilişsel devrelerde bulunmaktadır. Farkında olmak için çok seviyeli, açık ve sembolik yorum inşa edilmelidir. Niyet, dikkat ve bilinç için yokuş yukarı ve yokuş aşağı yapıların etkileşimi gereklidir.

20 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Kısa süreli bellek dikkat etmezsek ardıl uyarı ile maskelenebilir. Dikkat altsisteminde rezonans durumunda kısa süreli bellek uzun süreli belleğe aktarılır. Temsil açık olmalı – Görüntüyü temsil etmek için küçük bir grup nöron kaba bir kod oluşturmalı – Nesne/olay temsili, çok çeşitli yönlerinin temsillerini içerecek ve farklı seviyelerde dağılmış düzende bulunacak – Bağlaşma problemi Dikkat alt sistemi F (1) F (2) bloğu

21 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Dikkat – Ödevden bağımsız, uyaran ile tetiklenen, yokuş yukarı – Beynin planlayıcı bölümleri tarafından oluşturulan, yokuş aşağı Dikkat Altsistemi – F1 : Yokuş yukarı – F2 : Yokuş aşağı

22 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Knight, T. K. & Grabowecky, M., Prefrontal Cortex, Time, and Consciousness. Bilinç içsel ve dış uyaranlar arasında hızlıca geçişe dayanmaktadır; – İstenmeyen uyaranlar bastırılamazsa > dağınıklık – Yeni uyaranlar farkedilemiyorsa > ısrar –Kararlılık <> Esneklik Bilişsel işlemler Simulasyon; gerçek dünyanın içse gösterimlerini oluşturma Gerçekliğin sınanması; içsel gösterimler ile gerçek dünyanın izlenmesi F2 : Gösterimlerin oluşturulması F1 : Gösterimlerin sınanması