İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Öğrenme nasıl gerçekleşiyor? Ağırlıklar hatayı en azlıyacak şekilde güncelleniyor Öğrenme.

... konulu sunumlar: "İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Öğrenme nasıl gerçekleşiyor? Ağırlıklar hatayı en azlıyacak şekilde güncelleniyor Öğrenme."— Sunum transkripti:

1 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Öğrenme nasıl gerçekleşiyor? Ağırlıklar hatayı en azlıyacak şekilde güncelleniyor Öğrenme metodu eğiticili öğrenme, öğrenme kuralı geriye yayılım algoritması Hatırlatma

2 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Parallel Dağılmış İşlemci (Parallel Distributed Processing) J.L. Mc Clelland, D.E. Rumelhart psikolog psikolog, matematikçi harf ve kelime algısına yönelik çok katmanlı yapı önerdiler, 1981 Parallel distributed processing: Explorations in the microstructure of cognition Rumelhart, D. E., McClelland, J. L. (1986) MIT Press: Cambrige, Mass Çok katmanlı yapılar, öğrenme kuralları, bilişsel psikoloji ve bilime ilişkin uygulamaları içeriyor.

3 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Parallel Dağılmış İşlemci (Parallel Distributed Processing) Geriye yayılım Learning representations by back-propagating errors David E. Rumelhart *, Geoffrey E. Hinton † & Ronald J. Williams * Nature, 1986. We describe a new learning procedure, back-propagation, for networks of neurone-like units. The procedure repeatedly adjusts the weights of the connections in the network so as to minimize a measure of the difference between the actual output vector of the net and the desired output vector. As a result of the weight adjustments, internal 'hidden' units which are not part of the input or output come to represent important features of the task domain, and the regularities in the task are captured by the interactions of these units. The ability to create useful new features distinguishes back-propagation from earlier, simpler methods such as the perceptron-convergence procedure 1.

4 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ T ve L harfini ayırt eden bir ağa veriler nasıl sunulur Bu harfleri ağa nasıl sunacağız?25X1 boyutlu vektörler ile

5 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Bu verilerin yanı sıra bozuk veriler de verelim....

6 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Bir de test kümesi oluşturalım... Test kümesinde sağlam veriler ve eğitim kümesindekilerden farklı bozuk veriler olsun

7 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Başka Seçenekler yok mu? Neyi seçiyoruz? Kullanılan hücre modeli daha gerçekçi olabilir..... Bir sinir hücresi modeli: Hodgkin-Huxley Modeli

8 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Nasıl indirgenecek? InIn y1y1 y2y2 ymym y m-1 w1w1 w2w2 w m-1 wmwm - xnxn ynyn

9 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Bu hücrelerden oluşan ağ yapısı nasıl? http://www.willamette.edu/~gorr/classes/cs449/rnn1.html İleri yolGeri besleme

10 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Bu hücrelerden oluşan bir ağ Hopfield Ağı http://en.wikipedia.org/wiki/Hopfield_network

11 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Hopfield Ağı Kararlı denge noktalarında sonlanan dinamik bir yapı Her bir denge noktası bellekte saklanan bir örüntüye karşı düşürülebilir çağrışımlı bellek Bellekte saklanan örüntülere ait bilgi hücreler arasındaki ağırlıklarda saklı Öğrenme Hebb kuralı ile ancak ağırlıklar ardışıl güncelleme ile belirlenmiyor

12 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Çağrışımlı bellek.... http://www.scholarpedia.org/article/Hopfield_network

13 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Bu hücrelerden oluşan bir başka ağ Elman Ağı Çıkış katmanı İçerik katmanı giriş Gizli katman

14 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ …..….. Gizli Katman x(k) İçerik Katmanı x c (k) Çıkış Katmanı y(k) Giriş Katmanı u(k)

15 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Bu ağ yapılarının genel adı: Yinelemeli ağlar (Recurrent Networks) Dinamik yapılar Çıkışlarda geçmişe ait verilerin de katkısı var Kaotik davranış da dahil çok farklı davranışları modellemek mümkün

16 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Elman Ağı ile zamanda yapı tanıma: kelime tanıma SessizSesliKesikliYüksekDönüşlüAkortlu b[101001] d[101101] g[101011] a[010011] i[010101] u[010111] Harf dizisine ilişkin gösterim: 6 özellik ile elde ediliyor Mahmut Meral Bitirme Ödevi, 2003 Elman ağı belirli bir kurala göre oluşturulmuş sembol dizisinin altında yatan kuralı öğrenebiliyor. Bu semboller dili oluşturan sesler olarak düşünülebilir.

17 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ U(n+1)............ 0 1 0 1 0 0 1 0 1 0 1 1 0 1 0 1 0 0 0 1 1 1 0 0 1 1 1 1 1 1 U(n) önce üç sessiz harften biri rasgele olarak seçilip sesli harfler aşağıdaki kurala göre araya eklenmiştir. b -> ba d -> dii g -> guuu Örneğin rasgele seçilen sessiz harf dizisi dbgbddg… ise oluşan harf dizisi: diibaguuubadiidiiguuu… şeklindedir

18 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ

19 Elman Ağı ile kelime dizisi tanıma Elman ağı, ses sembollerinden (harflerden) oluşan kelimeler kullanılarak bir harf dizisinin içinden anlamlı harf dizilerini de (kelimeleri) ayırabilir Uygulamada on üç farklı harften oluşan altı farklı kelime kullanılmaktadır. Harfler beş bitlik vektörler olarak kodlanmıştır. Kelimelerin uzunluğu üç ile yedi harf arasında değişmektedir. Altı kelimeden rasgele 450 kelime uzunluklu bir dizi oluşturdu. Daha sonra kelime dizisi 2106 harf uzunluğunda bir harf dizisine çevrilerek beş bitlik vektörler şeklinde kodlandı

20 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ GirişÇıkış e00101l01000 l m01100 m a00001 a n01101 n a00001 a ğ00101 ğ ı00110 ı i00111 i l01000 l e00100 e z10010 z a00001 a m01100 m a00001 a n01101 n d00010 d a00001 a y10001 y a00001 a p01110 p ı00111 ı t01111 t a00001 a n01101 n ı00110 ı m01100 m a00001 a

21 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ

22 Kelimeler arası sınırlarda iki ve üzerinde hatalı bit oluşmaktadır. Bir nokta hariç ara noktalarda ise hatalı bit yoktur.. Sadece “zamanda” kelimesindeki “d” harfinin tahmininde bir hatalı bit oluşmaktadır. Bu durumun sebebi “elman” ve “zamanda” kelimelerinin her ikisinde de “man” dizisinin bulunmasıdır. ”zamanda” kelimesindeki “man” dizisinden sonra “d” gelmesi beklenirken, “elman” kelimesindeki “man” dizisinden sonra altı kelime içinden herhangi birinin ilk harfi (e,a,i,z,y,t) gelebilmektedir. Bu durum eğitimi olumsuz yönde etkileyerek hatanın yeterince azalmasını önlemektedir