İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Hesaplamalı Sinirbilim Modeller farklı zamansal ve konumsal ölçeklerde süreçleri ele.

... konulu sunumlar: "İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Hesaplamalı Sinirbilim Modeller farklı zamansal ve konumsal ölçeklerde süreçleri ele."— Sunum transkripti:

1 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Hesaplamalı Sinirbilim Modeller farklı zamansal ve konumsal ölçeklerde süreçleri ele alırlar Ne ile ilgilenir? Biyolojik ve fonksiyonel açıdan, gerçek sinir hücresinin, hücre gruplarının, sinir sistemine ilişkin yapıların fizyolojisini ve dinamik davranışını açıklamayı hedefler. Ne ile ilgilenmez? Bilişsel süreçleri modelleme de yararlanılan ve psikolojideki ilkelere dayalı «bağlantıcı» modeller ve makina öğrenmesi, yapay sinir ağları, hesaplamalı öğrenme teorisi gibi öğrenmeye ilişkin disiplinlerin yaklaşımları ve hedefleri ile ilintili değildir. Küçük boyutlu Orta boyutlu Büyük boyutlu Tek hücre dinamiklerinin ele alındığı modeller. Hücre aktivasyonu incelenmekte. Bir grup hücrenin davranışının ele alındığı modeller. Farklı beyin bölgelerinin etkileşimin ele alındığı modeller.

2 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 2 Küçük boyutlu http://strangepaths.com/wp-content/uploads/2006/10/neuron.jpg E.M. Izhikevich, “Dynamical Systems in Neuroscience”, MIT Press, 2007 http://jn.physiology.org/content/jn/83/5/3084.full.pdf Sinirbilimde Model

3 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 3 Orta boyutlu http://faculty.georgetown.edu/bth/glial%20neuronal%20mixed%20culture.jpg http://learnmem.cshlp.org/content/11/6/697.full.pdf+html N.S.Şengör, Y. Kuyumcu, R.K.Çiftçi SİU 2014

4 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 4 Dersde nelerden bahsedeceğim: Bağlantıcı yapılardan: Perceptron (Genlikte Ayrık Algılayıcı) Çok Katmanlı Algılayıcı (Multilayer Perceptron) Yinelemeli Ağlar (Recurrent Networks) Hopfield Ağı Elman Ağı Özdüzenlemeli Ağ (Kohonen Ağı) Uyarlanabilir Yankılaşım Teorisi (ART) ACT-R (Adaptive Control of Thought-Rational) Modellerin sınanmasına için örnekler Wisconsin kart sıralama testi Stroop ödevi Hesaplamalı Sinirbilimden: Hareket seçimine ilişkin modeller Pekiştirmeli öğrenme Hücre modelleri Bir korteks modeli Çalışma belleğine ilişkin bir model

5 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Yapay Sinir Ağları (Artificial Neural Networks) Bir Yapay Sinir Ağı Tanımı (Alexander, Morton 1990) Yapay sinir ağı, basit işlemci ünitelerinden oluşmuş, çok yoğun, parallel ve dağılmış düzende çalışan bir işlemcidir. Deneysel bilgiyi depolama ve kullanıma sunma özelliğine sahiptir. Beyni iki şekilde andırır: 1) Ağ, bilgiyi ortamdan öğrenme yolu ile elde eder. 2) Gerekli bilgiyi depolama için basit işlemci ünitelerin arasındaki bağlantıları kullanır. Sinir hücresi Sinaptik ağırlıklar

6 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ “Bilgi”’nin Gösterimi “Bilgi” İnsan veya Makina Yorumlama Öngörme Uygun yanıt verme Depolanmış enformasyon veya model Kurallar: (1) Benzer sınıflardan benzer girişler ağda benzer gösterimler oluşturmalı ve böylece aynı kategoriye ait olarak sınıflanmalı, (2) Farklı sınıflara ayrılacak nesnelere, ağda çok farklı gösterimler atanmalı, (3) Belirli bir özellik önemli ise ağda onun gösterimi ile görevlendirilen hücre sayısı daha fazla olmalı,

7 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Öğrenme İşlemi Ağın içinde bulunduğu ortamdan etkilenerek parametrelerini değiştirmesi işlemi öğrenmedir. Öğrenme şekli, parametrelerin nasıl değiştirildiği ile belirlenir. Öğrenme Süreçleri Eğiticili ÖğrenmeEğiticisiz Öğrenme Pekiştirmeli Öğrenme Özdüzenlemeli Öğrenme

8 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ OrtamEğitici Eğitilen Sistem Eğiticili Öğrenme + - Eğitici ortam hakkında bilgiye sahip Eğitilen sistem ortam hakkında bilgiye sahip değil Eğitilen sisteme ilişkin ağırlıklar eğitim kümesinde içerilen bilgi ve hata aracılığı ile değiştiriliyor Eğiticinin ortam hakkında sahip olduğu bilgi, eğitilen sisteme aktarılıyor

9 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ davranış Kritik Ödül r δ Pekiştirmeli Öğrenme Eğitilen Sistem Ortam Değer Atama Öğrenme işleminin her adımında istenilen yanıtı sağlayan bir eğitici yok Eğitilen sistem, sonuçta elde edilecek yanıta erişmek için gerekli davranışı eleştiriyi gözönünde tutarak bulmak bulmak zorunda

10 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Ortam Özdüzenlemeli Öğrenme Eğitilen Sistem Bilgiye sahip ya da eleştiride bulunan bir eğitici yok Eğitilen sistem girişlerin istatiksel dağılımını belirledikten sonra sınıflamayı oluşturuyor.

11 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Perceptron vy x1x1 x2x2 xmxm 1 w1w1 w2w2 wmwm w m+1 e + -

12 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Mc Culloch-Pitts Sinir Hücresi Modeli (1943) 1899-1969 nöro-fizyolog 1923-1969 matematikçi Sinaptik ağırlıklar girişler bias Aktivasyon fonksiyonu

13 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Hebb Öğrenme Kuramı (1949) “When an axon of a cell A is near enough to excite a cell B and repeatedly or persistently takes part in firing it, some growth process or metabolic change takes place in one or both cells such that A’s efficiency as one of the cells firing B is increased. “ (Organization of Behavior) zamana bağlı yerel Öğrenen adaptif sistemler için esin Fizyolog (1904-1985) Öğrenme hızı Çıkış işareti Postsinaptik aktivite giriş işareti Presinaptik aktivite

14 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ x1x1 x2x2 xmxm 1 w1w1 w2w2 wmwm w m+1 ' v y

15 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Bir örnek ile deneyelim....

16 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Peki Perceptron ne öğrenebilir? * * 1 2 3 -333/2 Eğitim kümesi: * T est kümesi: x ydyd

17 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ x1x1 x2x2 xmxm 1 w1w1 w2w2 wmwm w m+1 v y e=y d -y + - ydyd e i i. veriye ilişkin hata giriş

18 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 1. adım İlk ağırlıklar keyfi atanacak İlk veri için ağ çıkışı hesaplanacak * * 1 2 3 -333/2 Hata hesaplanacak Ağırlık güncellenecek

19 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ İkinci veri için ağ çıkışı hesaplanacak * * 1 2 3 -333/2 Hata hesaplanacak Ağırlık güncellenecek

20 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ üçüncü veri için ağ çıkışı hesaplanacak * * 1 2 3 -333/2 Hata hesaplanacak Ağırlık güncellenecek

21 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ dördüncü veri için ağ çıkışı hesaplanacak * * 1 2 3 -333/2 Hata hesaplanacak Ağırlık güncellenecek 1. Adım bitti Eğitim kümesindeki tüm veriler sunuldu

22 İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 2. adım İlk veri için ağ çıkışı hesaplanacak * * 1 2 3 -333/2 İkinci veri için ağ çıkışı hesaplanacak üçüncü veri için ağ çıkışı hesaplanacak dördüncü veri Eğitim tamamlandı