(Self-Organizing Map- Kohonen )

Slides:



Advertisements
Benzer bir sunumlar
NOUN CLAUSES (İSİM CÜMLECİKLERİ).
Advertisements

Kampanyanızı optimize edin. Görüntülü Reklam Kampanyası Optimize Edici'yi Kullanma Display Ads Campaign Optimizer. Let Google technology manage your diplay.
Giriş Dikkat Altsistemi Yönlendirme Altsistemi Kısa Süreli Bellek Uzun Süreli Bellek Kontrol Birimi Kontrol Birimi F1 F2 ART nasıl çalışıyor? Mete Balcı,
BM-305 Mikrodenetleyiciler Güz 2015 (6. Sunu) (Yrd. Doç. Dr. Deniz Dal)
21/02/2016 A Place In My Heart Nana Mouskouri « Istanbul « (A Different Adaptation)
Geçen hafta anlatılanlar Değişmez küme Değişmez kümelerin kararlılığı Bildiğimiz diğer kararlılık tanımları ve değişmez kümenin kararlılığı ile ilgileri.
Davranış durum Eğitilen sistem Değer Atama Ortam Kritik Ödül r δ Eğiticisiz Öğrenme Pekiştirmeli Öğrenme (reinforcement learning) Öğrenme işleminin her.
Devre ve Sistem Analizi Neslihan Serap Şengör Elektronik ve Haberleşme Bölümü, oda no:1107 tel no:
BİYOMEDİKAL MÜHENDİSLİĞİNDE İLERİ KONULAR Neslihan Serap Şengör Oda no: 1107 Tel:
Devre ve Sistem Analizi
Devre ve Sistem Analizi Neslihan Serap Şengör Devreler ve Sistemler A.B.D. oda no:1107 tel no:
(Competitive Learning)
A1 sistemi A2 sistemi Hangisi daha hızlı sıfıra yaklaşıyor ? Hatırlatma.
Dinamik Yapay Sinir Ağı Modelleri Yinelemeli Ağlar (recurrent networks) İleri yolGeri besleme.
Bu durumda lineer sistemin çözümleri neler olabilir? Tüm bu durum portrelerinde ortak bir şey var, ne? S. Haykin, “Neural Networks- A Comprehensive Foundation”2.
(Competitive Learning)
Uyarlanabilir Yankılaşım Teorisi (Adaptive Resonance Theory- Grossberg ) A crucial metatheoretical.
Dinamik Yapay Sinir Ağı Modelleri Yinelemeli Ağlar (recurrent networks) İleri yolGeri besleme.
İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Hesaplamalı Sinirbilim Modeller farklı zamansal ve konumsal ölçeklerde süreçleri ele.
Ortam Özdüzenlemeli Öğrenme Eğitilen Sistem Hatırlatma.
Doğrusal Olmayan Devreler, Sistemler ve Kaos Neslihan Serap Şengör oda no:1107 tel no: Özkan Karabacak oda no:2307 tel.
Doğrusal Olmayan Devreler, Sistemler ve Kaos
Çok Katmanlı Algılayıcı-ÇKA (Multi-Layer Perceptron)
Düğüm-Eyer dallanması için ele alınan ön-örneğe yüksek mertebeden terimler eklense davranışı yapısal olarak değişir mi? Bu soru neden önemli Lemma sistemi.
Doğrusal Olmayan Devreler, Sistemler ve Kaos Neslihan Serap Şengör oda no:1107 tel no: Müştak Erhan Yalçın oda no:2304.
F(.) y[n+1] Giriş Vektörü Giriş-Çıkış Eşleme Fonksiyonu Çıkış Mahmut Meral, Lisans Bitirme Ödevi, 2003 Giriş – Çıkış Modeline göre Dinamik Sistem Tanıma.
Ayrık Zaman Hopfield Ağı ile Çağrışımlı Bellek Tasarımı Kullanılan Hücre Modeli: McCulloch-Pitts Eksik birşey var!! Örüntüler: 1. Aşama: Belleğin Oluşturulması.
İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Bu hücrelerden oluşan bir başka ağ Elman Ağı Çıkış katmanı İçerik katmanı giriş Gizli.
Searching Thy Lover, To Be One Looking at the sky.. Behind every cloud and over the wings of the birds.. I always dreamt of you. You were looking for.
Doğrusal Olmayan Devreler, Sistemler ve Kaos
Practice your writing skills
İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Öğrenme nasıl gerçekleşiyor? Ağırlıklar hatayı en azlıyacak şekilde güncelleniyor Öğrenme.
Geriye Yayılım Algoritması
Uyarlanabilir Yankılaşım Teorisi
First Conditional Sentences. LOOK AT THE EXAMPLES If the weather is fine, we’ll play tenis If I have enough money, I’ll buy the car If it rains, we’ll.
CHILD PORNOGRAPHY IŞIK ÜNİVERSİTESİ
Doğrusal Olmayan Devreler, Sistemler ve Kaos
Devre ve Sistem Analizi
Doğrusal Olmayan Devreler, Sistemler ve Kaos
Uyarlanabilir Yankılaşım Teorisi
Dinamik Sistem Dinamik sistem: (T, X, φt ) φt : X X a1) φ0=I
Doğrusal Olmayan Devreler, Sistemler ve Kaos
h homeomorfizm h homeomorfizm h 1-e-1 ve üstüne h sürekli h
Poincare Dönüşümü
Özdeğerler, Sıfırlar ve Kutuplar
Dinamik Yapay Sinir Ağı Modelleri
Dinamik Sistem T=R sürekli zaman Dinamik sistem: (T, X, φt ) T zaman
İlk olarak geçen hafta farklı a değerleri için incelediğiniz lineer sisteme bakalım: MATLAB ile elde ettiğiniz sonuçları analitik ifade ile elde edilen.
ART nasıl çalışıyor? Giriş Dikkat Altsistemi Yönlendirme Altsistemi F2
Sinir Hücresi McCulloch-Pitts x1 w1 x2 w2 v y wm xm wm+1 1 '
Hopfield Ağı Ayrık zaman Sürekli zaman
Banach Sabit Nokta Teoremi (Büzülme Teoremi)
Ac POWER ANALYSIS Part III..
Eğiticisiz Öğrenme Amaç: Veri kümesinin belirli özelliklerini, özniteliklerini sadece veri kümesinden yararlanarak belirlemek Vektör Kuantalama Veri Tanımlama.
Would you like a different color?
S. Haykin, “Neural Networks- A Comprehensive Foundation”,
Bazı Doğrusal Olmayan Sistemler
NİŞANTAŞI ÜNİVERSİTESİ
MAKİNA TEORİSİ II GİRİŞ Prof.Dr. Fatih M. Botsalı.
Turkish cuisine is very popular around the world. It has a very wide options for everyone. The variety of the recipes and the ingredients which are grown.
“Differentiation for making a positive Difference!!!!”
Multipoint programlama
Before the Battle of Çanakkale. Why a Front in Çanakkale was Opened? In the summer of 1914, the war continued in Europe with all its intensity, and by.
Feminism, unlike the idea of ​​ mankind, is a trend that is prioritized to bring gender inequality to the agenda. The notion of feminism, which is not.
Imagine that you are a teacher and you are taking your 20 students to England for the summer school.
THE MYSTERIOUS ISLAND JULES VERNE. INFORMATION ABOUT THE BOOK  Name of the book: The Mysterious Island  Author: Jules Verne  Type: Adventure  Number.
PREPARED BY: 9-B STUDENTS. Sumerians, who laid the foundations of great civilizations and the world cultural heritage, emerged to the st The Sumerians.
According to string theory, every substance in the universe consists of one thing. These strings, which vibrate in different channels, create everything.
People with an entrepreneurial mindset are always brave.
Examples: In the Figure, the three points and coordinates are given that is obtained with CAD program. If these three points are represented by the curve.
Sunum transkripti:

(Self-Organizing Map- Kohonen ) Özdüzenlemeli Ağ (Self-Organizing Map- Kohonen ) Amaç: n boyutlu bir işareti bir veya iki boyutlu ayrık bir dönüşüme çevirmek Verilenler: n boyutlu p tane vektör nöronların konumları önemli Ağ Yapısı: Öğrenme Kuralı: 1. Yarışma: Her örüntü için ağdaki nöronlar aralarında yarışıyorlar 2. İşbirliği: Kazanan nöron komşu nöronlarla işbirliği yapıyor. http://www.sis.pitt.edu/~ssyn/som/kohonen1.gif

i. nöron ile j. nöron arasındaki mesafe 1. Yarışma: Toplam nöron sayısı ‘e en uygunu bulmak için ‘lere bak en büyüğünü seç En büyüğü bulmak neye denk? Nöronun konumunu belirlemek için önemli ‘e en uygunu nöronun indisini belirle 2. İşbirliği: Kazanan nöron işbirliği yapacağı nöronları komşularından belirleyecek i. nöron ile j. nöron arasındaki mesafe i. nöronun komşuluğu S. Haykin, “Neural Networks- A Comprehensive Foundation”, 2nd Edition, Prentice Hall, 1999, New Jersey.

Ağırlıkları Güncelleme: nasıl hesaplanacak? 2- boyutlu düzlemde kazanan nöronun konumu Komşu nöronun konumu Ağırlıkları Güncelleme: ‘nin değeri örüntüsü ile değiştirilecek Hebb öğrenme kuralı: eğiticisiz öğrenme için uygun hep artan veya azalan etkisi var Unutma terimi:

eğitim iki aşamalı özdüzenleme aşaması yakınsama aşaması

Uyarlanabilir Yankılaşım Teorisi (Adaptive Resonance Theory- Grossberg ) http://www.cns.bu.edu/Profiles/Grossberg/GrossbergInterests.pdf A crucial metatheoretical constraint is to insist upon understanding the behavioral data –which comes to us as static numbers or curves on a page – as the emergent properties of a dynamical process which is taking place moment-by-moment in an individual mind. One also needs to respect the fact that our minds can adapt on their own to changing environmental conditions without being told that these conditions have changed. One thus needs to frontally attack the problem of how an intelligent being can autonomously adapt to a changing world. Knowing how to do this, as with many other theoretical endeavors in science, is presently an art form. There are no known algorithms with which to point the way. Whenever we have attempted this task in the past, we have resisted every temptation to use homunculi, or else the crucial constraint on autonomous adaptation would be violated. The result has regularly been the discovery of new organizational principles and mechanisms, which we have then realized as a minimal model operating according to only locally defined laws that are capable of operating on their own in real time. The remarkable fact is that, when such a behaviorally-derived model has been written down, it has always been interpretable as a neural network. These neural networks have always included known brain mechanisms. The functional interpretation of these mechanisms has, however, often been novel because of the light thrown upon them by the behavioral analysis. The networks have also typically predicted the existence of unknown neural mechanisms, and many of these predictions have been supported by subsequent neurophysiological, anatomical, and even biochemical experiments over the years. Stephen Grossberg

Grossberg ‘e göre: Algılama ve Bilişe İlişkin Temel Problem: İnsanlar içinde bulundukları ortamın değişmez özelliklerini nasıl keşfediyor, öğreniyor ve tanıyor ? Yaşam boyunca sürekli öğrenmeyi nasıl başarıyoruz ?

Yöntem Psikolojik postülalar Daha ayrıntılı postülalar bulunur Bu postülaları gerçekleyen minimum ağ yapısı bulunur Gerçeklenen ağın psikolojik ve nöral yetenekleri test edilir Yapılamayanların bulunması, gereken yeni psikolojik temeli gösterecektir

Adaptif Rezonans Teorisi (ART) Klasik şartlanma çalışmalarına dayanır Sağlam matematiksel altyapı Gerçek zamanda gerçek dünya verileri ile çalışma yeteneği Temel düşünce birçok olayı açıklamak için genişletilerek yeni yapılar önerilmiştir

ART nasıl çalışıyor? Giriş Dikkat Altsistemi Yönlendirme Altsistemi F2 Kısa Süreli Bellek Uzun Süreli Bellek Kontrol Birimi Kontrol Birimi F1 Kısa Süreli Bellek Giriş Mete Balcı, 2005-2007 Nevroz Aslan, Bitirme Ödevi, 2003

Bir örnek Mete Balcı, 2005-2007 Nevroz Aslan, Bitirme Ödevi, 2003

Mete Balcı, 2005-2007 Nevroz Aslan, Bitirme Ödevi, 2003

Mete Balcı, 2005-2007 Nevroz Aslan, Bitirme Ödevi, 2003

Mete Balcı, 2005-2007 Nevroz Aslan, Bitirme Ödevi, 2003

Tüm bunlar nasıl yapılıyor? Mete Balcı, 2005-2007 Nevroz Aslan, Bitirme Ödevi, 2003 I

ART -1 Amaç: Verilen örüntüleri önceden belirlenmiş benzerlik kıstasına göre öbekleme, gerekirse yeni öbekler oluşturma Verilenler: n boyutlu p tane vektör benzerlik kıstası “uyanıklık” katsayısı Ağ Yapısı: yukarıdan aşağı bağlantılar aşağıdan yukarı bağlantılar ilk ağırlıklar http://en.wikipedia.org/wiki/File:ART.png

F1 katmanındaki gösterim ile veri ‘nin benzerliğinin ölçüsüne Öğrenme Kuralı: için kazananı belirle F1 katmanındaki gösterim ile veri ‘nin benzerliğinin ölçüsüne “uyanıklık” değerine göre karar veriliyor. ise kazanan aşağıdan yukarıya ağırlık güncelleniyor Kazananı belirlemek için hangi ağırlık kullanılıyor? Hangi ağırlık güncelleniyor? Ağırlıkların Güncellenmesi: Kazanan uyanıklık koşulunu sağlamıyorsa ne olacak? F2 katmanına yeni örüntü yerleştirilecek İlgili aşağıdan yukarı ağırlıklar, ilk ağırlık güncellenmesinde gibi belirlenecek, yukarıdan aşağı ağırlıklar yeni örüntünün değerleri olarak alınacak

Örnek :

Dinamik Yapay Sinir Ağı Modelleri Yinelemeli Ağlar (recurrent networks) İleri yol Geri besleme http://www.willamette.edu/~gorr/classes/cs449/rnn1.html

Dinamik Sistem Önce lineer dinamik sistemler hakkında bildiklerimizi hatırlayalım... durum değişkeni ilk koşul çıkış değişkeni giriş değişkeni Bu değişkenlere ilişkin başka neyi belirtmemiz gerek........ Bu sistemin çözűmű.....

Çözümü bir daha yazarsak özvektörler Bir özel hal: Otonom sistem Çözümü bir daha yazarsak özvektörler özdeğerler Çözüm, özvektörler ve özdeğerler ile nasıl değişir .............................................................................................................

Özvektörleri aynı özdeğerleri farklı iki sistem

Hangisi daha hızlı sıfıra yaklaşıyor ? A1 sistemi A2 sistemi

Özdeğerleri aynı özvektörleri farklı iki sistem

B1 sistemi B2 sistemi

Bu durumda lineer sistemin çözümleri neler olabilir? S. Haykin, “Neural Networks- A Comprehensive Foundation”2nd Edition, Prentice Hall, 1999, New Jersey. Tüm bu durum portrelerinde ortak bir şey var, ne?

Dinamik sistemin özel bir çözümü: Denge noktası Kaç tane denge noktası olabilir? Sistemin davranışını incelemenin bir yolu kararlılığını incelemektir. Tanım: Lyapunov anlamında kararlılık sistemine ilişkin bir denge noktası olsun. Verilen herhangi bir için eşitsizliği eşitsizliğini gerektirecek şekilde bir bulunabiliyorsa denge noktası Lyapunov anlamında kararlıdır. Lineer sistemlerde denge noktasının Lyapunov anlamında kararlılığını incelemek için ne yapılınılıyor? Denge noktasının kararlılığı neye denk, neden?

Lineer sistem modeli neden yetersiz? “Virtually, all physical systems are nonlinear in nature.” M. Vidyasagar sonlu kaçış zamanı çoklu yalıtılmış denge noktası limit çevrim altharmonik, harmonik ve neredeyse periyodik çözümler kaos çoklu davranış Neden hep lineer sistemler ele alınıyor? “. . . not to produce the most comprehensive descriptive model but to produce the simplest possible model that incorporates the major features of the phenomenon of interest.” Howard Emmons

Lyapunov anlamında kararlılığı incelemenin bir yöntemi nedir? (Dolaysız) 1. Yöntem (Dolaylı) Lyapunov’un 2. yöntemi Tanım: Lyapunov Fonksiyonu Lyapunov Fonksiyonudur Teorem: Lyapunov Fonksiyonu olmak üzere, denge noktasının kararlı olması için yeter koşul için olmasıdır. 2. dereceden lineer olmayan bir dinamik sistemin kalıcı hal çözümleri için ne diyebiliriz? Kararlı denge noktaları Poincare- Bendixson Teoremi: Limit çevrim

Lineer olmayan sistemlerde başka nasıl çözümler var? Neden Sonuç Kütle çekim yasası Astronomik olaylar Atmosferin hareketleri Hava durumu tahmini Isaac Newton [1643-1727] G.W.F. Von Leibniz [1646-1716] Determinizm Öngörü S. Haykin, “Neural Networks- A Comprehensive Foundation”, 2nd Edition, Prentice Hall, 1999, New Jersey.

Laplace’s Demon: “If you can imagine a consciousness great enough to know the exact locations and velocities of all the objects in the universe at the present instant, as well as all forces, then there would be no secrets from this consciousness. It could calculate anything about the past or future from the laws of cause and effect.” Werner Heisenberg [1901-1976] Belirsizlik Kuramı (1927): Herhangi bir cismin konumu ve hızı aynı anda tam olarak belirlenemez. “In the strict formulation of the causality law-’When we know the present precisely, we can calculate the future’- It is not the final clause, but rather the premise, that is false. We cannot know the present in all its determining details.” Yaklaşık olarak birbirine benzer nedenler yaklaşık olarak birbirine benzer sonuçlar doğururlar. Ed Lorenz [1917-2008] Kelebek Kanadı Etkisi (1960):

Dinamik Yapay Sinir Ağı Modelleri Nasıl bir sistem? Sonuç Determinizm Öngörü Dinamik Yapay Sinir Ağı Modelleri Yinelemeli Ağlar (recurrent networks) Hopfield Ağı, Elman Ağı