Self Organizing Map-SOM

... konulu sunumlar: "Self Organizing Map-SOM"— Sunum transkripti:

1 Self Organizing Map-SOM

2 Self Organizing Map-SOM
Genellikle yüksek boyutlu girdilerin daha düşük boyutlu çıktılar ile temsil edilmesi maksadıyla kullanılan özel bir çeşididir. Çok boyutlu verilerin görsel olarak ifade edilmesinde çokça işe yararlar. Denetimsiz öğrenme kullanır. Çoğunlukla Clustering (kümeleme) için kullanılır. Öğrenme yöntemi rekabetçi öğrenmeye dayanır.

3 Denetimsiz Öğrenme (Unsupervised Learning)
S uzayından P adet örüntü verilmiş olsun, fakat onların sınıflandırılması, değerlendirilmesi ve ilginç özellikleri hakkında herhangi bir bilgi olmasın, denetimsiz öğrenme yoluyla YSA kendi kendine bu bilgileri öğrenmelidir. Görevler Clustering – Benzerlik tabanlı olarak örüntüler gruplanır Vector Quantization – S uzayı tamamen küçük kümelere bölünür. Probability Density Approximation – Dağılımları birbirine benzeyen örüntülerin küçük kümeleri bulunur. Feature Extraction – Önemsiz özelliklerin silinmesi ile boyut azaltma yerine getirilir.

4 Kümeleme (Clustering)
Kümeleme algoritmaları eğiticisiz öğrenme metotlarıdır. Örneklere ait sınıf bilgisini kullanmazlar. Temelde verileri en iyi temsil edecek vektörleri bulmaya çalışırlar. Verileri temsil eden vektörler bulunduktan sonra artık tüm veriler bu yeni vektörlerle kodlanabilirler ve farklı bilgi sayısı azalır. Bu nedenle birçok sıkıştırma algoritmasının temelinde kümeleme algoritmaları yer almaktadır.

5 Kümeleme (Clustering)
Bir boyutlu (özellikli) 10 örnek içeren bir veri Bu 10 farklı veriyi 3 farklı veriyle temsil etmek istersek: şeklinde ifade edebiliriz. Kümeleme algoritmaları bu 3 farklı verinin değerlerini bulmakta kullanılırlar. Gerçek değerlerle temsil edilen değerler arasındaki farkları minimum yapmaya çalışırlar. Yukarıdaki örnek için 3 küme oluşmuştur. örnekleri 1. kümede 87-67 örnekleri 2. kümede örnekleri 3. kümede yer almaktadır.

6 Kümeleme (Clustering)
Birbirine benzer olan örnekler aynı kümeye ve biribirinden uzak olan örnekler farklı kümelere yerleştirilmeye çalışılır. Küme sayısı genellikle dışarıdan verilir.

7 Rekabetçi Öğrenme (Competitive Learning)
Denetimsiz öğrenmenin bir türü olarak rekabetçi öğrenme; çıktı katmanı process elemanlarının etkin olabilmek için kendi aralarında yarışmalarına dayanır. Sonuç olarak herhangi bir anda sadece bir tane kazanan process elemanı olur. Bu rekabet sonunda process elemanları organize olmaya zorlanır. Amaç process elemanları arasında girdi vektörünü en iyi temsil edenin belirlenmesidir.

8 Self Organizing Map-SOM
SOM ağları, Teuvo Kohonen tarafından geliştirilmiştir. SOM ağları, hem verilerin kümelenmesi hem de görselleştirilmesi açısından tercih edilmektedir. SOM ağları tek katmanlı bir ağdır. SOM'un öncelikli hedefi, herhangi bir boyuta sahip desen sinyallerini bir veya iki boyutlu sonlu eşlemlere dönüştürmektir. Bu ağların en temel özelliği olayları öğrenmek için bir öğretmene ihtiyaç duymamasıdır (denetimsiz öğrenme).

9 Self Organizing Map-SOM
Bu ağlar çok boyutlu bir veriyi iki boyutlu bir haritaya indirgemektedir. Her bir küme için oluşturulan referans vektörleri bir araya geldiğinde bir haritayı meydana getirmektedir. Bu harita üzerindeki topolojik komşuluk kümeler arasındaki ilişkiyi göstermektedir.

10 Self Organizing Map-SOM
Bir girdi katmanı ve bir çıkış katmanı bulunur. Giriş sayısını veri setindeki değişken sayısı belirler. Çıkış process elemanlarının her biri bir kümeyi temsil eder. SOM ağlarına gönderilen sinyaller (girdi değerleri) bazı işlemlerden geçerek (iletilme-ağırlıklandırma) çıkış katmanına ulaşır. Bu katman 1 yada 2 boyutlu olarak dizilmiş process elemanlarından oluşmaktadır.

11 Self Organizing Map-SOM

12 SOM Öğrenme Yöntemi Dört bileşenden oluşur.
1- İlklendirme: Tüm bağlantı ağırlıkları küçük rastgele sayılarla ilklendirilirler. Başka ilklendirme stratejileri de uygulanabilir. 2- Rekabet: Her girdi deseni için hücreler rekabetin temelini oluşturan ayırt etme fonksiyonu değerlerine göre yarışırlar. Bu fonksiyonun en küçük değeri verdiği hücre kazanan olur.

13 SOM Öğrenme Yöntemi 3- İşbirliği: Kazanan hücre uyarılacak hücrelerin topolojik komşuluğunun uzaysal konumunu belirler. Böylece komşu hücreler arasında işbirliği temelleri oluşturulur. 4- Uyum: Uyarılan hücreler ayırt edici fonksiyondan elde ettikleri değeri düşürecek şekilde bağlantı ağırlıklarını ayarlarlar.

14 SOM Öğrenme Yöntemi wi X=[x1,x2,…xn]  Rn wi=[wi1,wi2,…,win]  Rn
process i Çıkış katmanı wi Kazanan process Giriş vektörü X X=[x1,x2,…xn]  Rn wi=[wi1,wi2,…,win]  Rn

15 SOM Öğrenme Yöntemi Sadece kazanan process elemanı değil komşuları da girdi vektörüne yaklaşacak şekilde ağırlıkları düzenlenir. Böylece topolojik düzen sağlanmış olur. Ağırlık güncelleme katsayısı da zamana bağlı olarak azalan fonksiyon olmalıdır.

16 SOM Öğrenme Yöntemi Diğer YSA yapılarından farklı olarak, çıkış katmanındaki process elemanlarının komşuluk ilişkisi çok önemlidir. Bu dizilim doğrusal, dikdörtgensel, altıgen veya küp şeklinde olabilir. En çok dikdörtgensel ve altıgen şeklindeki dizilimler tercih edilmektedir. Pratikte, çoğu kez dikdörtgensel dizilim karesel dizilim olarak uygulanır.

17 SOM Öğrenme Yöntemi Kazanan process elemanının doğrusal komşuluğu (İçten dışa doğru sırasıyla R=0, R=1 ve R=2).

18 SOM Öğrenme Yöntemi Kazanan process elemanının dikdörtgensel komşuluğu (İçten dışa doğru sırasıyla R=0, R=1 ve R=2).

19 SOM Öğrenme Yöntemi Kazanan process elemanının altıgen komşuluğu (İçten dışa doğru sırasıyla R=0, R=1 ve R=2).

20 SOM Öğrenme algoritması
SOM (Self Organizing Maps) ağlarda kullanılan öğrenme algoritması denetimsizdir. Yani, ağ eğitilirken bağımlı değişken kullanılmaz. Veri setindeki giriş vektörleri ağa girildikçe ağ kendi kendini düzenler ve referans vektörleri oluşur.

21 SOM Öğrenme algoritması
wij : i. satır j. sütundaki çıkış nöronuna ait referans vektörü, x : Giriş vektörü. D(i,j): x vektörünün (i,j) koordinatındaki çıkış nöronuna olan öklid uzaklığının karesi. I, J : x vektörünün en yakın olduğu çıkış nöronun koordinatları. α : öğrenme katsayısı.

22 SOM Öğrenme algoritması
0. wij katsayılarına ilk değer ata. Topolojik komşuluk parametrelerini belirle. Öğrenme katsayı parametrelerini ayarla. 1. Bitiş şartı yanlışken adım 2-8 i takip et. 2. Her bir x giriş vektörü için adım 3-5 i takip et. 3. oklid uzaklık değerlerini hesapla. 4. D(I,J)’nin minimum olduğu I, J değerini bul. 5. I, J’nin belirtilen komşuluğundaki bütün çıkış nöronları için wij(yeni)= wij(eski)+ α (x- wij(eski)) 6. Öğrenme katsayısını güncelle. 7. Belirtilen zamanlarda topolojik komşuluk parametresini azalt. 8. Bitiş şartını kontrol et.

23 SOM Öğrenme algoritması
ilk önce referans vektörlerine bir ilk değer verilir. Döngüye başlamadan önce öğrenme katsayısı (α) ve komşuluk değişkenine (R) yüksek bir değer atanır. α’ya 0 ile 1 arasında bir değer atanır. Bu değerin 1’e yakın olması tercih edilir. R değişkeni ise çıkış katmanındaki dizilimin boyu veya eninden büyük olanının değeri ile başlar.

24 SOM Öğrenme algoritması
Algoritma için bir döngü veri setindeki tüm satırların birer kere SOM ağına girdi olarak sunulmasıdır. Veri setinin bir satırı x vektörüdür. x vektörünün çıkış katmanındaki her bir process elemanına olan öklid uzaklığı bulunur. Çıkış katmanındaki her bir process elemanı bir referans vektörü (wij) temsil eder. Dolayısıyla, bu uzaklık x vektörü ile wij arasındaki uzaklıkdır. Hesaplanan uzaklıklardan en küçüğü bulunur. Bu uzaklık hangi çıkış process elemanına aitse o process elemanı kazanan (Winner neuron) nörondur. Yani, SOM ağları “yarışmacı “ bir ağdır.

25 SOM Öğrenme algoritması
Kazanan nöron ve komşu nöronların referans vektörleri yeniden hesaplanır. Bu hesaplamada wij(yeni)= wij(eski)+ α (x- wij(eski)) eşitliği kullanılır. Burada, x vektörü ile wij referans vektörü arasındaki fark, öğrenme katsayısı α ile çarpılır ve wij referans vektörüne ilave edilir. Bu sebeple, wij referans vektörlerine ilk değer olarak çok küçük değerler verilmişse α değeri 1’e yakın bir değer alınmalıdır.

26 SOM Öğrenme algoritması
Veri setindeki tüm satırlar için bu işlemler tekrarlandığında bir döngü tamamlanmış olur. Döngüler devam ettikçe referans vektörleri değişmeye devam eder. Döngünün belirli peryodlarında α ve R değerleri azaltılır. Kaç döngüde bir bu değişkenlerin azaltılacağı kesin kurallara bağlanmamıştır. Çoğu zaman bu değişkenlerin doğrusal bir fonksiyonla azaltılması yeterli olur. Referans vektörlerindeki değişim sona erdiğinde döngü de sona ermiş olur.

27 SOM Öğrenme algoritması
Ağın eğitimi tamamlanıp referans vektörleri oluştuktan sonra veri setindeki elemanlar kümelere ayrılır. Veri setindeki tüm satırlar art arda ağa girilir. Giriş vektörü çıkış process elemanlarının referans vektörleriyle çarpılır. Hangi çarpım değeri daha büyükse eleman o kümeye aittir. Bu işlem sonucunda, elemanlar hem kümelenmiş hem de iki boyutlu bir harita üzerine yerleştirilmiş olur. Bu haritadan, birbirine yakın ve uzak olan kümeleri veya elemanları görmek mümkündür.

28

29

30 1. adımda yapılan tüm işlemler tekrarlandı
1. adımda yapılan tüm işlemler tekrarlandı. Şekilde görüldüğü gibi 2 adım sonunda w5 değerleri, girdi vektöründeki değerlere yaklaştı. Aynı işlemlerin tekrarlanması bizi istenilen değerlere ulaştıracaktır.

31 Başka bir Örnek Rekabetle öğrenime basit bir örnek 3 sınıf içerisinde 3 boyutlu 6 vektörün düğüm sırası: B – A – C ilklendirme: , ağırlık matrisi: D(t) = 1 ilk devir için, = 0 sonrasında Uygulama kazananın bulunması: arasında tam euclide mesafesi D(t) = 1 olduğundan beri C kazanır ,C düğümünün ağırlığı ve onun komşusu A’nın ağırlığı değişir.

32 Gözlem: Komşu olmayan (B, C) vektörleri arasında ağırlık farkı artar.
Giriş vektörü düğümler arasındaki bağlılığı değiştirir, özellikle uygulamaların ilk aşamalarında

33 SOM Ağlarının Kullanım Alanları
SOM ağları, hem verilerin kümelenmesinde hem de görselleştirilmesi açısından tercih edilmektedir. Bu ağlar çok boyutlu bir veriyi iki boyutlu bir haritaya indirgemektedir. Her bir küme için oluşturulan referans vektörleri bir araya geldiğinde bir haritayı meydana getirmektedir.

34 SOM Modelinde Kümelemeyi Etkileyen Faktörler
Çıkış katmanındaki nöron sayısı Verilerin normalleştirilmesi Referans vektörlerine ilk değer atanması Uzaklık ölçüsü Öğrenme katsayısı ve Komşuluk değişkeni