Sunum yükleniyor. Lütfen bekleyiniz

Sunum yükleniyor. Lütfen bekleyiniz

Yapay Sinir Ağları. Giriş Neden Yapay Sinir Ağları (YSA)  Bazı görevler insanlar tarafından kolaylıkla yerine getirilirken onların Von Neumann makinesi.

Benzer bir sunumlar


... konulu sunumlar: "Yapay Sinir Ağları. Giriş Neden Yapay Sinir Ağları (YSA)  Bazı görevler insanlar tarafından kolaylıkla yerine getirilirken onların Von Neumann makinesi."— Sunum transkripti:

1 Yapay Sinir Ağları

2 Giriş Neden Yapay Sinir Ağları (YSA)  Bazı görevler insanlar tarafından kolaylıkla yerine getirilirken onların Von Neumann makinesi tabanlı geleneksel paradigmalar ile yerine getirilmesi zordur. Örüntü tanıma (eski arkadaşlar, el yazısı karakterleri) İçerik adreslemeli geri çağırma Yakınsama, genel kanı muhakemesi (sürüş, piyano çalma)  Bu görevleri sıklıkla tanımlamak zordur, deneyim tabanlıdırlar ve bu görevlere mantık uygulamak zordur

3 Siz bunu görürsünüz : Oysa kamera bunu görür : Bu nedir ?

4 Bilgisayarlı görü : Car detection Testing: Bu nedir ? Araba değil Arabalar

5 Öğrenme algoritması pixel 1 pixel 2 pixel 1 pixel 2 Raw image Cars “Non”-Cars

6 pixel 1 pixel 2 Raw image Cars “Non”-Cars Learning Algorithm pixel 1 pixel 2

7 pixel 1 pixel 2 Raw image Cars “Non”-Cars 50 x 50 pixel images→ 2500 pixels (7500 if RGB) pixel 1 intensity pixel 2 intensity pixel 2500 intensity Quadratic features ( ): ≈3 million features Learning Algorithm pixel 1 pixel 2

8 Biyolojik Esinlenme İnsan beyninin en temel özelliği olan  Öğrenme  İlişkilendirme  Sınıflandırma  Genelleme  Özellik Belirleme  Optimizasyon  işlemlerinden örnek alınmıştır.

9 Giriş Von Neumann Makinesi Hatırı sayılır hesaplama gücü olan bir veya birkaç yüksek hızlı işlemci İletim için bir veya birkaç tane paylaşımlı, yüksek hızlı veri iletim kanalı Adreslerle idare edilen sıralı bellek Problem çözme bilgisi hesaplama bileşeninden ayrılır Yeni durumlara uyum sağlama zordur İnsan Beyni Limitli hesaplama gücüne sahip, daha düşük hızlı ama çok daha fazla sayıda işlemci (10 11 civarında) Düşük hızlı çok sayıda iletim kanalı (10 15 civarında) İçerik adreslemeli geri çağırma Problem çözme bilgisi nöronların bağlantısında yer alır Bağlantıların değiştirilmesi ile adaptasyon sağlanabilir

10 Biyolojik sinir hücresi (nöron) –Her bir neuron bir gövde (body), bir akson (axon) ve çok sayıda sinir uçlarına (dendrites) sahiptir. İki durumdan birinde olabilir : ateşleme(firing) ve sönme(rest). Eğer gelen toplam uyarım eşik değerini aşarsa nöron fire pozisyonuna geçer. –Synapse: bir nöronun aksonu ile diğerinin sinir ucu arasındaki ince aralıktır. Sinyal değişimi Synaptic güç/etkinlik

11 Giriş Bir YSA nedir?  “ Beynin bir işlevi yerine getirme yöntemini modellemek için tasarlanan bir sistem olarak tanımlanabilir”  Düğümlerin bir kümesidir (birimler, nöronlar, işlem elemanları) Her bir düğümün giriş ve çıkışı vardır Her bir düğüm onun düğüm fonksiyonu tarafından basit bir hesaplama yerine getirir  Düğümler arasında ağırlık yüklenmiş bağlantılar (Weighted connections) vardır. Bağlantı şekli (connectivity) ağın mimarisini/yapısını verir  YSA, hayvan sinir sistemindeki nöronlara ait ağın çok basitleştirilmiş bir versiyonu gibi görülebilir.

12 Giriş Yapay Sinir Ağı Düğümler  giriş  çıkış  düğüm fonksiyonu Bağlantılar  bağlantı gücü Bio Sinir Ağı Hücre gövdesi –diğer nöronlardan sinyaller –yanma(firing) frekansı –yanma mekanizması Sinapsisler –Sinaptik güç

13 Tarihçe Pitts & McCulloch (1943)  Biyolojik nöronların ilk matematiksel modeli  Bütün boolean işlemleri nöron benzeri düğümler ile gerçeklenebilir (farklı eşik ve tahrik edici/dizginleyici bağlantılar ile)  Genel amaçlı hesaplama cihazı için Von Neumann modeline rakip  Otomata teorisinin orijini Hebb (1949)  Öğrenim için Hebbian kuralı : her ne zaman i ve j aktive edilirse; i ve j nöronları arasındaki bağlantı gücü artar.  Veya her ne zaman eşzamanlı olarak i ve j nöronlarının her ikisi birden ON veya OFF yapılırsa i ve j düğümleri arasındaki bağlantı gücü artar.

14 Tarihçe İlk yükseliş (50’s – early 60’s)  Rosenblatt (1958) Perceptron: örüntü sınıflandırma için eşik düğümlerinin ağı Perceptron öğrenim kuralı Perceptron convergence teoremi: perceptron ile sunulabilen her şey öğrenebilir  Widrow and Hoff (1960, 1962) gradient descent (eğim düşümü) tabanlı öğrenim kuralı  Minsky, Pitts/McCulloch birimleri ile genel amaçlı bir makine icat etmeye girişmiştir. x 1 x 2 x n

15 Tarihçe Gerileme (60 ortaları – 70 sonları)  Perceptron model ile ilgili ciddi problemler ortaya çıkmıştır (Minsky’s book 1969) Single layer perceptrons; XOR gibi basit fonksiyonları sunamaz (öğrenemez) Çok katmanlı doğrusal olmayan birimler daha büyük güce sahip olabilir fakat böylesi ağlar için öğrenim kuralı yoktur Ölçekleme problemi: bağlantı ağırlıkları sonsuz olarak büyüyebilir  İlk iki problemin 80’li yıllardaki çabalarla üstesinden gelinmiştir, fakat ölçekleme problemi hala devam etmektedir.  Rosenblatt’ın ölümü (1964)  Von Neumann machine ve AI çekişiyor

16 Tarihçe Yeniden büyük ilgi (80li yıllar ve sonrası)  Yeni teknikler Çok katmanlı feed forward ağlar için Back- propagation öğrenim (with non-linear, differentiable node functions) Termodinamik modeller (Hopfield net, Boltzmann machine, etc.) Denetimsiz öğrenim  Etkileyici uygulamalar (karakter tanıma, ses tanıma, metinden sese dönüşüm, proses kontrol, ortak bellek, vs)  Geleneksel yaklaşımlar zor işlerle yeniden mücadele etmeye başlamıştır  Uyarı: Zorluklar ve limitler tahmin edilemeyebilir Çözümlerden daha çok problemler ortaya çıkmaktadır

17 YSA Nöron Modelleri Her bir nöronun diğer düğümlerden gelen bir veya daha fazla girişi ve diğer düğümlere giden bir çıkışı vardır. Giriş/çıkış değerleri  Binary {0, 1}  Bipolar {-1, 1}  Sürekli olabilir. Bir düğüm için bütün girişler aynı zamanda gelir ve çıktı hesap edilene kadar aktive edilmiş olarak kalırlar. Linklerle ağırlıklar uyumludur Genel nöron modeli Ağırlıklı giriş toplamı

18 Düğüm fonksiyonları Step (threshold) fonksiyonu c eşik olarak adlandırılır Ramp function Step function Ramp function

19 Node Function Sigmoid function  S-şekillidir  Sürekli ve her bir değer diğerinden farklı  Bazı noktalarda (net = c) dönüşlü olarak simetriktir  Asimptotik olarak doygun noktalara yaklaşır  Örnekler: Sigmoid function y = 0 ve z = 0 olduğunda: a = 0, b = 1, c = 0. y = 0 ve z = -0.5 olduğunda a = -0.5, b = 0.5, c = 0. Daha büyük x daha dik eğriler verir

20 Node Function Gaussian function  Çan şekillidir (radial basis)  Sürekli  |net| büyük olduğunda f(net) asimptotik olarak 0 veya bazı sabit değerlere yakınsar  Tekil maksimum (net =  )  Örnek : Gaussian function

21 Network Architecture Katmanlı Ağlar  Düğümler katman adı verilen altkümelere bölünür  j > k ise j katmanındaki düğümlerden k katmanındakilere -doğru- bağlantı yoktur. Ortam girişleri katman 0’daki düğümlere uygulanır (input layer). Giriş katmanındaki düğümler hiçbir hesaplama yapılmadan taşıyıcılarda tutulur (Örn, onları düğüm fonksiyonları identity fonksiyondur)

22 Network Architecture İleri Beslemeli Ağlar  i katmanındaki bir düğümden sadece i+1 katmanındaki düğümlere bağlantıya izin verilir.  En geniş kullanıma sahip mimaridir. Conceptually, nodes at higher levels successively abstract features from preceding layers

23 Network Architecture Çevrimi Olmayan Ağlar  Bağlantılar doğrudan çevrimsel formda değildir.  Çok katmanlı ileri beslemeli ağlar çevrimsel olmayan ağlardır Recurrent Ağlar  Doğrudan çevrimli ağlardır  Çevrimsel olmayan ağlara oranla analiz edilmesi daha zordur Modüler Ağlar  Eğer, bir ağın yapması gereken işlemler birbirleriyle de haberleşmeksizin iki yada daha fazla modüle (alt yapıya) ayrılabiliyorsa bu ağlar modül YSA’ları olarak söylenir  Modüller arasında seyrek bağlantılar vardır

24 Sinir Ağları Ağ Mimarisi Nöron tipleri Öğrenme algoritmaları Uygulamalar

25 Ağ Mimarisi ağın mimarisi yapısı 3  Tek katmanlı ileri beslemeli(single-layer feed-forward )  Çok katmanlı multi-layer feed-forward  Özyinelemeli (recurrent) YSA ların mimarı yapısı eğitim setinde kullandıkları öğrenme algoritmasıyla ilişkilidir.

26 Tek katmanlı Single Layer Feed-forward Input layer of source nodes Output layer of neurons

27 Çok katmanlı (Multi layer feed-forward ) Girdi katmanı Çıktı katmanı Saklı katman Network

28 Recurrent Network with hidden neuron: unit delay operator z -1 is used to model a dynamic system z -1 Recurrent network input hidden output

29 Nöron Girdi değerleri ağırlıklar Toplama fonksiyonu Bias b Aktivasyon fonksiyonu Local Field v Çıktı y x1x1 x2x2 xmxm w2w2 wmwm w1w1 ………….

30 Input signal Synaptic weights Summing function Activation function Local Field v Output y x1x1 x2x2 xmxm w2w2 wmwm w1w1 w0w0 x 0 = +1 The bias is an external parameter of the neuron. It can be modeled by adding an extra input. ………….. Bias as extra input

31 Aktivasyon Fonksiyonu Farklı uygulamalarda kullanılan bir çok farklı aktivasyon fonksiyonu vardır. En çok kullanılanlar: Hard-limiterPiecewise linearSigmoidHyperbolic tangent

32 Neuron Models The choice of determines the neuron model. Examples: step function: ramp function: sigmoid function: with z,x,y parameters Gaussian function:

33 Öğrenme Algoritmları Ağ mimarisine dayanmaktadır: Hatayı düzelterek öğrenme (perceptron) Delta rule (AdaLine, Backprop) Competitive Learning (Self Organizing Maps)

34 Uygulama alanları Classification:  Image recognition  Speech recognition  Diagnostic  Fraud detection  … Regression:  Forecasting (prediction on base of past history)  … Pattern association:  Retrieve an image from corrupted one  … Clustering:  clients profiles  disease subtypes  …

35 Perceptron: architecture We consider the architecture: feed-forward NN with one layer It is sufficient to study single layer perceptrons with just one neuron:

36 Single layer perceptrons Generalization to single layer perceptrons with more neurons is easy because: The output units are independent among each other Each weight only affects one of the outputs

37 Perceptron: Neuron Model (McCulloch-Pitts) perceptron, non-linear  sign aktivasyon fonksiyonu kullanan tek katmanlı NN dir x1x1 x2x2 xnxn w2w2 w1w1 wnwn b (bias) vy  (v)

38 Perceptronun Geometrik görüntüsü x2x2 C1C1 C2C2 x1x1 decision boundary w 1 x 1 + w 2 x 2 + w 0 = 0 decision region for C1 w 1 x 1 + w 2 x 2 + w 0 >= 0

39 Perceptron: Öğrenme algoritması Değişken ve parametreler: x (n) = Girdi vektörü = [+1, x 1 (n), x 2 (n), …, x m (n)] T w(n) = ağırlık vektörü = [b(n), w 1 (n), w 2 (n), …, w m (n)] T b(n) = bias (kutuplama) y(n) = ysa çıktısı d(n) = istenilen çıktı  = öğrenme katsayısı parametresi

40 Öğrenme algoritması n=1; Başlangıç Ağırlık vekörü w(n) rastgele ata; while ( yanlış sınıflandırılan bir örüntü kalmayıncaya kadar ) Yanlış sınıflandırılan örneği seç (x(n),d(n)) w ( n+1 ) = w(n) +  d(n)x(n); n = n+1; end-while;  = öğrenme katsayısı (0-1 aralığında)

41 Örnek C 1  C 2, 2 boyutlu eğitim seti olsun C 1 = {(1,1), (1, -1), (0, -1)} sınıf 1 C 2 = {(-1,-1), (-1,1), (0,1)} sınıf -1 C 1  C 2 perceptron ile eğitelim

42 Başlangıç ağırlık vektörü w(1)=(1,0,0),  =1, Execution End epoch 1 Güncelle: w(n+1) = w(n) +  d(n)x(n);

43 Execution End epoch 2 epoch 3 te hiç bir ağırlık değişmiyor.  Algoritmanın çalışmasını durdur. Son ağırlık vektörü: (0, 2, -1).  Karar hiperdüzlemi 2x 1 - x 2 = 0.

44 Result x1x1 x2x2 C2C2 C1C /2 Karar sınırı: 2x 1 - x 2 = 0 2 w

45 Perceptron: Limitations perceptron sadece lineer olarak ayrılabilen sınıflar için uygun modelleme yapar  AND  OR  COMPLEMENT XOR için modelleme yapamaz


"Yapay Sinir Ağları. Giriş Neden Yapay Sinir Ağları (YSA)  Bazı görevler insanlar tarafından kolaylıkla yerine getirilirken onların Von Neumann makinesi." indir ppt

Benzer bir sunumlar


Google Reklamları