Yapay Sinir Ağları (Artificial Neural Networks)

Yapay Sinir Ağları Nedir? Yapay Sinir Ağları lineer olmayan ilişkiler modelleme metodudur Bir kuralı veya algoritması olmayan problemlerin çözümünde kullanılan sistemlerdir. Yapay Sinir Ağları proses elemanları ve bağlantılardan oluşur. Verilen girdi setine karşılık çıktı seti verir. En temel görevi: Öğrenme yolu ile ilk kez karşılaşılan problemler karşısında yeni bilgiler türetmektir.

Yapay Sinir Ağları Nedir? Yapay Sinir Ağları başından itibaren lineer olmayan modeller oluşturur. Genel durumda, lineer olmayan modellerin parametrelerini bulmak son derecede zordur, ama YSA’lar için verimli algoritmalar geliştirilmiştir. YSA bugünkü en güçlü ve en esnek makine öğrenme yaklaşımıdır.

Yapay Sinir Ağları Nedir? Yapay sinir ağları, insan beyninin özelliklerinden olan öğrenme yolu ile yeni bilgiler türetebilme, yeni bilgiler oluşturabilme ve keşfedebilme gibi yetenekleri herhangi bir yardım almadan otomatik olarak gerçekleştirmek amacı ile geliştirilmişlerdir.

YSA’nın Temel İşlevleri Öngörü (Prediction) veya tahminleme : İleriki satışlar, hava tahminleri, at yarışları, çevresel risk, … Sınıflandırma (Classification) : Müşteri profilleri, tıbbi teşhis, ses ve şekil tanıma, …

YSA Özellikleri Doğrusal olmama, Öğrenme, Genelleme, Uyarlanabilirlik, Hata toleransı, Donanım ve hız, Analiz ve tasarım kolaylığı

YSA Uygulama Alanları Endüstriyel uygulamalar Finans uygulamaları Askeri ve Savunma uygulamaları Tıp ve Sağlık uygulamaları Mühendislik uygulamaları Robotbilim Görüntü İşleme

YSA’nın uygulamaları konuşma tanıma karakter tanıma yapay görme robot navigasyonu otomatik sürme vb.

Yapay Sinir Ağları YSA’nin tarihi 1960 yıllarda başladı. YSA başlangıcı beyin bilimindeki gelişmelere bağlıydı.

Yapay Sinir Ağları Beyin, bizim bilişsel işlevlerimiz için temel araçtır (biliş, düşünme, soyut düşünme, duygu) Beyin, özel biyolojik “nöron” hücrelerinden oluşmuştur. Beyindeki nöronlar yüksek derecede birbirlerine bağlıdır. Temel elektriksel seviyede, nöronlar lineer toplama cihazlarıdır.

Biyolojik Sinir Hücresi (NÖRON) Sinir Hücreleri, sinir sisteminin temel işlem elemanıdır. Birbiriyle bağlantılı iki nöronun axon, dentrite, synapse ve soma olma üzere dört önemli bölümü bulunmaktadır. Dendritler Hücre Gövdesi (Soma) Axonlar Synapse

Biyolojik Sinir Hücresi (NÖRON) Biyolojik nöronlarda birçok giriş (“dendrite” denir) ve bir çıkış (“akson” denir) var. Nöronlar, dendriteler yoluyla diğer nörondan elektriksel sinyalleri alıp içinde lineer şekilde toplar. Toplam sinyaline göre, aksonda çıkış olarak ikili elektriksel sinyal oluşturulabilir. Bu sinyal diğer nöronlara girdi olarak uygulanıp orada ikinci sinyali oluşturabilir.

Biyolojik Sinir Hücresi (NÖRON) Dentrites : Nöronun ağaç köküne benzeyen, görevi hücreye girdilerin sağlanması olan uzantılardır.

Biyolojik Sinir Hücresi (NÖRON) Hücre Gövdesi (Soma) : Bir nöronun gövdesine soma adı verilir. Soma nucleus adı verilen hücre çekirdeğini içermektedir. Hücrenin yaşamasını sağlayan işlevleri görür. Synapslar aracılığıyla dentriteslere geçirilen iletiler birleşerek axon üzerinde elektriksel bir çıktı oluştururlar. Bu çıktının olup olmayacağı veya çıktının elektriksel olarak yoğunluğu, synapsların etkileri sonucu hücreye gelen tüm girdilerin, toplam değeri tarafından belirlenmektedir. Somaya gelen girdilerin ağırlıklı toplamı axon üzerinde çıktı oluşturacak değere ulaştığında, bu değere "eşik değer" adı verilmektedir ve nöron ateşlendi (fired) olarak ifade edilmektedir. Bu şekilde girdiler nöron tarafından değerlendirilerek çıktıya dönüştürülmüş olur.

Biyolojik Sinir Hücresi (NÖRON) Axon: Hücre çıktısını göndermeye yarayan uzantısıdır. Bir hücrenin tek bir axon uzantısı bulunur. Ancak bu axon uzantıdan çıkan çok sayıda uzantı ve bunların ucunda synapstik bağlantılar bulunur.

Biyolojik Sinir Hücresi (NÖRON) Synapse: Synapslar, sinir hücrelerindeki axonlarının, diğer sinir hücreleri ve/veya onların dentriteleri üzerinde sonlanan özellemiş bağlantı noktalarıdır. Bu bağlantı noktalarının görevi axondaki elektriksel iletinin diğer hücrelere aktarılmasıdır. Bu bağlantı noktalarında iletiler elektro- kimyasal süreçlerle diğer hücrelere geçirilir. Synapslar bağlandıkları dentrite veya nöronda bölgesel olarak elektrik kuvvetini pozitif veya negatif yönde etkileyebilme yeteneğine sahiptirler. Böylelikle bir nöronun diğerini etkileyebilmesi söz konusu olmaktadır. İnsan beyninde yaklaşık 10 milyar sinir hücresi ve 60 trilyon synapse bulunmaktadır.

Bir sinir hücresinin çalışma şekli Sinir hücresi, diğer sinir hücrelerinden gelen uyarıları (elektriksel sinyaller) snapsları üzerinden dentritlerine alır. Bu sırada gelen sinyaller snapslar tarafından güçlendirilir ya da zayıflatılır. Dentritler sinyalleri hücre gövdesine iletirler. Hücre gövdesi gelen sinyalleri birbirlerini kuvvetlendirme ve zayıflatma etkilerine göre işler. Eğer sonuçta sinyaller birbirlerini yeteri kadar kuvvetlendirerek bir eşik değerini aşabilirlerse, aksona sinyal gönderilir ve sinir aktif hale getirilir. Aksi halde, aksona sinyal gönderilmez ve sinir pasif durumda kalır.

Yapay Sinir Hücresi(Nöron) YSA temel elemanı–nöron: x1 x2 x3 x0 

Yapay Sinir Hücresi(Nöron) f X1 X2 Xn net net = w1X1 + w2X2 + w3X3 +… + wnXn y = f(net) w1 w2 . wn Dendrites Hücre Gövdesi Axon Bilgi akışının yönü

Yapay Sinir Hücresi(Nöron) Özel olan sabit ek giriş genellikle tanımlanır – “bias-eşik” denir YSA temel elemanı:  x1 x2 x3 x0 x0 her zaman 1 verir

Yapay Sinir Hücresi

Yapay Sinir Hücrelerinin Temel Elemanları Girdiler Ağırlıklar Toplama fonksiyonu Aktivasyon fonksiyonu Çıktılar

Yapay Sinir Hücrelerinin Temel Elemanları Girdiler : Yapay sinir ağlarına dışarıdan verilen bilgilerdir. Ağırlıklar : Yapay sinir hücreleri (nöron) arasındaki bağlantıların sayısal değeridir. Bir nöron’un üzerine gelen bilginin değerini ve hücre üzerindeki etkisini gösterir. x = [ x1 x2 x3 … xn]t w = [ w1 w2 w3 … wn ]t

Yapay Sinir Hücrelerinin Temel Elemanları Toplama fonksiyonu (net): Nörona gelen net girdinin hesaplanmasını sağlayan fonksiyondur. En yaygın kullanım şekli her girdi değerinin kendi ağırlığıyla çarpılarak toplanmasıdır. Net = [(w1.x1)+(w2.x2)+…(.wn.xn)+(w .)] Aktivasyon fonksiyonu (f(net)) : Bu fonksiyon hücreye gelen net girdinin işlenmesiyle hücrenin bu girdiye karşılık üretileceği çıktıyı belirlemesini sağlar. En yaygın olarak sigmoid fonksiyonu kullanılmaktadır. Çıkış = y = f(net) = [(w1.x1)+(w2.x2)+…(.wn.xn)+(w .)]

YSA’nın Yapısı Sinir hücreleri bir grup halinde işlev gördüklerinde ağ (network) olarak adlandırılırlar ve böyle bir grupta binlerce nöron bulunur. Yapay nöronların birbirleriyle bağlantılar aracılığıyla bir araya gelmeleri yapay sinir ağını oluşturmaktadır. Yapay sinir ağıyla aslında biyolojik sinir ağının bir modeli oluşturulmak istenmektedir.

YSA’nın Yapısı Nöronların aynı doğrultu üzerinde bir araya gelmeleriyle katmanlar oluşmaktadır. Katmanların değişik şekilde bir birleriyle bağlanmaları değişik ağ mimarilerini doğurur. YSA’lar üç katmadan oluşur. Bu katmanlar sırasıyla; Girdi katmanı Ara Katman Çıktı Katmanıdır.

YSA’nın Genel Yapısı

YSA’nın Yapısı Girdi Katmanı Bu katmandaki proses elemanları dış dünyadan bilgileri alarak ara katmanlara transfer ederler. Bazı ağlarda girdi katmanında herhangi bir bilgi işleme olmaz. Ara Katman (Gizli Katman) Girdi katmanından gelen bilgiler işlenerek çıktı katmanına gönderilirler. Bu bilgilerin işlenmesi ara katmanlarda gerçekleştirilir. Bir ağ içinde birden fazla ara katman olabilir. Çıktı Katmanı Bu katmandaki proses elemanları ara katmandan gelen bilgileri işleyerek ağın girdi katmanından sunulan girdi seti için üretmesi gereken çıktıyı üretirler. Üretilen çıktı dış dünyaya gönderilir.

YSA’ların Yapılarına Göre Sınıflandırılması Yapay sinir ağları, yapılarına göre, ileri beslemeli (feedforward) ve geri beslemeli (feedback) ağlar olmak üzere iki şekilde sınıflandırılırlar.

YSA’ların Yapılarına Göre Sınıflandırılması İleri Beslemeli Ağlar : İleri beslemeli bir ağda işlemci elemanlar genellikle katmanlara ayrılmışlardır. İşaretler, giriş katmanından çıkış katmanına doğru tek yönlü bağlantılarla iletilir. İşlemci elemanlar bir katmandan diğer bir katmana bağlantı kurarlarken, aynı katman içerisinde bağlantıları bulunmaz. İleri beslemeli ağlara örnek olarak çok katmanlı perseptron (Multi Layer Perseptron-MLP) ve LVQ (Learning Vector Quantization) ağları verilebilir.

YSA’ların Yapılarına Göre Sınıflandırılması İleri Beslemeli Ağlar(Feedforward neural nets) : Çok katmanlı ileri beslemeli ağ modeli Tek katmanlı ileri beslemeli ağ modeli

YSA’ların Yapılarına Göre Sınıflandırılması Geri Beslemeli Ağlar Bir geri beslemeli sinir ağı, çıkış ve ara katlardaki çıkışların, giriş birimlerine veya önceki ara katmanlara geri beslendiği bir ağ yapısıdır. Böylece, girişler hem ileri yönde hem de geri yönde aktarılmış olur. Bu çeşit sinir ağlarının dinamik hafızaları vardır ve bir andaki çıkış hem o andaki hem de önceki girişleri yansıtır. Bundan dolayı, özellikle önceden tahmin uygulamaları için uygundurlar. Geri beslemeli ağlar çeşitli tipteki zaman-serilerinin tahmininde oldukça başarı sağlamışlardır. Bu ağlara örnek olarak Hopfield, SOM (Self Organizing Map), Elman ve Jordan aları verilebilir.

Öğrenme Stratejileri Eğiticili (Supervised) Öğrenme: MLP, RBF.. Bu tip öğrenmede, YSA’ya örnek olarak bir doğru çıkış verilir. Bu öğrenmede ağın ürettiği çıktılar ile hedef çıktılar arasındaki fark hata olarak ele alınır ve bu hata minimize edilmeye çalışılır. Bunun için de balantıların ağırlıkları en uygun çıkışı verecek şekilde değiştirilir. Bu sebeple öğretmenli(danışmanlı) öğrenme algoritmasının bir “öğretmene” veya “danışmana” ihtiyacı vardır. Widrow-Hoff tarafından geliştirilen delta kuralı ve Rumelhart ve McClelland tarafından geliştirilen genelletirilmiş delta kuralı veya geri besleme (back propagation) algoritması danışmanlı öğrenme algoritmalarına örnek olarak verilebilir.

Öğrenme Stratejileri Eğiticisiz (Unsupervised) Öğrenme: Örn:ART, Kohonen(SOM) Bu tür öğrenmede ağa sadece girdiler verilir. Ağın ulaşması gereken hedef çıktılar verilmez. Girişe verilen örnekten elde edilen çıkış bilgisine göre ağ sınıflandırma kurallarını kendi kendine geliştirir. Ağ daha sonra bağlantı ağırlıklarını aynı özellikleri gösteren desenler(patterns) oluşturmak üzere ayarlar. Grossberg tarafından geliştirilen ART (Adaptive Resonance Theory) veya Kohonen tarafından geliştirilen SOM (Self Organizing Map) öğrenme kuralı danışmansız öğrenmeye örnek olarak verilebilir.

Öğrenme Stratejileri Destekleyici-Takviyeli (Reinforcement) Öğrenme: Örn:LVQ Takviyeli öğrenme algoritması, istenilen çıkışın bilinmesine gerek duymaz. Takviyeli öğrenme (reinforcement training) yöntemi öğreticili öğrenme yöntemine benzemekle birlikte, ağa hedef çıktılar yerine, ağın çıktılarının ne ölçüde doğru olduğunu belirten bir skor veya derece bildirilir. Optimizasyon problemlerini çözmek için Hinton ve Sejnowski’nin geliştirdiği Boltzmann kuralı veya GA takviyeli öğrenmeye örnek olarak verilebilirler.

Uygulamaya Göre Öğrenme Algoritmaları Çevrim Dışı (Offline) Öğrenme Bu kurala dayalı sistemler, kullanıma alınmadan önce örnekler üzerinde eğitilirler. Bu kuralı kullanan sistemler eğitildikten sonra gerçek hayatta kullanıma alındığında artık öğrenme olmamaktadır. Delta öğrenme kuralı bu tür öğrenmeye örnek olarak verilebilir.

Uygulamaya Göre Öğrenme Algoritmaları Çevrim içi (On-line) Öğrenme Bu kurala göre öğrenen sistemler, gerçek zamanda çalışırken bir taraftan fonksiyonlarını yerine getirmekte, bir taraftan da öğrenmeye devam etmektedirler. ART ve Kohonen öğrenme kuralı bu sınıfta bulunan öğrenme bu öğrenme kuralına örnek olarak verilebilir.

Basit Algılayıcı Modeli (Perceptron) output input S W1 W2 Wn x1 y=f(net)=Çıkış Aktivasyon Fonksiyonu Bias x2 xn Girişler Ağırlıklar net

Aktivasyon Fonksiyonları Hücre modellerinde, hücrenin gerçekleştireceği işleve göre çeşitli tipte aktivasyon fonksiyonları kullanılabilir. Aktivasyon fonksiyonları sabit parametreli yada uyarlanabilir parametreli seçilebilir. STEP TLU RAMP UNIPOLAR SIGMOID BIPOLAR

Doğrusal Aktivasyon Fonksiyonları f(net)  1 net f(net) = 1 eğer net >  = 0 eğer net <  -1 f(net) = 1 eğer net >  = -1 eğer net <  Step Fonksiyonlar Unipolar step Bipolar step

Doğrusal Olmayan Aktivasyon Fonksiyonları 1 net f(net) f(net) = -------------------- 1 + exp (-l.net) Sigmoid 2 f(net) = -------------------- - 1 -1 l diklik veya eğim katsayısıdır. Genelde 1 alınır. Tanjant Hiperbolik Sigmoid

Aktivasyon Fonksiyonları LİSTE

Doğrusal ayrılabilir 2 1 50 Boy (m) Ağırlık (Kg) Hafif Ağır 120

Doğrusal Ayrılamaz XOR lojik fonksiyonu doğrusal ayrılamaz. o x x1 x2