YAPAY SİNİR AĞLARI (Artifical Neural Networks)

... konulu sunumlar: "YAPAY SİNİR AĞLARI (Artifical Neural Networks)"— Sunum transkripti:

1 YAPAY SİNİR AĞLARI (Artifical Neural Networks)

2 Giriş Yapay sinir ağları ya da kısaca YSA; insan beyninin çalışma sisteminin yapay olarak benzetimi çabalarının bir sonucu olarak ortaya çıkmıştır. En genel anlamda bir YSA insan beynindeki birçok nöronun (sinir hücresinin), ya da yapay olarak basit işlemcilerin birbirlerine değişik etki seviyeleri ile bağlanması sonucu oluşan karmaşık bir sistem olarak düşünülebilir. YAPAY SİNİR AĞLARI

3 Giriş Önceleri temel tıp birimlerinde insan beynindeki nöronların matematiksel modelleme çabaları ile başlayan çalışmalar, geçtiğimiz 20 sene içerisinde, disipline bir şekil almıştır. YSA bugün fizik, matematik, elektrik ve bilgisayar mühendisliği gibi çok farklı bilim dallarında araştırma konusu haline gelmiştir. YSA'nın pratik kullanımı genelde, çok farklı yapıda ve formlarda bulunabilen informasyon verilerini hızlı bir şekilde tanımlama ve algılama üzerinedir. YAPAY SİNİR AĞLARI

4 Giriş Aslında mühendislik uygulamalarında YSA'nın geniş çaplı kullanımının en önemli nedeni, klasik tekniklerle çözümü zor problemler için etkin bir alternatif oluşturmasıdır. Çünkü bilgisayarlar insanın beyinsel yeteneğinin en zayıf olduğu çarpma, bölme gibi matematiksel ve algoritmik hesaplama işlemlerinde hız ve doğruluk açısından yüzlerce kat başarılı olmalarına rağmen insan beyninin öğrenme ve tanıma gibi işlevlerini hala yeteri kadar gerçekleştirememektedir. YAPAY SİNİR AĞLARI

5 Bilgisayar ile insan beyni arasındaki çalışma sistem yapısının karşılaştırılması
YAPAY SİNİR AĞLARI

6 Nöronun biyolojik yapısı ve nöron modeli
İnsanın bilgi işleme olayı beyninde gerçekleşir. Gerçekten de en karmaşık sinir ağı Cerebral Cortex denilen “beyin”dir. Sinir sisteminin en basit yapısı nöronlardır. Beyinde yaklaşık olarak sinir hücresi vardır. Yine hücre başına bağlantı sayısı ise 104 mertebesindedir. Beyin için çalışma frekansı 100 Hz’dir. Fiziksel boyutları ise 1.3 kg ve 0.15 m2 kesitlidir. Vücudun değişik yerleri ile bilgi alışverişi yapan nöron hücresidir. Şekil de basit bir nöron hücresi görülmektedir. YAPAY SİNİR AĞLARI

7 Nöronun biyolojik yapısı ve nöron modeli
Basit bir nöron yapısı YAPAY SİNİR AĞLARI

8 Nöronun biyolojik yapısı
Biyolojik bir sinir hücresi; bir gövde, bir akson, çok sayıda sinir ucu (dendrit) ve akson ile diğer sinir hücresinin sinir ucu arasında kalan ince uzantılar (sinaps) olmak üzere dört bölümden oluşmaktadır. Dendritler, gelen sinyalleri çekirdeğe iletir. Çekirdek dendritten gelen sinyalleri bir araya toplar ve aksona iletir. Toplanan bu sinyaller, akson tarafından işlenerek sinapslara gönderilir. Sinapslar da yeni üretilen sinyalleri diğer sinir hücrelerine iletir. Yapay sinir hücreleri, gerçek sinir hücrelerinin simule edilmesiyle gerçekleştirilir YAPAY SİNİR AĞLARI

9 Nöronun biyolojik yapısı
Biyolojik sistemlerde öğrenme, nöronlar arasındaki sinaptik (synaptic) bağlantıların ayarlanması ile olur. Yani, insanlar doğumlarından itibaren yaşayarak öğrenme süreci içerisine girerler. Bu süreç içinde beyin sürekli bir gelişme göstermektedir. Tecrübeler arttıkça sinaptik bağlantılar ayarlanır ve hatta yeni bağlantılar oluşur. Bu sayede öğrenme gerçekleşir. Bu durum YSA için de geçerlidir. Öğrenme, eğitme yoluyla örnekler kullanarak olur. Başka bir deyişle, gerçekleşme girdi/çıktı verilerinin işlenmesiyle, yani eğitme algoritmasının bu verileri kullanarak bağlantı ağırlıklarını (weights of the synapses) bir yakınsama sağlanana kadar, tekrar tekrar ayarlamasıyla olur. YAPAY SİNİR AĞLARI

10 YSA Genel Yapısı ve Öğrenme
Dış ortamdan veya diğer hücrelerden alınan girdiler, ağırlıklar yardımıyla hücreye bağlanır. Toplama fonksiyonu ile net girdi hesaplanır. Net girdinin aktivasyon fonksiyonundan geçirilmesiyle net çıktı hesaplanır. Bu işlem aynı zamanda bir hücrenin çıkışını verir. Her bağlantının bir ağırlık değeri vardır. YSA, kendisine örnekler gösterildikçe bu ağırlık değerlerini değiştirir. Hedef, ağa gösterilen örnekler için doğru çıkışları verecek ağırlıkları bulmaktır.

11 Biyolojik ve Yapay Sinir Hücreleri
Biyolojik sinir hücresi: Akson  Dentrit  Çekirdek  Sinaps  Yapay sinir hücresi Çıktı Toplama fonksiyonu Aktivasyon fonksiyonu Ağırlıklar

12 YSA, insanlar tarafından gerçekleştirilmiş örnekleri kullanarak olayları öğrenebilen, çevreden gelen olaylara karşı nasıl tepkiler üretileceğini belirleyebilen bilgisayar yazılımlarıdır. YAPAY SİNİR AĞLARI

13 YSA’nın genel blok şeması
YAPAY SİNİR AĞLARI

14 İnsan beyni yaklaşık 10 milyar sinir hücresi ile örülmüş çok karmaşık ve büyük bir ağ. Bu ağ görev açısından 3 katmandan oluşur. Birincisi duyu nöronları (reseptörler), ikincisi ara nöronlar ve üçüncüsü de motor nöronlar. Duyu nöronları, dış dünyadan bilgisayar deyimiyle girdileri alır ara nöronlar girdileri yorumlar ve motor nöronlarda tepki yani çıktı üretirler. YAPAY SİNİR AĞLARI

15 Yapay sinir ağları da yukardaki sistemin bilgisayar üzerinde gerçeklenmesi ile elde edilen beynin adeta matematiksel modelidir. Aklımıza şu soru gelebilir; YSA’nın veritabanına veri kaydeden programdan farkı nedir? YSA’lar ezberlemek yerine, öğrenen, genelleme yapabilen, kümeleyebilen, eğitilip geliştirilebilen ve benzerlik kurabilen sistemlerdir. YAPAY SİNİR AĞLARI

16 Geleneksel yöntemler, yanlış sonuçların elde edilmesi riski nedeniyle eksik ve/veya aşırı sapma içeren veriler için uygun değillerdir. Yapay sinir ağı yaklaşımı ise, verilere bağlı olmayıp; eksik, kısmen hatalı veya aşırı sapmalı verileri değerlendirebilir, hatta karmaşık ilişkileri öğrenebilir, genelleyebilir ve bu sayede daha önce hiç karşılaşmadığı sorulara kabul edilebilir bir hatayla cevap bulabilirler. Bu özellikleri nedeniyle yapay sinir ağları tahminlemede etkili bir yöntem olarak kullanılmaktadır YAPAY SİNİR AĞLARI

17 ANN Öğrenme Özellikleri / Hata Fonksiyonu
İyi bir ANN minimum hataya sahiptir. İyi bir öğrenme fonksiyonu ANN’yi yüksek hatalı bir konfigürasyondan düşük hatalıya taşır. ANN’deki hata, hata ölçüm fonksiyonları ile ölçülür. Bu hata fonksiyonları eğitim kümesindeki örneklerin hatalarının tümünü temsil eder. Problemin tipine ve tasarımcının seçimine göre farklı hata fonksiyonları kullanılabilir. En sık kullanılanları verilmiştir: Mean absolute error Mean squared error Sum squared error

18 ANN Öğrenme Özellikleri / Epoch
ANN eğitimi batch processing(çevrim içi) modda yapılır. Tüm eğitim verileri sisteme verilir. Sistem tüm bu girişleri işlemeyi bitirdikten sonra, başka bir batch proses olan ağırlıkların ve bias’ ın güncellenmesi için başlar. Epoch: tüm giriş verilerinin işlenmesindeki tek bir iterasyon. Her epoch’da ANN öğrenir. Aynı girişleri çok kereler uygulamanın sonucu olarak, sistem kendini az bir hata ile eğitebilir hale gelir. Çok sayıda epoch ile sistem tam olarak eğitilmiş kabul edilir. Epoch sistemin kendini eğitim verisine göre eğitebilmesi için gereklidir.

19 ANN Öğrenme Özellikleri / Learning Rate
Büyük öğrenme oranı: sistemin veriyi çok hızlı öğrenir, toplam hata artar. Düşük öğrenme oranı: sistem çok yavaş öğrenir, eğitim zamanı artar ancak hata azalır. ile temsil edilir.

20 ANN Öğrenme Özellikleri / Momentum
ANN her adımda daha az hata değerine sahip bir noktaya gelmek isteyecektir. Birden çok iterasyon sonucunda sistem minimum hatalı olan noktaya erişecektir. Eğitim sırasında, ANN hatanın azaldığı yerde durmayı sürdürmek ister. ANN için local minima tuzağına düşmek doğaldır ve bu durum global minimuma ulaşmasına engel olabilir. Momentum öğrenme algoritmasını local minimumdan kaçacak şekilde önceki yönde tutmaya çalışır.

21 … En iyi sonuçlar alınmadan birçok deneme yapılmalıdır.
aralığında değerler önerilir.

22 ANN Öğrenme Özellikleri / Durdurma kriteri
zaman eşik değerine ulaştığında bitebilir önceden tanımlı epoch değeri vardır algoritma bu epoch a ulaştığında bitebilir. önceden tanımlı hata değerine eriştiğinde bitebilir. iki epoch arasındaki hata değeri azaldığında eğitim bitebilir. Eğitim devam etse bile performansta çok fazla değişiklik olmayacağı hesap edilir.

23 ANN Öğrenme Özellikleri / Örneklerin ağa sunulması
Sıralı: n örnek sırası ile ağa sunulurlar. 1. iterasyonda 1. örnek, 2. iterasyonda 2. örnek vs şeklinde devam eder. Hepsi tek tek sunulduktan sonra başa dönerek sırası ile yeniden ağa sunulurlar. Bu işlem öğrenme sağlanana kadar devam eder. Rastgele: örnekler eğitim kümesinden rastgele seçilirler. Ya seçilen örnek eğitim verisine atılıp yeniden seçilir yada seçilen örnek yeniden seçilemez. Tüm örnekler rastgele ağa sunulduktan sonra, öğrenme sağlanan kadar yeniden sunulmaya devam ederler.

24 Multilayer Perceptron (MLP) Genel Yapısı
YSA, yapay sinir hücrelerinin (perceptron) birbirlerine bağlanması sonucu oluşan yapılardır

25 MLP

26 Katmanlar ANN mimarisi katmanlardan kurulmuştur.
Katmanların sayısı ANN’nin işlemsel karmaşıklığını ifade etmektedir. Daha çok sayıda katmandan oluşan ANN’ler her zaman daha az katmandan oluşanlara göre daha fazla işlem zamanı talep edeceklerdir. Giriş katmanı (1), Gizli katman (n), Çıkış katmanı (1). Giriş Katmanı: YSA’ya dış dünyadan bilgilerin geldiği katmandır. Bu katmandaki nöronların sayısı giriş sayısı kadardır. Her nöron bir girişe aittir. girdiler herhangi bir işleme uğramadan gizli katmana iletilirler Gizli katmanlar: Giriş katmanından aldığı bilgiyi işleyerek bir sonraki katmana iletir Bu katman asıl bilgi işlemenin gerçekleştirildiği katmandır. Her gizli katmandaki nöron sayısı değişkenlik gösterebilir. Genelde bu katmandaki nöronların sayısı giriş ve çıkış katmanındaki nöron sayılarından fazladır. Gizli katman sayısı ağın karmaşıklığını da kontrol altında tutmaya yarar. Çıkış katmanı: Gizli katmandan gelen bilgiyi işler ve giriş katmanına gelen girdiye uygun olarak üretilen çıktıyı dış dünyaya gönderir.Nöronların sayısı sistemden beklenen çıkışlar kadardır. Her nöron tek bir çıkışa aittir.

27 YAPAY SİNİR AĞLARI

28 Ağırlıklar ANN eğitimi ağırlıklardaki değişim demektir.
Ağırlıkların farklı kombinasyonları ANN’nin farklı performanslarını temsil edecektir. Ağırlıklar ANN zekasını oluşturur. ANN’nin öğrenme yeteneğinden bahsediyorsak ağrılıklarından bahsediyoruzdur. Bias: sistem performansını etkiler bias da öğrenmede bir ağırlık gibi alınır Giriş sinyallerinin toplamı 0 olduğunda öğrenme gerçekleşmez. Çıkış değerleri hep 1 olan bias nöronları, nöronların giriş sinyallerinin sürekli sıfırdan farklı olmasını sağlarlar. Öğrenmeyi hızlandırırken yerel optimum değerlere takılmayı güçleştirirler.

29 Aktivasyon Fonksiyonu
Aktivasyon fonksiyonu: bir değişkeni farklı bir boyuta taşıyan doğrusal veya doğrusal olmayan bir fonksiyondur. Aktivasyon fonksiyonunun türevinin kolay alınabilmesi eğitim hızını arttıran bir özelliktir. Sık kullanılan üç aktivasyon fonksiyonu: Sigmoid, Hiperbolik Tanjant Adım Basamak.

30 Aktivasyon Fonksiyonu

31 Aktivasyon Fonksiyonları

32 Örnek YAPAY SİNİR AĞLARI

33 YSA verilen diğer adlar
Bağlantılı ağlar (connectionist networks) Paralel dağıtılmış ağlar (parallel distributed networks) Nöromorfik sistemler (neuromorfic systems) YAPAY SİNİR AĞLARI

34 YSA’ NIN ÖZELLİKLERİ Kendi kendini organize etme ve öğrenebilme yetenekleri vardır (adaptasyon). Eksik bilgi ile çalışabilmektedirler. Hata toleransına sahiptirler. Belirsiz ve tam olmayan bilgileri işleyebilmektedirler. YSA, ani bozulma göstermezler. Sadece nümerik bilgiler ile çalışabilmektedirler. YSA, normal yollarla çözülmesi zor olan problemleri çözmek için tasarlanmışlardır. Bilgi veri tabanında değil ağ üzerinde saklanır. YAPAY SİNİR AĞLARI

35 Dağıtık belleğe sahiptirler.
Örnekleri kullanarak öğrenirler. Örnekler gerçekleşmiş olaylardır. Elde edilen örneklerin olayı tamamı ile gösterebilmesi önemlidir. YSA ların güvenle kullanılabilmesi için önce eğitilmeleri ve test edilmeleri gerekir. Ağın eğitilmesinden sonra ağın hiç görmediği örnekler sisteme verilir ve cevaplara bakılır. Eğer ağ hiç görmediği örneklere doğru cevaplar veriyor ise performansı iyi kabul edilir. Gerekirse ağ yeni örneklerle tekrar eğitilebilir. YAPAY SİNİR AĞLARI

36 YSA’nın dezavantajları
Bir ağın nasıl oluşturulması gerektiğini belirleyen kurallar yoktur. Uygun ağ deneme yanılma yolu ile bulunur. YSA lar kabul edilebilir çözümler üretebilir. Ama bunun optimum çözüm olduğu test edilmeden iddia edilemez. Ağ parametrelerinin seçimine ilişkin de herhangi bir kural yoktur. Her problem için ayrı ayrı değerlendirilmesi gerekir. Ağın öğreneceği problemin ağa gösterilmesi önemli bir problemdir. YSA sadece nümerik değerler ile çalışır. Bu nedenle problemin nümerik değerlere dönüşümü gerekir. YAPAY SİNİR AĞLARI

37 Ağın ne kadar eğitilmesi gerektiğine ilişkin bir metod yoktur
Ağın ne kadar eğitilmesi gerektiğine ilişkin bir metod yoktur. Ağın örnekler üzerindeki hatasının belirli bir değerin altına indirilmesi eğitimin tamamlanması için yeterli görülmektedir. Ağın davranışının açıklanamaması önemli bir problemdir. Bir probleme çözüm üretildiğinde bunun nasıl ve neden üretildiği konusunda bir bilgi bulmak mümkün değildir. YAPAY SİNİR AĞLARI

38 Yapay Sinir Ağları İle Neler Yapmak Mümkün ?
♦ Regresyon ♦ Tahmin Yürütme  ♦ Karar Verme ♦ Zaman Serisi Analizi ♦ Sınıflandırma ♦ Kontrol Benzetimi ♦ Optimizasyon ♦ Doğrusal olmayan sinyal işleme ♦ Doğrusal olmayan sistem modelleme ♦ Karakter, El Yazısı Tanıma ♦ Veri İlişkilendirme ♦ Arıza analizi ♦ Görüntü ve ses tanıma Regresyon analizi, iki ya da daha çok değişken arasındaki ilişkiyi ölçmek için kullanılan analiz metodudur. 

39 Referanslar E.Öztemel, Yapay Sinir Ağları, Papatya Yayıncılık, 2006
Özalp, A. ve Anagün, S. (2003). Yapay Sinir Ağı Performansına Etki Eden Faktörlerin Analizinde Taguchi Yöntemi: Hisse Senedi Fiyat Tahmini Uygulaması, İstatistik Araştırma Dergisi, 2 (1): Karakuzu, C., 2011, Yapay Sinir Ağları Ders Notları, Bilecik Üniversitesi Fen Bilimleri Enstitüsü, Bilecik. Elmas, Ç., 2007, Yapay Zeka Uygulamaları, Seçkin Yayıncılık, Ankara. Bağış, S., 2009, Yapay Zeka Algoritmaları Kullanılarak Sistem Modelleme, Erciyes Üniversitesi Fen Bilimleri Enstitüsü, Kayseri. YAPAY SİNİR AĞLARI