Sunuyu indir
Sunum yükleniyor. Lütfen bekleyiniz
YayınlayanYağmur Gökbakar Değiştirilmiş 8 yıl önce
1
Verilen eğitim kümesi için, ortalama karesel hata ‘yı öğrenme performansının ölçütü olarak al ve bu amaç ölçütünü enazlayan parametreleri belirle. EK BİLGİ Bazı Eniyileme (Optimizasyon) Teknikleri Eniyileme problemi Kısıtlar: Kısıtsız Eniyileme Problemi Hatırlatma
2
Teorem: 1. Mertebeden gerek koşul ‘in ekstremum noktası ise Teorem: 2. Mertebeden yeter koşul kesin pozitif ‘in minimum noktasıdır. Nasıl hesaplanır? Doğrultu Belirleme (Line Search) Algoritması başlangıç noktasını belirle doğrultusunu belirle ‘yı ‘ya göre enazlayan ‘yı belirle doğrultusunu belirle Hatırlatma
3
Amaç: Beklenti: Algoritma fonksiyonu enazlayan ‘a yakınsayacak Ne zaman sona erdilecek? doğrultusunu belirle Nasıl ? “en dik iniş “ (steepest descent) Bu doğrultuların işe yaradığını nasıl gösterebiliriz? Newton Metodu Gauss-Newton Metodu
4
ile sağlanır mı? ‘yı hesaplamanın bir yolu ne olabilir? ‘yı civarında Taylor serisine açalım. Sonuç: ‘a yakınsayacak Yakınsamayı belirleyecek “En dik iniş “ (steepest descent) Metodu
5
Özel durum: Kuadratik 1. Mertebeden gerek koşul Kuadratik ise Uygun ‘yı belirlemenin bir yolu var mı? ‘yı ‘ya göre enazlayan ‘yı belirle 7. Sayfayı Hatırlayın Bu herzaman mümkün mü? Nasıl?
6
ile sağlanır mı? ‘yı civarında Taylor serisine açalım. Bu yeni terimlere neden ihtiyaç duyduk? Newton Metodu
7
Kesin Pozitif ise Kesin Pozitif???? Sonuç: ‘a yakınsayacak ile sağlanır mı? Kısıtlama: Gauss-Newton Metodu
8
Gauss-Newton Metodu’nun amacı özel bir için Hessian matrisini kullanmadan 2. mertebe yöntem kadar iyi sonuç elde etmek. Bu ifade aslında nedir?
9
Sonuç: ‘a yakınsayacak varsa EK BİLGİNİN SONU Amaç: Verilen eğitim kümesi için, ortalama karesel hata ‘yı öğrenme performansının ölçütü olarak al ve bu amaç ölçütünü enazlayan parametreleri belirle. Toplam ani hata: Ortalama karesel hata:
10
Yapılan: yerine ‘yi en azlamak Eğitim kümesindeki k. veri için ileri yolda hesaplananı yazalım: 1. Gizli Katman Çıkışı 2. Gizli Katman Çıkışı
11
Eğitim kümesindeki k. veri için hesaplanan toplam ani hata
12
Çıkış katmanındaki j. nöron ile gizli katmandaki i. nörona ilişkin ağırlığın güncellenmesi Ağırlığın güncellenmesi Hangi yöntem? “en dik iniş “ (steepest descent)
13
Notasyona Dikkat!!!!! k eğitim kümesindeki kaçıncı veri olduğu aynı zamanda güncellemede bir iterasyon içinde kaçıncı defa güncellendiği çıkış katmanında j. nöron çıkışı gizli katmandaki i. nöron çıkışı Yeni notasyon Çıkış katmanı Gizli katmanın sayısı
14
Gizli katman ve çıkış katmanındaki her nöron iki iş yapıyor: (i) nöron çıkışındaki işareti nöron girişindeki işaretler cinsinden hesaplıyor, (ii) gradyen vektörünü geriye yayılım için yaklaşık olarak hesaplıyor Yerel gradyen
15
Çıkış katmanındaki tüm ağırlıkların güncellenmesi
16
gizli katman (gks-1)’deki j. nöron ile gizli katman (o)’daki i. nörona ilişkin ağırlığın güncellenmesi
Benzer bir sunumlar
© 2024 SlidePlayer.biz.tr Inc.
All rights reserved.