EK BİLGİ Bazı Eniyileme (Optimizasyon) Teknikleri Eniyileme problemi

... konulu sunumlar: "EK BİLGİ Bazı Eniyileme (Optimizasyon) Teknikleri Eniyileme problemi"— Sunum transkripti:

1 EK BİLGİ Bazı Eniyileme (Optimizasyon) Teknikleri Eniyileme problemi Kısıtlar: Kısıtsız Eniyileme Problemi

2 ‘in ekstremum noktası ise Teorem:
1. Mertebeden gerek koşul ‘in ekstremum noktası ise Teorem: 2. Mertebeden yeter koşul kesin pozitif Nasıl hesaplanır? ‘in minimum noktasıdır. Doğrultu Belirleme (Line Search) Algoritması başlangıç noktasını belirle doğrultusunu belirle ‘yı ‘ya göre enazlayan ‘yı belirle doğrultusunu belirle

3 Algoritma fonksiyonu enazlayan ‘a yakınsayacak
Amaç: Beklenti: Algoritma fonksiyonu enazlayan ‘a yakınsayacak Ne zaman sona erdilecek? doğrultusunu belirle Nasıl ? “en dik iniş “ (steepest descent) Newton Metodu Gauss-Newton Metodu Bu doğrultuların işe yaradığını nasıl gösterebiliriz?

4 “En dik iniş “ (steepest descent) Metodu
ile sağlanır mı? ‘yı hesaplamanın bir yolu ne olabilir? ‘yı civarında Taylor serisine açalım. Sonuç: ‘a yakınsayacak Yakınsamayı belirleyecek

5 1. Mertebeden gerek koşul
Özel durum: Kuadratik 1. Mertebeden gerek koşul Bu herzaman mümkün mü? Kuadratik ise Uygun ‘yı belirlemenin bir yolu var mı? 7. Sayfayı Hatırlayın ‘yı ‘ya göre enazlayan ‘yı belirle Nasıl?

6 ‘yı civarında Taylor serisine açalım.
Newton Metodu ile sağlanır mı? ‘yı civarında Taylor serisine açalım. Bu yeni terimlere neden ihtiyaç duyduk?

7 Kesin Pozitif ise Sonuç: ‘a yakınsayacak Gauss-Newton Metodu ile
sağlanır mı? Kısıtlama:

8 Gauss-Newton Metodu’nun amacı özel bir için Hessian matrisini kullanmadan 2. mertebe yöntem kadar iyi sonuç elde etmek. Bu ifade aslında nedir? İfade aslinda yaklasık olarak r(x^(k))’nın hesaplanması. Taylor serisinde lineer terim alınmış.

9 varsa Sonuç: ‘a yakınsayacak EK BİLGİNİN SONU Amaç: Verilen eğitim kümesi için, ortalama karesel hata ‘yı öğrenme performansının ölçütü olarak al ve bu amaç ölçütünü enazlayan parametreleri belirle. Toplam ani hata: Ortalama karesel hata: