EK BİLGİ Bazı Eniyileme (Optimizasyon) Teknikleri Eniyileme problemi Kısıtlar: Kısıtsız Eniyileme Problemi
‘in ekstremum noktası ise Teorem: 1. Mertebeden gerek koşul ‘in ekstremum noktası ise Teorem: 2. Mertebeden yeter koşul kesin pozitif Nasıl hesaplanır? ‘in minimum noktasıdır. Doğrultu Belirleme (Line Search) Algoritması başlangıç noktasını belirle doğrultusunu belirle ‘yı ‘ya göre enazlayan ‘yı belirle doğrultusunu belirle
Algoritma fonksiyonu enazlayan ‘a yakınsayacak Amaç: Beklenti: Algoritma fonksiyonu enazlayan ‘a yakınsayacak Ne zaman sona erdilecek? doğrultusunu belirle Nasıl ? “en dik iniş “ (steepest descent) Newton Metodu Gauss-Newton Metodu Bu doğrultuların işe yaradığını nasıl gösterebiliriz?
“En dik iniş “ (steepest descent) Metodu ile sağlanır mı? ‘yı hesaplamanın bir yolu ne olabilir? ‘yı civarında Taylor serisine açalım. Sonuç: ‘a yakınsayacak Yakınsamayı belirleyecek
1. Mertebeden gerek koşul Özel durum: Kuadratik 1. Mertebeden gerek koşul Bu herzaman mümkün mü? Kuadratik ise Uygun ‘yı belirlemenin bir yolu var mı? 7. Sayfayı Hatırlayın ‘yı ‘ya göre enazlayan ‘yı belirle Nasıl?
‘yı civarında Taylor serisine açalım. Newton Metodu ile sağlanır mı? ‘yı civarında Taylor serisine açalım. Bu yeni terimlere neden ihtiyaç duyduk?
Kesin Pozitif ise Sonuç: ‘a yakınsayacak Gauss-Newton Metodu ile sağlanır mı? Kısıtlama:
Gauss-Newton Metodu’nun amacı özel bir için Hessian matrisini kullanmadan 2. mertebe yöntem kadar iyi sonuç elde etmek. Bu ifade aslında nedir? İfade aslinda yaklasık olarak r(x^(k))’nın hesaplanması. Taylor serisinde lineer terim alınmış.
varsa Sonuç: ‘a yakınsayacak EK BİLGİNİN SONU Amaç: Verilen eğitim kümesi için, ortalama karesel hata ‘yı öğrenme performansının ölçütü olarak al ve bu amaç ölçütünü enazlayan parametreleri belirle. Toplam ani hata: Ortalama karesel hata: