Makine Öğrenmesinde Yeni Problemler YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ.

... konulu sunumlar: "Makine Öğrenmesinde Yeni Problemler YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ."— Sunum transkripti:

1 Makine Öğrenmesinde Yeni Problemler YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

2 Aktif Öğrenme (Active Learning) Eğitim örneklerinin etiketlerinin başta belli olmadığı, algoritmanın etiketini istediği örnekleri seçtiği problemlerdir. Amaç: veri etiketleme maliyetini azaltmak Yöntem: Tüm eğitim seti yerine bir kısmını kullanmak. Belirli bir test seti üzerinde; tüm eğitim setini kullanmış olmamıza göre benzer, kabul edilebilir derecede düşük ya da daha yüksek başarı elde etmek YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

3 Aktif Öğrenme Adımlar A: Küçük bir eğitim setiyle (E) başla. (eğitim kümesinin az bir kısmının etiketlerini iste) B: Bir model üret. Bu modele göre etiketsiz eğitim örneklerine (EE) dair tahminlerini üret. C: Bu tahminlere göre bu örneklerden bir kısmını seç (tahmin kesinliğine göre) ve etiketlerini iste. (EE’den çıkar, E’ye ekle) B ve C adımlarını tekrar et YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

4 Aktif Öğrenme Sorular İlk eğitim setinin (E) seçiminin önemi var mı? EE’deki örneklerin sınıflandırma problemlerinde tahmin kesinliği nasıl hesaplanır? Tahmin kesinliği Regresyon problemlerinde nasıl ölçülebilir? Kolektif öğrenme nerede kullanılabilir? YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

5 Yarı Eğiticili Öğrenme (Semisupervised Learning) Modelin oluşturulmasında etiketli verilerin yanında etiketsiz verilerinde kullanıldığı problemlerdir. Temel fikir: Elde hem etiketli hem de etiketsiz veriler var. Belirli bir test seti üzerinde, sadece etiketli verileri kullanmak yerine, etiketsizleri de kullanmak daha olur. YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

6 Yarı Eğiticili Öğrenmede Sorular Etiketsiz örneklerin tahmini sınıfları nasıl hesaplanır? Regresyon problemlerinde nasıl hesaplanır? Kolektif öğrenme nerede kullanılabilir? YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

7 Kısmı Etiketler (Partial labels) Örneklerin birden fazla etiketi var. Sadece 1’i doğru. Ör: İçinde birden fazla kişinin olduğu resimler ve resimdeki kişilerin isimlerinin listesi var. Her yüz listedekilerden birine ait. Ama hangisi hangisinin ismi belli değil. YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

8 Çok Etiketli Verilerde Öğrenme (Multi-label learning) Bir örneğin birden fazla doğru etiketinin olduğu durumlar: –Bir kişi hem baba, hem öğretmen, hem şişman olabilir. –Bir haber metni hem siyaset hem ekonomiye ait olabilir. –Bir kişide birden çok hastalık olabilir. YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

9 Kalabalıktan Öğrenme (Learning from crowds) Örneklerin çok sayıda öğretmenin etiketlediği, hangisinin doğru olduğunun bilinmediği durumlar. 100 kişiye elinizdeki verileri etiketletiyorsunuz. Kişilerin genel güvenilirlikleri belli / değil Kişilerin belirli tür örnekler için güvenilirlikleri farklı/ eşit YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

10 Bütçeli Öğrenme (Budgeted learning) Elinde bir bütçe var. Bununla elindeki eğitim kümesinin örneklerini, örneklerin özelliklerini satın alıyorsun. Amaç eldeki bütçe (minimum data) en iyi test performansını elde etmek YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

11 Planlı Öğrenme (Curriculum Learning) İnsanları eğitim örneklerini derecelendirerek eğitiyoruz. Önce ilkokul, sonra lise, üni. vb. Aynı şey makine öğreniciler için de mümkün mü? http://ronan.collobert.com/pub/matos/2009_curric ulum_icml.pdfhttp://ronan.collobert.com/pub/matos/2009_curric ulum_icml.pdf Verili bir veri kümesi için örneklerin zorluk dereceleri nasıl hesaplanır? Zorluk dereceleri farklı örnekler nasıl üretilir? YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

12 Planlı Öğrenme (Curriculum Learning) Eğitim kümesindeki örnekleri zorluğa göre derecelendir. Her seviye için: –Eğitim ve validasyon kümesi ayır. –Önceki seviyenin eğitimiyle bu eğitimi birleştir. –Validasyonda test et. –Test başarısız olduğu sürece ve validasyonda örnek olduğu sürece Eğitime validasyondan örnek aktar. Validasyonun kalan kısmında test et. –(opsiyonel) Eğitim ve validasyonu birleştir. Eğit. –Bir sonraki seviyeye geç M.Fatih AMASYALI YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

13 Anomaly / Novelty Detection One class classification Normal ve anormal durumların tespiti Uygulama alanları –Güvenlik kameraları izleme –Network trafiği izleme M.Fatih AMASYALI YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

14 Transfer learning Bir problemi çözdükten sonra, benzeri başka bir problemi sıfırdan çözmek yerine önceki verileri, modelleri, parametreleri (gerekiyorsa dönüştürerek) kullanmak Amaç: yeni problemi sıfırdan çözmeye göre daha az maliyetli bir çözüm bulmak M.Fatih AMASYALI YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

15 Online learning / Lifelong learning Modelin bir kez oluşturulup kullanılması zaman içinde değişen veriler için uygun değil Bu tür problemler için, öğrenimi devam eden modeller gerek Amaç: Minimum maliyetle modeli güncel tutmak M.Fatih AMASYALI YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

16 Multi-task learning Aynı anda birden fazla şeyi öğrenmek Hem A hem B veri kümesini aynı yapı içinde modellemek Hem satranç, hem dama oynayabilen tek bir sistem M.Fatih AMASYALI YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

17 Active Sampling Yeni eğitim datalarının neler olması gerektiğini keşfetmek Kararlarına güvenmediğin bölgelerden yeni örnekler iste Amaç: Veri toplama sürecinin maliyetini azaltmak M.Fatih AMASYALI YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

18 Data Augmentation Eğitim datasını arttırmak –mümkünse simülasyon –Eğitim datasındaki örneklerle Amaç, yapay veriler üreterek eğitim kümesini daha iyi hale getirmek Örnek: bir resmin sınıfı, resmi basit dönüşümlere uğratsak değişmez M.Fatih AMASYALI YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

19 Algoritmaları Kandırmak Spam email atanlar spam filter ları kandırmaya çalışır –http://www.popsci.com/byzantine-science-deceiving- artificial-intelligencehttp://www.popsci.com/byzantine-science-deceiving- artificial-intelligence –https://arxiv.org/abs/1412.1897https://arxiv.org/abs/1412.1897 –http://www.kdnuggets.com/2016/04/tricking-deep- learning.htmlhttp://www.kdnuggets.com/2016/04/tricking-deep- learning.html Bunu bir avantaja çevirmek mümkün mü? –Adversarial learning –Generative Adversarial Networks https://www.quora.com/What-are-Generative-Adversarial-Networks https://arxiv.org/abs/1406.2661 M.Fatih AMASYALI YILDIZ TEKNİK ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ