MIT563 Yapay Zeka ve Makine Öğrenmesi

... konulu sunumlar: "MIT563 Yapay Zeka ve Makine Öğrenmesi"— Sunum transkripti:

1 MIT563 Yapay Zeka ve Makine Öğrenmesi
Y. Doç. Yuriy Mishchenko

2 Ders planı Anomali tespiti sorunu (Anomaly estimation problem)
Tavsiye etme sorunu (Recommender systems problem)

3 Genel kavramları Anomali tespiti ve tavsiye etme, modern makine öğrenmesi sorunlarından birilerdir Anomali tespiti, kalite kontrolü, sahtekarlık algılama (fraud detection, yanı kredi kartlarıyla ilgili), vb sistemlerinde kullanılır; ana amacı: sıradışı olayları yakalamak Tavsiye etme sistemleri, birçok e-komerse sisteminde (hepsiburada vb) müşterilere tavsiye etmek için kullanılır

4 Anomali tespiti sorunu
Olağandışı olayları farketmek Ne için uygulanabilir: Kredi kartı ile ilgili olağandışı kullanıcı davranmayı farketmek için, sahtekarlık (fraud) yakalamak Üretmede kötü parçalar bulmak (kalite kontrolü, cihazın onarıma ihtiyacı belirleme, vb) Otomatik ayarlamada insan operatörün dikkatini çekmek

5 Anomali tespiti sorunu
Genel yaklaşım: “Normal” durumlar için bir model oluşturulur Bu model, olasılık modeli olmalıdır Bu model girdi-çıktı bir model değil, belli bir girdi için olabilir farklı çıktılar için onların olasılıklarını verir Bu model, bu şekilde “normal” ve olağandışı durumlarını ve onların olasılıklarını belirliyor Böyle bir model, genel makine öğrenme metodları kullanarak oluşturur

6 Anomali tespiti sorunu
Yeni bir durum için, bu model kullanarak bu durum “normal” olması olasılığı belirtilir Durum “normal” modeline uygun değilse, yanı “normal” durumda olasılığı çok fazla düşükse, böyle olayları anomali olarak veriliyor

7 Anomali tespiti sorunu
“Normal” model olarak sıkça normal dağılım modeli kullanılır: Normal dağılımı, istatistiğin en önemli dağılımlarından biridir; bu dağılımın ana özelliği, “çan şekline” sahip olmasıdır

8 Anomali tespiti sorunu
Normal dağılım aşağıdaki nedenlerle önemlidir: Bir olayın sonucu birçok bağımsız rasgele faktörlerle belirtilirse, bu olayın sonuçları normal dağılım şekilde olmalıdır (Merkezi Limit Teoremi, Central Limit Theorem)

9 Anomali tespiti sorunu
Örnek olarak, bir olayın sonucu birçok bağımsız rasgele faktörlerin toplamı şeklinde olursa ... Bu sonuclar normal dağılım şeklinde gerçekleştirilecektir (her zaman - altfaktörlerin detaylı doğası fark etmez!!!)

10 Anomali tespiti sorunu
Bu nedenle, normal dağılım birçok gerçek durumda görülebilir Anomali tespiti için, “normal” durumların modeli bu şekilde belirtilebilir

11 Anomali tespiti sorunu
Normal dağılımın olasılıkları bu şekilde tanımlanır:

12 Anomali tespiti sorunu
Normal dağılımı iki parametreyle belirlenir–ortalaması (merkez nokstası), , ve varyansı yada standart sapması (dağılım genişliği), 

13 Anomali tespiti sorunu
Ortalama değeri , çan şeklinin merkez/orta pozisyonunu belirtiyor

14 Anomali tespiti sorunu
Varyans , çan şeklinin genişliğini belirtiyor 2

15 Anomali tespiti sorunu
Normal dağılımı önemli özelliği; Sonuçların... %68’i ortalamasından 2 aralığı içinde bulunur %95’i ortalamasından 4 aralığı içinde bulunur %99,9’i ortalamasından 6 aralığı içinde bulunur

16 Anomali tespiti sorunu
“Normal” durumlarının örnekleri kullanarak ortalaması  ve varyans  değerleri tahmin edilebilir

17 Anomali tespiti sorunu
“Normal” durumların dağılımı oluşturulabilir Bu model dağılıma göre, bütün durumların “normal” olabilmek olasılığı tahmin edilebilir

18 Anomali tespiti sorunu
Eğer yeni bir olay ortalamasından 3’dan daha uzaktaysa, bu olayın “normal” olması olasılığı çok düşüktür (1000 ‘de bir ‘den daha düşük) ...

19 Anomali tespiti sorunu
Bu olay “anomali” olarak kaydedilebilir anomali

20 Anomali tespiti sorunu
“Normal” örnekleri kullanarak, “normal” durumlarının olasılık modeli oluşturulur “Anomali” örnekleri varsa, bu örnekler kullanarak bir “threshold” (eşik) parametresini de belirtilir Yoksa, “threshold” farklı açıdan seçilir, örneğin, normal durumlarının anomali olarak en fazla %0.1 olaylarda kaydedilmesi (demek - hata yapılması olasılığı en fazla %0.1)

21 Anomali tespiti sorunu
“threshold” parametresini kullanarak, normal bölge dışarı olan olaylar (demek ki “normal” olması olasılığı “thershold”’den daha düşük) anomali olarak kaydedilir p p Anomali Anomali

22 Anomali tespiti sorunu
Anomali tespiti önceki makine öğrenme sorunlarından farkı: Genellikle ,“normal” örnekleri çok ve “anomali” örnekleri az (yada hiç) var – önceki makine öğrenme sorunlarında genellikle ikisi de yeterli sayıda vardı “Normal” durumların tek türü, “anomali” durumların çok türü olabilir: normal dışında her şey anomalidir – önceki makine öğrenme sorunlarında genellikle iki durum türü vardı Durum modeli oluşturmak için sadece “normal” örnekleri kullanılır, “anomali” örnekleri yada kullanılmaz yada “eşik” için kullanılır – önceki makine öğrenme sorunlarında genellikle bütün örnekler kullanılmalıydı

23 Tavsiye etme sorunu Tavsiye etme sorunu:
Bir müşteri için, onun tarafından önceden satın alındığı yada arandığı ürünlere göre yeni ürünleri tavsiye etmek Büyük e-komerse sistemlerinde, hepsiburada vb, müşterilere tavsiye etmek için kullanılır Büyük ticaret uygulamaları var

24 Tavsiye etme sorunu Tavsiye etme sorunu, genel makine öğrenme yaklaşımı kullanarak çözülebilir: Bütün ürünler için özellik vektörleri belirlenir, örneğin: Evde kullanım değeri; 0-5 yıldız rating, Eğlence değeri; 0-5 yılzıd rating, Kalite değeri; 0-5 yıldız rating, Fiyat değeri; 0-5 yıldız rating, Markası ünlülük, vb

25 Tavsiye etme sorunu Bu özellikleri kullanarak ve müşteriler için var olan bilgi kullanarak müşterilerin tercih modeli oluşturulur Yeni x-özellikli ürünün beğenilmesi “ratingi”, h(x) =0+Tx En basit - lineer model de olabilir Yeni ürün için, müşterinin olabilecek 0-5 yıldızlı “rating”i tahmin ediyor

26 Tavsiye etme sorunu Bu model, müşteri tarafından önceden izlenmiş yada satın alınmış ürünler kullanarak bulunabilir, onun teta-parametrelerini bulabilir Model teta-parametrelerine bağlı bir uygunluk maliyetinin minimumu azaltılması gerekiyor Oluşturulmuş modeller, müşterilere yeni ürünler tavsiye etmek için kullanılabilir

27 Tavsiye etme sorunu Modeller, maliyet azaltarak buluyoruz;

28 Tavsiye etme sorunu Tavsiye etme modelinin uygunluk maliyeti:
yi,j i. ürün için j. müşterin 0-5 yıldızlı “rating” (değerlendirme) xi, i. ürünün var olan “özellik” vektörüdür j, j. müşterin var olan tercih modelidir

29 Tavsiye etme sorunu Bu yaklaşıma göre, önce var olan müşterilerin ratingleri - yi,j - ve bir şekilde önceden var olan ürünlerin özellikleri - xi – için uygun müşteri terçih modelleri - j - bulunabilir

30 Tavsiye etme sorunu Bukadar mı ???

31 Tavsiye etme sorunu Bu yaklaşımın ana sorunu, binlerce ürünler için özellikleri belirleme gerekliliği Gerçek durumda, bu çok zor ve çok pahalı bir iş olabilir

32 Tavsiye etme sorunu Normalde var olan durum:
Farklı müşteriler tarafından farklı ürünler için sisteminde birçok rating zaten var, ürünlerin özellikleri ama hiç yok Tavsiye etmek için, diğer kullanıcılar tarafından verilmiş ratingler kullanarak hem ürünlerin özellikleri hem de müşterilerin tercihleri belirlemek istiyoruz

33 Tavsiye etme sorunu Yaklaşım:
Bir rasgele şekilde atanmış j modelleri kullanılır Bu rasgele j modellerini kullanarak, ürünlerin xi özellikleri için model maliyet azaltarak optimal değerleri bulunur Bu ürün özelliklerini kullanarak model maliyeti azaltarak müşteriler için yeni j modelleri bulunur Bu şekilde devam edilir ...

34 Tavsiye etme sorunu Rasgele j tercih modellerini kullanarak ürün xi özellikleri bulunur varsayılmış maliyeti azaltarak bulunur

35 Tavsiye etme sorunu Bu ürün özelliklerini kullanarak müşteri tercih j modelleri bulunur önceki geçiş maliyeti azaltarak bulunur

36 Tavsiye etme sorunu Son geçişten müşteri j modellerini kullanarak ürün xi özellikleri tekrar bulunur önceki geçiş maliyeti azaltarak bulunur

37 Tavsiye etme sorunu Önceki geçişten xi özelliklerini kullanarak müşteri tercih j modelleri tekrar bulunur önceki geçiş maliyeti azaltarak bulunur

38 Tavsiye etme sorunu Yakınsamaya kadar tekrarlanır

39 Tavsiye etme sorunu Tavsiye etme özel matematiksel şekli
Matematiksel şekilde, değerlendirme (rating) matris tanımlıyoruz: Y=(yi,j| j. müşteri tarafından i. ürünün değerlendirilmesi - ratingi), Bu anlamda, tavsiye etme sorununda değerlendirme matrisin özel faktör gösterimi buluyoruz, daha kesin olarak - Y=XT

40 Tavsiye etme sorunu Bu gösterimde - Y=XT -
X, ürünlerin özellik matrisi, yada bütün ürünler için özellik vektörleri, X=(x1,x2,...,xm) , müşterilerin tercih matrisi, yada bütün müşterilerin tercih modellerinin teta-parametreleri, =(1,2,...,m)

41 Tavsiye etme sorunu Bu ölçüde, rating matrisi - Y- bilinir biri
Buna göre, Y=XT ilişkisinde olan X ve  matrislerini bulmak gerekiyor Bu soruna “low rank matrix factorization” denir, bu bir matematiksel bir özel sorun

42 Tavsiye etme sorunu Yanı, bir Y matrisi için Y=XT belirli boyutta olan matris faktörleştirilmesi bulmak – “low rank matrix factorization”‘dir Matematikte özel bir alan ve hem bu sorunun özellikleri hem de çözüm yaklaşımları var Bu ölçüde, bu matematiksel sorunun çözümleri tavsiye etme sorununda ticarette kullanılabilir

43 Tavsiye etme sorunu Özel konu: “soğuk başlangıç” (cold start) sorunu;
Yeni müşteriler için, önceden tercih örnekleri bulunmayabilir (aslında hiç yok normalde) Bu durumda, yeni müşteriler için bir “genel” model kullanılmalıdır Böyle genel bir model olarak =0 modeli atamak mantıklıdır Ama, bu modele göre bütün ürünlere Y=X T=0 ratingleri atanır – bu kötü ve mantıklı değil

44 Tavsiye etme sorunu Bu sorunu çözmek için, Y rating matrisinden ortalama değerleri genellikle çıkartılır – yani ortalama rating 0 olsun diye diyoruz, bütün rating’ler bu sıfır noktasına göre yapılsın “Genel” ratingler, bu anlamda, sıfır oluyor, istediğimiz gibi “Genel” model olarak (yanı yeni müşteriler için) =0 model de kullanılabilir

45 Tavsiye etme sorunu Matematiksel, sıfır-ortalamalı ratingler bu şekilde tanımlıyoruz: Yeni müşteriler için, j0 kullanılabilir, ve ratingleri ortalama tavsiye etme anlamında gelir (yanı Y’0 ratingler ortalama tercih anlamındadır)

46 Finito