Concept Learning

Örneklerden öğrenme Hipotezlerin genelden özele doğru hazırlanması Aday eleme algoritması Tümevarımsal bakış açısı

Öğrenme Spesifik eğitim verilerinden genel kavramların (kategorilerin) tanımlanması Örn: kuş nedir? Sandalye nedir? Araba nedir?

Kavram (kategori) Birds Things Animals Cars Kavram: benzer nesneleri gruplandırmak için kullanılan kategori olarak tanımlanabilir. Bir kategori, büyük bir kümeden tanımlanan olaylar ve nesneler alt kümesidir örneğin bir kuş kategorisi kuş kategorisine giren tüm nesnelerin bir alt kümesidir. Kuş: bu geniş veri kümesinde tanımlı boolean değerli bir fonksiyondur. (kuşlar için true, diğer hayvanlar için false sonucunu üretir) Cars kümesinin elemanı, birds kümesi için negatif örnek, birds kümesinden bir eleman ise pozitif örnektir. Things Animals Birds Cars

Concept learning Verilen bir grup örnek Concept learning seçilen bir kategorinin üyesidir yada üyesi değildir Concept learning kategorinin genel tanımını otomatik olarak çıkarmak. bir kategorinin sahip olduğu/olmadığı özellikleri belirlemek eğitim setlerindeki giriş ve çıkış verilerinden oluşan boolean-değerli fonksiyonu anlamak

Notasyon Kavram (Concept) kümesine ait tüm nesneler örnek veriler(instances) olarak adlandırılır X Öğrenilecek olan kategori, “hedef kategori” olarak adlandırılır. c: X--> {0,1} Eğitim verileri(training examples) kümesi örneklerden (X) ve bu örneklere ait hedef kategorilerden (c(x)) oluşur. c(x)=1 olduğu kategori üyeleri: pozitif örnekler c(x)=0 olduğu kategori üyesi olmayanlar negatif örnekler tüm olası hipotezler H, h H ve h(x)=c(x), X’deki tüm x değerleri için Concept learning’in amacı bir hipotez bulmaktır.

Concept Learning Example su sporları için uygun günler (values: yes, no) Attributes/features: sky (values: sunny, cloudy, rainy) AirTemp (values: warm, cold) Humidity (values: normal, high) Wind (values: strong, weak) Water (values: warm, cool) Forecast (values: same, change)

Concept Learning Arama Concept Learning: tüm hipotez sınıfı içinde yapılan bir arama. Amaç: geçerli eğitim verisi ile en iyi örtüşen hipotezi bulmak.

Örnek Uzayı

Concept Learning

Hypothesis Space

Hypothesis Space

Örnekteki durum Anlamlı Hipotez Sayısı : 1+4*3*3*3*3*3 = 973 Concept learning işlemi bu ihtimalleri azaltma amaçlıdır. Bu amaç tam olarak gerçekleştiğinde oluşturulan sistem, bir insan gibi tahmin edebilecektir.

Eğitim Verileri Örnek bir eğitim verisi: <Sunny, Warm, High, Strong, Warm, Same, Yes>

Hypothesis Hypothesis Space (H): Hedef kavramın öğrenilmesi boyunca hesaba katılabilecek tüm olası hipotezler. (öğrenilecek tüm olası durumlar) Hipotez örneği:<?,Cold,High,?,?,?> (If the air temperature is cold and the humidity high then it is a good day for water sports) Hedef: tüm olası hipotezler kümesinden “en iyi” kategori tanımının çıkarılması.

General&Specific Hypothesis Most General Hypothesis: Hergün su sporları için uygundur. <?,?,?,?,?,?> ?: nitelik herhangi bir değer alabilir demektir Most Specific Hypothesis: Hiçbir gün su sporları için uygun değildir. <Ø , Ø , Ø , Ø , Ø , Ø > Ø : hiçbir değer alamaz. iki hipotez göz önüne alındığında: - h1 = <Sunny, ?, ?, Ştrong, ?, ?> - h2 = <Sunny, ?, ?, ?, ?, ?> h1:daha belirleyici (spesifik)

General&Specific Hypothesis Her hipotez, pozitif olarak sınıflandırdığı x’lerin yer aldığı, X’in bir alt kümesine aittir. H kümesinde okların yönü daha-genel ilişkisini ifade eder.

Örnek Diyelim ki bir grup arabadan bir C sınıfı öğrenmek istiyoruz. İnsanlar arabalara bakıp arabaları aile arabası olanlar(pozitif) ve diğerleri(negatif) şekilde etiketleyecekler. Sonra ise daha önce hiç görmedikleri bir arabayı direk olarak pozitif yada negatif olarak sınıflayabilecekler. İnsanların bir aile arabasından bekledikleri şekilde bir çıkarım yapılabilir.

… Sınıflandırıcı için giriş değerleri: x1:Fiyat, x2: motor gücü

… Eğitimden sonra bir C sınıfı şu kural ile ifade edilebilir: Yukarıdaki şekilde ifade edilen kurallar birden fazla olabilirler. Bunlar birleşerek bu sınıf için hipotezleri oluştururlar. Hangi hipotezin daha iyi yaklaşıklık üreteceği değişkenlik gösterir. En iyi yaklaşıklık gösteren hipotez sınıfın belirlenmesinde en iyidir.

Hipotez sınıfı: H Bizim örneğimizde hipotez sınıfı H, olası tüm dikdörtgenlerin kümesidir. Her dörtlü bir hipotezi tanımlar (h from H). En iyi olanı seçmeliyiz, diğer bir deyişle, tüm pozitif örnekleri içine alacak aynı zamanda hiç negatif örnek almayacak olan bu dört parametre değerlerini bulmamız gerek.

Hipotez sınıfı: H Başka bir alternatif most specific hipotez S’i bulmaktır. Tüm pozitif değerleri içeren aynı zamanda hiç negatif değer içermeyen en dar dikdörtgendir. G genel hipotezdir, tüm pozitif değerleri içeren aynı zamanda negatif içermeyen çizilebilen en geniş dikdörtgendir. S ve G arasında verilen herhangi bir h hipotezi geçerli bir hipotezdir 0 hata ile sınıflayacaktır

Multiple Classes

Gürültü Öğrenmek daha zor. Giriş verilerinin özellikleri kaydedilirken beklenmedik durumlar olabilir. Verileri etiketlerken istenmeyen durumlar olabilir(teacher noise). Hesaba katmadığımız ilave attribute’ler olabilir. Bu attribute’ler sınıf etiketlerini etkileyebilirler.

Gürültü Eğer gürültü varsa pozitif ve negatif arasında basit bir sınır yoktur. Hipotezler sınıfında yer alanlardan daha karmaşık bir hipoteze ihtiyaç vardır. Bir diktörgen 4 sayı ile ifade edilebilir. Ama daha karmaşık bir model daha çok parametreye ihtiyaç duyacaktır. Hangisi daha iyi? Karmaşık bir modelde çok iyi öğrenme modeline örtüşme sağlanabilir ve sıfır hata ile öğrenilebilir Başka bir yol ise modeli bir miktar hata oranı ile yani şekildeki dikdörtgenle daha basit kurmaktır.

Hipotez Sınıfı Aramadaki Algoritmalar Find-S Candidate Elimination Algorithm (CEA)

Find-S (Finding a maximally specific hypothesis) H sınıfındaki olası en spesifik hipotez h={ Ø, Ø, Ø, Ø, Ø, Ø} ile başla. Her bir pozitif eğitim verisi x için h hipotezinin her bir attribute değeri için (ai) Eğer h kümesinin elemanıyla aynı ise, h hipotezi üzerinde oynama yapma Değilse VEYA işlemine tabii tut. Ve h hipotezini bu yönde değiştir Çıkış: h hipotezi

Find-S Örnek çalışma h={ Ø, Ø, Ø, Ø, Ø, Ø} ve ilk sıradaki eğitim verisi: x1=<Sunny, Warm, High, Strong, Warm, Same, Yes> alındığında: h hipotezindeki hiçbir Ø durum x örneğindeki durum ile karşılanmaz o halde her biri daha genel olan x örneğinin özellikleri ile yer değiştirir (bu örneğe oturmak-fitting için). Bu eğitim verisi için nitelik değerleri şu şekli alır: h <Sunny, Warm,Normal, Strong, Warm, Same> İkinci eğitim verisi de pozitiftir ve h’da değişiklik yapılır. x2=<Sunny, Warm, High, Strong, Warm, Same, Yes> h<Sunny, Warm,?, Strong, Warm, Same> Üçüncü eğitim verisi negatiftir ve h hipotezinde değişiklik yapılmaz. Find-S Algoritması basitçe negatif örnekleri dışlar. Dördüncü eğitim verisi pozitiftir ve h’da değişiklik yapılır. h<Sunny, Warm,?, Strong, ?, ?>

Find-S Find-S ile yapılan hipotez uzayı araması. Arama h0(en spesifik) ile başlar h4(en genel) devam eder. Örnek uzayı diagramında pozitif/negatif örnekler belirtilmiştir.

Find-S Dezavantajları H hipotezlerinden indirgenerek bulunan yeni hipotezler, D kümesi (tüm durumlar) ile tutarlı olduğu farz edilir. Fakat Find-S, bu hipotez kümesinden farklı bir hipotez gelirse tutarlı hipotezler oluşturamaz. Diğer bir deyimle hedef fonksiyon, hipotez kümesi içerisindeyse Find-S ile bulunur. En spesifik duruma göre işlem yapmanın en doğru yol olduğu tartışılır. H a bağlı olarak, çeşitli en spesifik durum hipotezleri çıkabilir, Find-S bu hipotezleri geri dönerek işleyemez. Negatif eğitim örneklerinin dikkate alınmaması, hatalara yada ihtimallere karşı sağlam olmayan bir sistem oluşturur. Tüm tutarlı hipotez kümesini denetleyemediğinden bu hipotezler arasındaki ilişkileri belirleyemez, buna göre sonuçlar çıkaramaz.

Version Space ve CEA Find-S ve CEA gürültü verileri eklendiği taktirde gösterdikleri düşük performans nedeni ile kısıtlı alanlarda tercih edilirler.

CEA CEA algiritması, geçerli eğitim verisi ile tutarlı olan tanımlanabilen tüm hipotezleri bulur. Tanım: eğer hipotez h eğitim verileri ile tutarlı ise o zaman bu verileri doğru şekilde sınıflandırabilir.

Version Space (Tanımlama Uzayı) CEA algoritması, geçerli eğitim verilerinin tümü ile tutarlı olan hipotezleri temsil etmektedir. Tüm hipotezlerin bu alt kümesi version space olarak adlandırılır. Version spece (Tanımlama uzayı), oluşan en genel durum ve en spesifik durum arasındaki ilişkiyi belirler.

Specific/General Boundry The Specific boundary S: Hipotez alanı H ve eğitim verileri D ye göre, S, H’daki, D ile tutarlı en az genel (i.e., maximally specific) elemanlardan oluşan kümedir. The General boundary G: Hipotez alanı H ve eğitim verileri D ye göre, G, H’ın D ile tutarlı en genel üyeleridir.

Candidate Elimination Learning Algorithm Algoritma ile: Geçerli eğitim verileri ile tutarlı olan H kümesindeki hipotezleri kapsayan version space hesaplanır. Tanımlama uzayını oluşturmaya ilk olarak tüm hipotezleri başlangıç durumuna set ederek başlar. Bu sınır kümeleri bütün hipotez uzayını sınırlandırır. Tüm hipotezler hem G0’dan daha özel hem de S0’dan daha geneldirler. Her yeni eğitim verisi ile G ve S özelleştirilir ve genelleştirilir. Neden? Tüm örnekler işlendikten sonra hesaplanan tanımlama uzayı giriş verileri ile tutarlı olan hipotezleri kapsar.

CEA Adımları G kümesini, H’daki en genel hipotezlerden oluşur şekilde başlangıç durumuna getir. S kümesini H’daki maksimum spesifik hipotezlerden oluşur şekilde başlangıç durumuna getir. G0  {<?, ?, ?, ?, ?, ?>} S0  {<  ,, , , , >} Bütün durumları içeren D eğitim örnekleri kümesinin herhangi bir d elemanı için; Eğer d pozitif bir durumsa (örn: Hava güneşli ise, yüzme sporu yapılabilir gibi) En genel durum bundan etkilenmez yani G değişmez. Fakat En spesifik durum değişir. Yeni gelen durum, bir önceki spesifik durumla VEYA işlemine tutulur. Eğer d negatif durumsa(örn: Rüzgar şiddetli olduğunda, spor yapılamaz gibi) En spesifik durum bundan etkilenmez. Yani S değişmez. Fakat en genel durum değişir.

CEA Çalışma Örneği-Trace1 1 ve 2. eğitim verileri S sınırını daha genel olması için zorlarlar. G sınırı üzerinde ise etkileri olmaz

Trace 2 3. eğitim verisi negatif bir örnektir ve G2 sınırını spesifikleşmesi için zorlar. G3 kümesinin elemanları arasında neden <?,?,normal,?,?,?> yada <rainy, ?,?,?,?,?>yoktur? Çünkü bunlar bir önceki pozitif elemanları kapsayan S sınır kümesi ile tutarlı değillerdir.

Trace 3 4. pozitif eğitim verisi S sınırını S3’ten S4’e genelleştirir. Yeni S4’e göre daha genel olmayan G3 elemanı ise silinir.

EnjoySport concept learning problemi için final tanımlama uzayı. S4 ve G4 sınırları ile version space sınırlandırılır.

Inductive Bias Örneklerden bir boolean fonksiyonu öğrenmek: Her ayrı eğitim örneği hipotezlerin yarısını çıkartır (tahminleri yanlış olanları) x1=0, x2=1 ve çıkış=0 ise hipotezlerini çıkarır. Tüm olası hipotezlerle başlanır ve daha çok eğitim verisi gördükçe örtüşmeyen hipotezler çıkarılır. Eğer bize verilen eğitim kümesi olası tüm örneklerin sadece küçük bir kümesini kapsıyorsa, genelde olduğu gibi- çıkışın ne olması gerektiğini sadece giriş verilerinin küçük bir yüzdesi için biliyorsak- çözüm tekil değildir. N tane örnek durumu gördükten sonra geriye olası fonksiyon kalır. Bu bir “ill-posed” problem örneğidir. Bu problemde veri tek başına tekil bir çözüme erişmek için yeterli değildir.

Inductive Bias Eğer öğrenme ill-posed ise, veri kendi başına tekil çözüm için yetersiz ise, o zaman bazı ekstra varsayımlar yapmamız gerekir. Bu varsayımların kümesi, öğrenme algoritmasının “inductive bias”’ı olarak adlandırılır.

Model Seçimi ve Genelleme inductive bias olmadan öğrenmek mümkün değildir. O zaman şimdi soru doğru bias’ın nasıl seçileceğidir. Bu model seçimi olarak adlandırılır ve olası H(hipotez kümeleri) arasından seçim yapmaktır. Bu sorunun cevabı için makine öğrenmesinin amacı hatırlanmalıdır: bugünkü durumlara bakarak gelecek durumları doğru kestirebilmek. Yani bir giriş için doğru çıkışı üretebiliyor olmamız gerekir. Eğitim verisinde biri için doğru çıkış verilmemiş ise eğitim seti üzerinde iyi eğitilmiş olan bir model yeni girişler için doğru çıkışları üretebilmelidir. Bu genelleme olarak adlandırılır.

Underfitting-Overfitting Özelliklerin seçimi algoritmanın çalışmasında etkili olacaktır. Makine öğrenmesinde eğitim verilerine tam oturan en basit modeli bulmak isteriz. Just right (not under/overfit) Ancak bu durumda gelecek tahminler doğru yapılabilir.

triple-trade-off Verilen bir eğitim seti ve H (hipotez sınıfında), en düşük eğitim hatasına sahip ’ı bulabiliriz. Fakat eğer H düzgün seçilmemiş ise, hangi h’ı seçersek seçelim iyi bir genelleme elde edemeyiz. Tüm öğrenme algoritmalarında, 3 faktör arasında bir trade-off vardır: hipotezin kompleksliği yani hipotez sınıfının kapasitesi eğitim setinin büyüklüğü yeni örnekler üzerinde genelleme hatası

Cross-validation Bir hipotezin genelleme kabiliyetini ölçebiliriz. Bunu veri setini ikiye ayırarak yaparız. Training set Validation set Training  to fit hipotez Validation  genelleme için Validation set üzerindeki en doğru hipotez sınıfı en iyisidir. Modelin ne kadar iyi öğrendiğini test etmek için kullanılan bu işlem cross-validation olarak bilinir.

Cross-validation Kurduğumuz modelin hata payı için validation error değeri kullanılmaz. Validation set en iyi modelin seçilmesinde kullanılmıştır. Bu durumda 3. bir kümeye ihtiyaç vardır: Test set : Eğitimde veya validation da kullanılmamış verilerden oluşur. training set: Öğretmenin konuyu öğretirken sınıfta çözdüğü problemler, validation test: sınav soruları Test set: daha sonra tek başımıza çözdüğümüz sorular Training Set: %50 Validation Set: %25 Test Set: %25 Validation set bir kez kullanıldıktan sonra training setin parçası haline gelir. Her yıl aynı sorular sorulursa öğrenciler öğrenmeden sadece çıkan soruları öğrenerek başarılı sayılabilirler. Sadece bu soruların cevaplarını ezberlerler.

Dimensions of ML Algorithm

Örnek Supervised Learning m2 oda sayısı fiyat 250 3 400 140 2 230 150 3 310 90 2 170 180 4 240 .. .. .. m=47 inputs x: input variables/features y:output variables/target (x,y):training example n: özellik sayısı

References T.M. Mitchell, Machine Learning, McGraw Hill, 1997. E.Alpaydin, Introduction to Machine Learning, MIT Press, 2010.