M ODEL B AŞARILARININ G RAFIKLERLE T ESPITI

Betül MACUN Burcu KAVAK Gizem BAŞTÜRK Güzin TÜRKSOY Nur Zeynep DEĞERLİ

Veri madenciliği büyük veri yığınları içerisinden gelecek ile ilgili tahminde bulunabilmemizi sağlayabilecek bağıntıların bilgisayar programı kullanarak aranmasıdır. Bilgisayar programında elimizdeki veriler ile bir model oluşturarak bu bağıntıları elde ederiz.

Oluşturulan modeller ne kadar başarılı?

Model değerlendirme, model geliştirme sürecinin ayrılmaz bir parçasıdır. Veriyi temsil eden eden ve gelecekte yürürlüğünü sürdürebilecek en uygun modeli bulmaya yardım eder.

Bir karar verici için verilen kararın doğruluğu, onun yeteneklerine, deneyimine ve bilgi birikimine olduğu kadar sahip olduğu veri kümesinin yeterliliğine de bağlıdır.

Kurulan modelin doğruluk derecesi ne denli yüksek olursa olsun, gerçek dünyayı tam anlamı ile modellediğini garanti edebilmek mümkün değildir. Yapılan testler sonucunda geçerli bir modelin doğru olmamasındaki başlıca nedenler, model kuruluşunda kabul edilen varsayımlar ve modelde kullanılan verilerin doğru olmamasıdır.

E VALUATION C HART N ODE (D EĞERLENDIRME G RAFIĞI ) Bu grafik, uygulamadaki en uygun modeli seçmek için öngörü modellerini karşılaştırmak ve değerlendirmek için kolay bir yol sunar. Evaluation Chart, çıktıları öngörmede modelin ne kadar başarılı olduğunu gösterir.

G RAFIĞIN ÇALIŞMA ŞEKLI ŞU ŞEKILDEDIR ;  Kayıtları, tahmin edilen değer ve tahmin güvenini baz alarak sınıflandırır ve eşit büyüklükte dilimlere ayırır, daha sonra her bir dilim için en yüksekten en düşüğe doğru değişkenlerin grafiğini çizer.  Çoklu modeller çizelgede ayrı çizgiler olarak gösterilir.

Çıktılar için başarı bir değer aralığı veya özel bir değer olarak tanımlanır. Başarı, genellikle sınıf başarısını (örneğin bir müşteriye satış) veya ilgilenilen olayı (örneğin özel bir tıbbi teşhis) gösterir.

Başarı için kriterleri ‘Dialog Box’ bölümünden ‘Options‘ (Seçenekler) sekmesinden veya aşağıda verilen başarı kriterleri varsayımlarından belirleyebiliriz :  Flag değişkenlerinde doğru olarak tanımlanan değer başarıyı gösterir.  Set değişkenlerinde, ilk değer başarı olarak tanımlanır.  Range değişken alanı için başarı, alan aralığının orta noktasından daha büyük bir değere eşittir.

Grafiğin sol tarafında kümülatif grafikler için daha yüksek çizgiler daha iyi modeller gösterir. Kümülatif olmayan grafiklerin çoğu çok benzer olacaktır. İyi bir model için kümülatif olmayan grafikler, grafiğin sol tarafına doğru daha yüksek olmalıdır ve grafiğin sağ tarafı daha düşük olmalıdır.

Sol tarafa eğimli grafikler veya sağ tarafa doğru sivrilen grafikler model için kötü tahmin yapıldığını gösterebilir. Grafik üzerindeki çizginin tamamen düz olması modelin veri hakkında hiçbir bilgi sağlamadığını gösterir.

G AINS C HART (K AZANIM G RAFIĞI )

Kümülatif kazanım grafikleri her zaman %0 ile başlar ve soldan sağa gidildikçe %100 noktasında biter. İyi bir model için Gains Chart %100’e doğru dik olarak artar ve sonlanır. Veriler hakkında bir bilgi sağlamayan model sol alt köşeden sağ alt köşeye doğru çapraz bir şekil gösterir.

Dilimdeki Başarı Sayısı x 100% Toplam Başarı Sayısı

L IFT C HART (A SANSÖR G RAFIĞI )

Kümülatif Lift Chart 1.0 değerinin üzerinde bir yerde başlar ve soldan sağa doğru 1.0 değerine ulaşana kadar yavaş yavaş inerler. Grafiğin sağ kenarı tüm veri kümesini temsil eder, bu yüzden verideki başarının kümülatif dilimdeki başarıya oranı 1’dir. İyi bir model için çizgiler grafiğin sol tarafında 1.0 noktasının epey üstünde bir değerde başlamalıdır. Veri ile ilgili bilgi sağlamayan model için çizgi tüm grafikte yaklaşık 1.0 civarındadır.

Dilimdeki Başarı / Kayıttaki Başarı Toplam Başarı / Toplam Kayıt

R ESPONSE C HART (Y ANIT G RAFIĞI )

Kümülatif Response Chart, Lift Chart ile benzerdir. Response chartlar genellikle %100 civarında başlar ve grafiğin sağ tarafında genel yanıt oranına (toplam başarı/toplam kayıt sayısı) ulaşıncaya kadar yavaş yavaş iner. İyi bir model için çizgi sol tarafta %100 civarında başlar ve sağa doğru hareket edildikçe bir süre aynı hizada devam eder ve sonunda grafiğin sağ tarafındaki genel yanıt oranına doğru azalarak sonlanır. Veriler ile ilgili bilgi sağlamayan bir model için, çizgi genel yanıt oranı civarında takip eder.

Dilimdeki Başarı x 100% Dilimdeki Kayıt

P ROFIT C HART (K AR G RAFIĞI )

Kümülatif Profit Chart, karların toplamını gösterir. Profit Chart genellikle 0 civarında başlar ve orta noktada bir kırılma meydana gelene kadar sağa doğru giderek artar. Kırılma noktasından sonra sağa doğru giderek azalır. İyi bir model için kar grafiğinin ortasında iyi bir kırılma noktası olmalıdır. Veriler ile ilgili bilgi sağlamayan bir model için çizgi genelde düz olur ancak maliyet/gelir oranına bağlı olarak artan yada azalan olabilir.

Kar, her kayıtın getirisi ile kayıtların maliyeti arasındaki fark ile bulunur. Bir dilim için kar basitçe dilimdeki bütün kayıtların kar toplamlarıdır. Karların sadece başarılar için uygulandığı varsayılır, fakat maliyet bütün kayıtlar için uygulanır. Kar ve maliyet sabitlenebilir veya verideki alanlar olarak belirlenebilir.

Kar; Dilimdeki Kayıtların _ Dilimdeki Kayıtların Getirilerinin Toplamı Maliyetlerinin Toplamı

ROI (R ETURN ON INVESTMENT ) C HART (Y ATIRIM G ETIRISI G RAFIĞI )

Kümülatif ROI Chart, Response Chart ve Lift Chart ile benzerlikler göstermektedir. ROI Chart genellikle %0 ‘ın üzerinde bir yerde başlar ve tüm veri kümesi genel yatırım getirisine ulaşıncaya kadar yavaş yavaş inmeye devam eder (Negatif olabilir). İyi bir model için çizgi %0’ın üzerinde başlamalıdır. Eğer sağa doğru hareket edilirse grafik bir süre aynı seviyede kalır ve daha sonra sağ tarafa doğru azalarak son bulur. Verilere uygun olmayan bir model için çizgi ROI değerleri civarında takip eder.

Dilimin Karı x 100% Dilimin Maliyeti

Kümülatif olmayan grafikler çoğunlukla modellerin özellikle sorunlu alanlarında üstünlük gösterirken, kümülatif grafikler modellerin genel performansını iletmede daha iyidir.

H 0 : Β 1 = Β 2 = Β 3 = Β 4 = Β 5 = 0 H 1 : E N AZ BIR Β J SIFIRDAN FARKLIDIR.

Çocuklardaki Saldırganlık = * Televizyon * Bil. Oyunları (0.012) (0.046) (0.037) * Kardeş * Diyet * Ebeveyn (0.039) (0.038) (0.015)

Lens kullanma değişkeni için; 1 : Sert kontakt lens kullanması gereken hastalar 2 : Yumuşak kontakt lens kullanması gereken hastalar 3 : Lens kullanmaması gereken hastaları İfade etmektedir.

Hastanın Yaşı : (1) Genç, (2) Pre-presbit, (3)Presbit Göz Hastalığı : (1) Miyop, (2) Hipermetrop Astigmat : (1) Yok, (2) Var Göz Yaşı Üretim Hızı : (1) Azaltılmış, (2) Normal