Veri Madenciliğine Giriş Yrd. Doç. Dr. Ayhan Demiriz D8 - 403 ademiriz@sakarya.edu.tr www.sakarya.edu.tr/~ademiriz

Veri Madenciliğine Giriş Dersin Tanımı: Bu ders veri madenciliğinin istatiksel, makine öğrenimi ve veri tabanı yönünden temellerini içermektedir.Ders üç kısımdan oluşmaktadır. Birinci kısım veri madenciliği için istatistik ve makine öğrenimi yaklaşımının temelleri hakkındadır. İkinci kısımda Online Analitik İşlem, ilişki kuralları ve gruplama gibi işlemler için temel veri madenciliği ve algoritmalar işleyeceğiz. Dersin son kısmı metin madenciliği, birliktelik filtresi, bağlanti analizi ve biyoinformatik gibi alanlarda araştırmalar üzerine odaklanmaktadir (zaman müsait olursa). Tavsiye Edilen Kitaplar (Opsiyonel): Data Mining Techniques For Marketing, Sales and Customer Support. M. J. A. Berry and G. Linoff. Wiley. Principles of Data Mining. D. J. Hand, H. Mannila, P. Smyth. The MIT Press.

Veri Madenciliğine Giriş

Bilgi Keşfi: Aşamalar

Veri Madenciliği Nedir? Büyük hacimli veri içerisinden; anlamlı, gizli kalmış ve kuruluşun karar destek sistemi için potansiyel olarak faydalı olabilecek bilgilerin çıkarıldığı ve geri planında istatistik, yapay zeka ve veritabanlarının bulunduğu veri analiz tekniğine Veri Madenciliği (Data Mining) adı verilir. Veri madenciliği, potansiyel olarak faydalı, yeni ve mantıklı bilgi elde etmek için büyük veri tabanları üzerinde birden fazla basamaktan oluşan bir analiz yapmaktır.Veri madenciliğinin amacı, veritabanlarında saklı olan ilişkileri ortaya koymaktır.

Veri Madenciliği: Anlamlı örüntüler(bağımsız değişkenleri içeren genel ifadeler-ingilizcede pattern) ve kurallar çıkarmak amacıyla, büyük miktarda verilerin analizi ve araştırmasıdır. Bir bilgi çıkarma aktivitesidir. Ham verileri kullanarak önemli ilişkileri çıkarmaktır. Yüksek miktarda verilerin analizini gerçekleştir-mek için geliştirilen güçlü teknikleri içerir. Sadece bir tane veri madenciliği yaklaşımı olmayıp, daha ziyade bu tekniklerin kombinasyonları kullanılmak-tadır.

VTYS, OLAP ve Veri Madenciliği Alan VTYS OLAP Veri Madenciliği Görev Detaylı ve özet bilginin çıkarılması Özetler, trendler ve tahminler Saklı bilgilerin ve sezgilerin keşfi Sonuç Tipi Bilgi Analiz Tahmin ve Sezgi Metot Tümdengelim (Soruyu sor, veriyle soruştur) Çok boyutlu veri modelleme, İstatistik Tümevarım (Model kur, yeni veriye uy-gula, sonucu elde et) Örnek Soru Son 3 yılda ortak fonları kim satın aldı? Yıl ve bölge başına, ortalama fon geliri nedir? Önümüzdeki 6 ay içerisinde kimler fon alabilir ve neden?

Veri Seli Gelişen teknoloji ile toplanan verilerin çeşiti ve miktarı artmıştır. Örneğin bir banka, bilgisayar teknolojisi tanıtılmadan önce müşterileri ile ilgili çok kısıtlı bir veriyi tutarken, gelişen teknoloji ile ATMlerde yapılan tüm işlemler ve hatta internet şubelerinde yapılan işlemler de kayıt altında tutulmaktadır. Özellikle enformasyon teknolojilerindeki gelişmeler ile bankacılık, haberleşme, uzay bilimleri, web teknolojileri ve uzaktan algılama sistemleri alanlarında toplanan verilerin artması. UC Berkeley Profesörleri Lyman ve Varian’a göre sadece Web’te 2002 yılında 5 exabayt (5 Milyon Terabayt) veri depolanmıştır. Yine bu çalışmaya göre Web’in büyüme oranı yaklaşık %30’dur.

Veri Seli 2003’te en büyük veritabanları Ticari veritabanları, Winter Corp. 2003 Araştırması: Fransa Telekom en büyük karar destek veritabanına sahiptir, ~ 30TB; AT&T şirketi, ~ 26 TB Web Alexa internet arşivi : 7 yıllık veri; 500 TB(TeraByte) Google arama motoru : 3.3 Milyar sayfa (4 Milyar sayfa – 2004 yılı itibarıyla), ? TB IBM WebFountain : 160 TB (2003) Internet Arşivi (www.archive.org): ~ 300 TB

Veri Madenciliği Uygulama Alanları Bilim Astronomi Biyoinformatik İlaç keşfi İş Hayatı Reklam CRM (Müşteri İlişkileri Yönetimi) ve müşteri modelleme e-Ticaret Yatırım değerlendirme ve karşılaştırma Sağlık Üretim Spor/eğlence Telekom (telefon ve iletişim) Hedef pazarlama Web Metin Madenciliği (haber grubu, e-mail, dokümanlar) Web analizi Arama Motorları Devlet Terörle Mücadele Kanun yaptırımı Vergi Kaçakçılarının Profilinin Çıkarılması

Veri Madenciliği-Örnek Uygulamalar: Müşteri Kayıp Oranlarının Azaltılması Bir cep telefonu şirketi tipik olarak %25-%30 müşterisini her yıl kaybedebilir Problemin Tanımı: Geçmiş aylara ait (2 ila18 ay arasında) verilerin elde olduğu varsayılırsa, önümüzdeki bir yada iki ay içersinde terk edebilecek müşterilerin bulunması Müşteri değerinin hesaplanması Çözüm Aşamaları: Ayrılabilecek potansiyel müşterileri bul Bölgesel modeller geliştir Yeni kampanyaları kabul etme eğilimine sahip müşterileri hedefle Aylık yaklaşık %2 müşteri kaybını %1.5’düşür

Veri Madenciliği-Örnek Uygulamalar: Kredi Riski Kredi itibarı yüksek olan müşteriler krediye pek ihtiyaç duymayabilirler – Bu kesimin banka ile iş hacmi az olabilir Kredi ihtiyacı çok yüksek olan kişilerin ise kredi itibarları çok düşük olabilir – Kredilerin geri ödenmeme riski çok yüksektir Bir banka için en kazançlı müşteri kitlesi bu ikisi arasında olandır. Yani kredi kullanıp, kabul edilebilir bir risk ile zamanında ödeyebilen müşteri kitlesi

Veri Madenciliği: Amazon.com Kişiselleştirme Ürün tavsiyesi Ürünlerin destelenmesi (bundling) Dinamik fiyatlandırma

Veri Madenciliği: Uygun Problemler Bilgi tabanlı kararlara ihtiyaç duyulan Değişen bir çevreye sahip olan Hali hazırda tam-optimum olmayan çözümleri olan Erişilebilir, yeterli ve ilgili veriye sahip olan Doğru karar verildiğinde yüksek getiriye sahip olan