Sunum yükleniyor. Lütfen bekleyiniz

Sunum yükleniyor. Lütfen bekleyiniz

Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/2006 1 TBD Veri Madenciliği Günü Veri Madenciligi Yöntemlerine Genel Bakış Selim AKYOKUŞ.

Benzer bir sunumlar


... konulu sunumlar: "Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/2006 1 TBD Veri Madenciliği Günü Veri Madenciligi Yöntemlerine Genel Bakış Selim AKYOKUŞ."— Sunum transkripti:

1 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ TBD Veri Madenciliği Günü Veri Madenciligi Yöntemlerine Genel Bakış Selim AKYOKUŞ Doğuş Üniversitesi

2 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Neden Veri Madenciliği? l Veri patlaması veya seli: Otomatik veri toplama araçları, olgun veri tabanı ve bilgi teknolojileri, yaygın bilgi teknolojileri kullanımı, veri tabanları, veri anbarları ve diğer veri depolarında çok büyük miktarlarda veri ve bilgilerin toplanmasını sağlamakta ve veri miktarı sürekli artmaktadır.  Mağazalardaki satış/alış işlemleri  Banka ve Kredi kartı işlemleri  Bir çok sektördeki veri ve işlemler  Bilimsel veriler, uydu ve radarlardaki algılayıcılar gelen veriler  Web verileri l Bilgi sistemleri birçok açık olmayan ve geleneksel yöntemlerle anlaşılamayan bilgileri içermektedir.

3 Veri Madenciliği Nedir? l Veriler arasında boğuluyoruz, ancak gerçek bilgi için açlık çekiyoruz. Data (Veri) Information (bilgi) Knowledge (bilgi) Wisdom (Bilgelik) Vision (uzgörüş) l Çözüm: Veri Madenciliği (Gereksinim buluşların temel nedenidir.) l Veri Madenciliği: verilerden üstü kapalı, çok net olmayan, önceden bilinmeyen ancak potansiyel olarak kullanışlı bilgi ve örüntülerin çıkarılması olarak tanımlanmaktadır. l Diğer eşdeğer isimler: Veri tabanlarında bilgi madenciliği (knowledge mining from databases), Bilgi çıkarımı (knowledge extraction), data/pattern anaysis (veri ve örüntü analizi), veri arkeolojisi, …

4 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Birçok Disipilini İçeren Bir Alan Veri Madeciliği Veritabanı Teknolojisi İstatistik Makine Öğrenmesi Örüntü Tanıma Algoritmalar Diğer Disiplinler Görselleştirme

5 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Veri Madenciliği (Bilgi Keşfi) Süreçi Veri Temizleme Veri Entegrasyonu Veritabanları Veri Anbarı İlgili Veriler Veri Seçme Veri Madeciliği Örüntü Değerlendirme  Veri Temizleme: Gürültülü ve tutarsız verileri çıkarmak  Veri Bütünleştirme: Birçok data kaynağını birleştirebilmek  Veri Seçme: Yapılacak olan analiz ile ilgili olan verileri belirlemek  Veri Dönüşümü: Verinin veri madenciliği yöntemine göre hale dönüşümünü gerçekleştirmek  Veri Madenciliği: Verilerdeki örüntülerin belirlenmesi için veri madenciliği yöntemlerinin uygulanması  Örüntü Değerlendirme: Bazı ölçütlere göre elde edilmiş ilginç örüntüleri bulmak ve değerlendirmek  Bilgi Sunumu: Elde edilen bilgilerin kullanıcılara sunumunu

6 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ CRISP-DM’e göre Veri Madenciliği Süreci CRISP-DM (CRoss Industry Process for Data Mining). CRISP- DM detaylı bir veri madenciliği süreci standartı’dır. Veri madenciliği projelerinin hızlı, daha verimli ve daha az maliyetli gerçekleştirilmesi için bir rehberdir. Evrimsel, tekrarlı bir süreç

7 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ İşi Anlama (Business Understanding) Veri Anlama (Data Understanding) Değerlendirme (Evaluation) Veri Hazırlama (Data Preparation) Modelleme (Modeling) Determine Business Objectives Background Business Objectives Business Success Criteria Situation Assessment Inventory of Resources Requirements, Assumptions, and Constraints Risks and Contingencies Terminology Costs and Benefits Determine Data Mining Goal Data Mining Goals Data Mining Success Criteria Produce Project Plan Project Plan Initial Asessment of Tools and Techniques Collect Initial Data Initial Data Collection Report Describe Data Data Description Report Explore Data Data Exploration Report Verify Data Quality Data Quality Report Data Set Data Set Description Select Data Rationale for Inclusion / Exclusion Clean Data Data Cleaning Report Construct Data Derived Attributes Generated Records Integrate Data Merged Data Format Data Reformatted Data Select Modeling Technique Modeling Technique Modeling Assumptions Generate Test Design Test Design Build Model Parameter Settings Models Model Description Assess Model Model Assessment Revised Parameter Settings Evaluate Results Assessment of Data Mining Results w.r.t. Business Success Criteria Approved Models Review Process Review of Process Determine Next Steps List of Possible Actions Decision Plan Deployment Deployment Plan Plan Monitoring and Maintenance Monitoring and Maintenance Plan Produce Final Report Final Report Final Presentation Review Project Experience Documentation Kurulum (Deployment) CRISP-DM Aşama ve Görevleri Kaynak: Laura Squier

8 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Veri Madenciliği Yöntemleri l Genel olarak veri madenciliği yöntemleri iki sınıfa ayrılabilir: –Öngörü Yöntemleri (Prediction Methods)  Öngörü amacı ile var olan verilerden yorum çıkarılması –Tanımlayıcı Yöntemler (Description Methods)  Veriyi tanımlayan yorumlanabilir örüntülerin bulunması

9 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Veri Madenciliği Yöntemleri Öngörü Yöntemleri Sınıflandırma (Classification) Karar Ağaçları (Decision Trees) Bayes Sınıflandırması (Bayesian Classification) En Yakın Komşu (Nearest Neighbour) Yapay Sinir Ağları (Neural Networks) Karar Destek Makineleri (Support Vector Machines) Zaman Serisi Analizi (Time Series Analysis) Diğer Yöntemler Eğri Uydurma (Regression) Tanımlayıcı Yöntemler Demetleme (Clustering) Birliktelik Analizi (Association Analysis) Sıralı Dizi Analizi (Sequence Analysis) Özetleme (Summerization) Tanımsal İstatistik (Descriptive Statistics) İstisna Analizi (Outliner Analysis) Diğer Yöntemler Veri Madenciliği Yöntemleri

10 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Sınıflandırma l Girdi: Kayıtlar kümesi (Öğrenme Kümesi ) –Her bir kayıt özellikler (Attribute-Bir tablodaki sütunlar) içerir. Bu özelliklerden bir tanesi sınıftır (Class). l Diğer özelliklerden sınıf özelliğini öngörebilecek bir model fonksiyon geliştirilir. l Amaç: Yeni bir kayıt geldiğinde, bu kayıt geliştirilen model kullanılarak mümkün olduğunca doğru bir sınıfa atanır. –Bir deneme kümesi modelin doğruluğunu belirlemek için kullanılır. Genellikle verilen veri kümesi öğrenme ve deneme kümesi olarak ikiye ayrılır. Öğrenme kümesi modeli oluşturulmasında, deneme kümesi modelin doğrulanmasında kullanılır.

11 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Sınıflandırma Süreci: (1) Model Oluştırma Öğrenme Kümesi Sınıflandırma Yöntemleri (Algoritmaları) IF rank = ‘professor’ OR years > 6 THEN tenured = ‘yes’ Model (Sınıflandırıcı)

12 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Sınıflandırma Süreci: (2) Modelin Öngörü için kullanılması Sınıflandırıcı Deneme Kümesi Yeni veri (Jeff, Professor, 4) Tenured?

13 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Karar Ağacı l Karar Ağacı –Yaygın kullanılan öngörü yöntemlerinden bir tanesidir –Ağaçtaki her düğüm bir özellikteki testi gösterir. –Düğüm dalları testin sonucunu belirtir. –Ağaç yaprakları sınıf etiketlerini içerir. l Karar ağacı çıkarımı iki aşamadan oluşur –Ağaç inşası  Başlangıçta bütün öğrenme örnekleri kök düğümdedir.  Örnekler seçilmiş özelliklere tekrarlamalı olarak göre bölünür. –Ağaç Temizleme (Tree pruning)  Gürültü ve istisna kararları içeren dallar belirlenir ve kaldırılır. l Karar ağacı kullanımı: Yeni bilinmeyen örneğin sınıflandırılması –Bilinmeyen örneğin özellikleri karar ağacında test edilerek sınıfı bulunur.

14 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Bir Kredi Kartı Kampanyasında Yeni Bir Örneğin Sınıflandırılması 14 Gelir Borç Cinsiyet Çocuk Yanıtlar Yanıtlamaz Düşük Bay Yüksek Düşük Yüksek Bayan Çok Az Bayan X yüksek gelirli. Ağaç bayan X’in kredi kampanyasına yanıt vermeyeceğini öngörür. Yanıtlamaz Yanıtlar

15 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Bayes Sınıflandırması l İstatistiksel bir sınıflandırıcıdır. Sınıf üyelik olasılıklarını öngörür. l İstatistikteki bayes teoremine dayanır. l Basit bir yöntemdir.

16 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Basit Bayes Sınıflandırma Yöntemi l Girdi : Öğrenme seti l C 1, C 2, …, C m adlı m sınıfımız olsun. l Sınıflandırma maksimum posteriori olasılığını bulmaya dayanır. l P(X) is bütün sınıflar için sabittir. l olasılığının maksimum değeri bulunmalıdır. l Yeni bir örnek X, maximum P(X|C i )*P(C i ) değerine sahip olan sınıfa atanır.

17 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Tenis oynama örneği: P(x i |C) değerlerinin bulunması outlook P(sunny|p) = 2/9P(sunny|n) = 3/5 P(overcast|p) = 4/9P(overcast|n) = 0 P(rain|p) = 3/9P(rain|n) = 2/5 temperature P(hot|p) = 2/9P(hot|n) = 2/5 P(mild|p) = 4/9P(mild|n) = 2/5 P(cool|p) = 3/9P(cool|n) = 1/5 humidity P(high|p) = 3/9P(high|n) = 4/5 P(normal|p) = 6/9P(normal|n) = 1/5 windy P(true|p) = 3/9P(true|n) = 3/5 P(false|p) = 6/9P(false|n) = 2/5 P(p) = 9/14 P(n) = 5/14

18 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Tenis oynama örneği: Yeni X Örneğinin Sınıflandırılması l Yeni örnek X = l P(X|p)·P(p) = P(rain|p)·P(hot|p)·P(high|p)·P(false|p)·P(p) = 3/9·2/9·3/9·6/9·9/14 = l P(X|n)·P(n) = P(rain|n)·P(hot|n)·P(high|n)·P(false|n)·P(n) = 2/5·2/5·4/5·2/5·5/14 = Örnek X’in sınıfı n (don ’ t play) olarak öngörülür.

19 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Zaman Serisi Analizi l Örnek: Borsa l Gelecek menkul kıymet değerlerinin öngörülür. l Zaman içinde benzer örüntüler belirlenir, l ve öngörü yapılır.

20 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Eğri Uydurma (Regression) l Sürekli değişkenlerin öngörüsü regrasyon (eğri uydurma) olarak adlandırılan bir istatistiksel yöntemle tespit edilebilir. l Regresyon analizinin amacı değişik girdi değişkenlerini çıktı değişkeni ile ilişkilendirecek en iyi modelin çıkarılmasıdır. l Regresyon analizi bir Y değişkeninin diğer bir veya daha çok X1, X2, …, Xn değişkenleri ile ilişkisinin belirlenmesi sürecidir. l Y, yanıt çıktısı veya bağımlı değişken olarak adlandırılır. Xi değişkenleri girdi veya bağımsız değişkenler olarak adlandırılır. l Bir veri kümesindeki bulunan ilişki regrasyon denklemi (modeli) ile karakterize edilir. l En çok yaygın regrasyon modeli denklemi

21 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Örnek: Lineer regrasyon (eğri uydurma) AB Verilen örnek veri setindeki A ve B değişkenleri arasındaki ilişki aşağıdaki denklemele ifade edilebilir. α ve β katsayılarının değerleri matematiksel olarak bulunur. Optimal regrasyon denklemi:

22 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Kümeleme (Demetleme) l Kümeleme, veriyi sınıflara veya kümelere ayırma işlemidir. l Birbirlerine benzeyen elemanlardan oluşan gruba küme denir. l Farklı kümelere ait elemanlar arasında benzerlik azdır. l Bir benzerlik ölçütü belirlenir. Değerler süreli ise öklid uzaklığıdır. l Kümeleme algoritmaları –küme için benzerliğin maksimize edilmesi –Kümeler arası benzerliğin minimize edilmesi kavramına dayanır.

23 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Kümeleme örneği x 3-Boyutlu uzayda öklid uzaklığına dayanan kümeleme. Küme içi uzaklıklar minimize edilir. Kümeler arası uzaklıklar maksimize edilir. Kümeler arası uzaklıklar maksimize edilir.

24 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ K-Ortalama(Means) Kümeleme Yöntemi K=2 Arbitrarily choose K object as initial cluster center Assign each objects to most similar center Update the cluster means reassign

25 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Birliktelik Analizi (Association Analysis) Birliktelik analizi büyük veri kümeleri arasında birliktelik ilişkilerini bulur. Market-Basket analizi ve işlem (transaction) veri analizi olarakta adlandırılır. Birliktelik analizi, belirli bir veri kümesinde yüksek sıklıkta birlikte görülen özellik değerlerine ait ilişkisel kuralların keşfidir. l Sonuclar birliktelik kuralları (A  B) olarak sunulur. l Birliktelik kurallarının kullanıldıgı en yaygın örnek market sepeti uygulamasıdır. l Market sepet analizi, müsterilerin yaptıkları alısverislerdeki ürünler arasındaki birliktelikleri bularak müsterilerin satın alma alıskanlıklarını belirlemeye çalışır.

26 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Basket veri analizi

27 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Marketlerde Birliktelik Kuralı Keşfi l Örnek Bulunan kurallar: {Süt} --> {Kola} {Çocuk Bezi, Süt} --> {Bira} Bulunan kurallar: {Süt} --> {Kola} {Çocuk Bezi, Süt} --> {Bira}

28 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ İstisna Analizi (Outlier Analizi) l Normal davranışlardan ve eğilimlerden çok farklı sapmaları belirlemede kullanılır. l Uygulamalar: –Kredi Kartı Yolsuzluğu Tesbiti –Ağ Saldırı (Intrusion) Tesbiti

29 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ Referans Kitaplar (kaynak: Han & Kamber) l S. Chakrabarti. Mining the Web: Statistical Analysis of Hypertex and Semi-Structured Data. Morgan Kaufmann, 2002 l R. O. Duda, P. E. Hart, and D. G. Stork, Pattern Classification, 2ed., Wiley-Interscience, 2000 l T. Dasu and T. Johnson. Exploratory Data Mining and Data Cleaning. John Wiley & Sons, 2003 l U. M. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy. Advances in Knowledge Discovery and Data Mining. AAAI/MIT Press, 1996 l U. Fayyad, G. Grinstein, and A. Wierse, Information Visualization in Data Mining and Knowledge Discovery, Morgan Kaufmann, 2001 l J. Han and M. Kamber. Data Mining: Concepts and Techniques. Morgan Kaufmann, 2 nd ed., 2006 l D. J. Hand, H. Mannila, and P. Smyth, Principles of Data Mining, MIT Press, 2001 l T. Hastie, R. Tibshirani, and J. Friedman, The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Springer-Verlag, 2001 l T. M. Mitchell, Machine Learning, McGraw Hill, 1997 l G. Piatetsky-Shapiro and W. J. Frawley. Knowledge Discovery in Databases. AAAI/MIT Press, 1991 l P.-N. Tan, M. Steinbach and V. Kumar, Introduction to Data Mining, Wiley, 2005 l S. M. Weiss and N. Indurkhya, Predictive Data Mining, Morgan Kaufmann, 1998 l I. H. Witten and E. Frank, Data Mining: Practical Machine Learning Tools and Techniques with Java Implementations, Morgan Kaufmann, 2 nd ed. 2005

30 Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/ TBD Veri Madenciliği Günü TEŞEKKÜRLER


"Selim Akyokuş Veri Madenciliği Yöntemlerine Genel Bakış 14/10/2006 1 TBD Veri Madenciliği Günü Veri Madenciligi Yöntemlerine Genel Bakış Selim AKYOKUŞ." indir ppt

Benzer bir sunumlar


Google Reklamları