Sunum yükleniyor. Lütfen bekleyiniz

Sunum yükleniyor. Lütfen bekleyiniz

Doç. Dr. Suat Özdemir Veri Madenciliği Bölüm 1. Giriş.

Benzer bir sunumlar


... konulu sunumlar: "Doç. Dr. Suat Özdemir Veri Madenciliği Bölüm 1. Giriş."— Sunum transkripti:

1 Doç. Dr. Suat Özdemir Veri Madenciliği Bölüm 1. Giriş

2 Veri Madenciliği Doç. Dr. Suat Özdemir Ders bilgileri Öğretim üyesi: Doç. Dr. Suat Özdemir E-posta: Websayfası: Bütün duyuru, ödev, vb. için ders web sayfasını haftada en az bir kez kontrol etmelisiniz 2/41

3 Veri Madenciliği Doç. Dr. Suat Özdemir Ders Bilgileri  Ders kitabı: –Pang-Ning Tan, Michael Steinbach, Vipin Kumar (2005). Introduction to Data Mining. Addison Wesley, ISBN:  Kaynak kitaplar: –David J. Hand, Heikki Mannila, and Padhraic Smyth (2001). Principles of Data Mining. MIT Press. ISBN X. –Data Mining, Second Edition Concepts and Techniques 2nd Edition Jiawei Han and Micheline Kamber ISBN: The Morgan Kaufmann Series, /41

4 Veri Madenciliği Doç. Dr. Suat Özdemir Dersin Amacı  Temel veri madenciliği konseptlerini öğrenmek  Sınıflandırma, kümeleme, ilişkilendirme/birliktelik kuralları bulma gibi temel veri madenciliği konularında uygulama geliştirmek  Geniş veri tabanlarında/veri ambarlarında bilgi keşfi yapabilmek. 4/41

5 Veri Madenciliği Doç. Dr. Suat Özdemir Ders içeriği  Giriş  Veri önişleme  Veri ambarları  Sınıflandırma  Kümeleme  İlişkilendirme/birliktelik kuralları  Veri madenciliğinde saldırı tespiti  Metin madenciliği  WEB madenciliği 5/41

6 Veri Madenciliği Doç. Dr. Suat Özdemir Ders planı  Motivasyon: Neden veri madenciliği?  Tanım: Veri madenciliği nedir?  Veri madenciliği konularının sınıflandırılması  Veri ambarları  Veri madenciliğinde sorunlar 6/41

7 Veri Madenciliği Doç. Dr. Suat Özdemir Veritabanı teknolojisinin gelişimi 7/41

8 Veri Madenciliği Doç. Dr. Suat Özdemir Neden veri madenciliği?  Bilgisayarların ucuzlayıp aynı zamanda çok güçlü hale gelmeleri  Teknolojinin gelişimiyle bilgisayar ortamında ve veritabanlarında tutulan veri miktarının da artması (terabyte to petabyte)  Yeni veri toplama yolları –Otomatik veri toplama aletleri, veritabanı sistemleri, bilgisayar kullanımının artması  Büyük veri kaynakları –İş dünyası: Web, e-ticaret, alışveriş, hisse senetleri, … –Bilim dünyası: Uzaktan algılama ve izleme, bioinformatik, simülasyonlar.. –Toplum: haberler, digital kameralar, YouTube, Facebook…  Ticari rekabet baskısının artması –Kişiselleştirilmiş ürünler, CSR yönetimi  Veri içinde boğuluyoruz, ancak bilgi elde edemiyoruz!!! 8/41

9 Veri Madenciliği Doç. Dr. Suat Özdemir Neden veri madenciliği? 9/41

10 Veri Madenciliği Doç. Dr. Suat Özdemir Veri Madenciliğinin Amacı  Ne yapmak istemiyoruz? –Büyük miktardaki veri içinde arama yapmak (Veritabanı yönetim sistemleri bu işi yapıyor) –Telefon rehberinde arama yapmak  Veri madenciliğinin amacı: –Aradığımız veri mevcutsa bu veriden çıkarabileceğimiz sonuçlarını anlamak –Telefon rehberindeki isimlere göre, hangi bölgemizde hangi isimlerin daha yaygın olduğunu bulmak 10/41

11 Veri Madenciliği Doç. Dr. Suat Özdemir Veritabanı - Veri Madenciliği Karşılaştırması  Sorgulama –Tanımlı –SQL  Veri –Canlı veri –Dinamik  Çıktı –Belirli –Verinin bir alt kümesi Sorgulama Tam tanımlı değil Y aygın sorgulama dili yok Veri Üzerinde işlem yapılmayan veri Statik Çıktı Belirli değil Verinin bir alt kümesi değil Veritabanı Veri Madenciliği 11/41

12 Veri Madenciliği Doç. Dr. Suat Özdemir Sorgulama örnekleri  Veritabanı uygulaması: –Adı Ahmet olan kredi kartı sahiplerini bul. –Bir ayda 2000 YTL’den fazla harcama yapan kredi kartı sahiplerini bul. –DVD satın alan tüm müşterileri bul.  Veri madenciliği uygulaması –Riski az olan tüm kredi kartı başvurularını bul (sınıflandırma) –Harcama alışkanlığı benzer olan kredi kartı sahiplerini bul (demetleme) –DVD birlikte sıkça satın alınan ürünü bul (ilişkilendirme kuralları) 12/41

13 Veri Madenciliği Doç. Dr. Suat Özdemir Veri madenciliği nedir?  Veri madenciliği –Basit ve açık olmayan, önceden bilinmeyen ve yararlı olan örüntülerin ya da bilginin çok büyük miktarlardaki veriden çıkarılması –Sorgulama ya da basit istatistik yöntemler veri madenciliği değildir. –Veri madenciliği terimi ne kadar doğru?  KNOWLEDGE DISCOVERY FROM DATA (KDD) (VERİDEN BİLGİ KEŞFİ)  Alternatif isimler –Knowledge discovery (mining) in databases (KDD), knowledge extraction, data/pattern analysis, data archeology, data dredging, information harvesting, business intelligence, etc. 13/41

14 Veri Madenciliği Doç. Dr. Suat Özdemir Veriden Bilgi Keşfi Teoride veri madenciliği bilgi keşfi işleminin bir parçasıdır Pratikte veri madenciliği ve veriden bilgi keşfi aynı anlamda kullanılır Data Cleaning Veri temizleme Data Integration Veri birleştirme Databases / Veri tabanları Data Warehouse Veri ambarı Task-relevant Data Kullanım amaçlı veri Selection Seçme Data Mining Veri madenciliği Pattern Evaluation Örüntü değerlendirme 14/41

15 Veri Madenciliği Doç. Dr. Suat Özdemir Veriden Bilgi Keşfinin Aşamaları  Uygulama alanını inceleme –Konuyla ilgili bilgi ve uygulama amaçları  Veri toplama ve birleştirme  Amaca uygun veri kümesi oluşturma: Veri seçme  Veri ayıklama ve önişleme  Veri azaltma ve veri dönüşümü –incelemede gerekli boyutları (özellikleri) seçme, boyutlar arası ilişkiyi belirleme, boyut azaltma,  Veri madenciliği tekniği seçme –Sınıflandırma, eğri uydurma, bağıntı kuralları, demetleme  Veri madenciliği algoritmasını seçme  Model değerlendirme ve bilgi sunumu  Bulunan bilginin yorumlanması 15/41

16 Veri Madenciliği Doç. Dr. Suat Özdemir Örnek: WEB madenciliği  web sitesinin yapısını inceleme  veri toplanması: log dosyaları, üye veri tabanı ve satış kayıtlarının toplanması  verileri seçme: tarih aralığını belirleme  veri ayıklama, önişleme: gereksiz kayıtları silme  veri azaltma, veri dönüşümü: kullanıcı oturumları belirleme  veri madenciliği tekniği seçme: demetleme  veri madenciliği algoritması seçme: k-ortalama, EM, DBSCAN...  Model değerlendirme/yorumlama: değişik kullanıcı grupları için sıkça izlenen yolu bulma  Uygulama alanları: öneri modelleri, kişiselleştirme, ön belleğe alma 16/41

17 Veri Madenciliği Doç. Dr. Suat Özdemir Veri madenciliği ve diğer disiplinler Veri Madenciliği Veri tabanı teknolojisi İstatistik Makina Öğrenmesi Örüntü Tanıma Algoritma Diğer Disiplinler Görselleştirme 17/41

18 Veri Madenciliği Doç. Dr. Suat Özdemir Veri Madenciliği Uygulamaları  Veri analizi ve karar destek sistemleri –Market analiz ve yönetimi Hedef market, müşteri ilişkileri yönetimi, market sepet analizi (basket analysis), çaprazlama satışlar, market ayrımı –Risk analizi ve yönetimi –Sahtekarlık tespiti (Fraud detection) ve normal olmayan desenlerin tespiti (outliers)  Diğer uygulamalar –Belgeler arası benzerlik –Ağ güvenliği –Text ve web madenciliği –Sosyal ağ analizi –Akan veri madenciliği 18/41

19 Veri Madenciliği Doç. Dr. Suat Özdemir Örnekler  1. Market analizi –Veri kaynağı: kredi kartı işlemleri, kuponlar.. –Hedef merket belirleme Aynı özelliği taşıyan müşterilerin belirlenmesi, satış stratejisi geliştirilmesi –Çapraz market analizi Ürün satışları arasındaki ilişkiyi bulma –Müşteri profili çıkarma Hangi tip müşteri ne alıyor Müşteri grupları için en iyi ürünleri belirle 19/41

20 Veri Madenciliği Doç. Dr. Suat Özdemir Örnekler (devam)  2. Risk analizi –Gelir ve kaynak planlama Bilanço değerlendirmesi Para akış analizi ve kestirimi Talep incelemesi –Rekabet Diğer firmaların takibi, fiyatlandırma stratejisi geliştirme –Kaynak planlaması Kaynakların incelenmesi ve uygun olarak dağıtılması 20/41

21 Veri Madenciliği Doç. Dr. Suat Özdemir Örnekler (devam)  3. Sahtekarlık tespiti ve normal olmayan örüntülerin bulunması –Sigorta, bankacılık, telekomünikasyon alanlarında –Geçmiş veri kullanılarak sahtekarlık yapanlar için bir model oluşturma ve benzer davranış gösterenleri belirleme –Örnek Araba sigortası Sağlık sigortası Kredi kartı başvurusu Ağ analizi 21/41

22 Veri Madenciliği Doç. Dr. Suat Özdemir Veri madenciliği ve iş dünyası Increasing potential to support business decisions End User Business Analyst Data Analyst DBA Decision Making Data Presentation Visualization Techniques Data Mining Information Discovery Data Exploration Statistical Summary, Querying, and Reporting Data Preprocessing/Integration, Data Warehouses Data Sources Paper, Files, Web documents, Scientific experiments, Database Systems 22/41

23 Veri Madenciliği Doç. Dr. Suat Özdemir Veri madenciliği kaynakları  Veri dosyaları  İlişkisel veritabanları  Veri ambarları –Konu odaklı olarak, düzenlenmiş, birleştirilmiş, sabitlenmiş, büyük veritabanı  Gelişmiş veritabanları –nesneye dayalı veritabanları –www 23/41

24 Veri Madenciliği Doç. Dr. Suat Özdemir Veri madenciliği sınıflandırma  Veri açısından –İlişkisel, veri ambarı, zamana bağlı, akan, text, multimedia, web  Bilgi açısından –Kategorize, ayrım, ilişki, sınıflandırma, kümeleme, trend analizi, outlier analizi  Kullanılacak teknik açısından –Veri tabanı temelli, veri ambarı temelli (OLAP), istatistik,...  Uygulanancak alan açısından –Ticari, telekom, banka, sahtekarlık analizi, text madenciliği... 24/41

25 Veri Madenciliği Doç. Dr. Suat Özdemir Veri madenciliği sınıflandırması  Veri madenciliğinde veriyi belli bir modele uydurmak istiyoruz.  Kestirime dayalı veri madenciliği (predictive) –Kredi başvurularını risk gruplarına ayırma Bu işlemde dolandırıcılık var mıdır? –Şirketle çalışmayı bırakacak müşterileri öngörme –Borsa tahmini  Tanımlayıcı veri madenciliği (descriptive) –Veriler arasındaki gizli kalmış ilişkiyi ortaya çıkarırlar –En iyi müşterilerim kimler? –Hangi ürünler birlikte satılıyor? –Hangi müşteri gruplarının alışveriş alışkanlıkları benzer? 25/41

26 Veri Madenciliği Doç. Dr. Suat Özdemir Kestirime dayalı (predictive) veri madenciliği  Sınıflandırma: Veriyi önceden belirlenmiş sınıflardan birine dahil eder. –Gözetimli öğrenme –Örüntü tanıma –Kestirim  Eğri uydurma: Veriyi gerçel değerli bir fonksiyona dönüştürür.  Zaman serileri inceleme: Zaman içinde değişen verinin değerini öngörür. 26/41

27 Veri Madenciliği Doç. Dr. Suat Özdemir Kestirime dayalı veri madenciliği örneği: Sınıflandırma Ögrenme kümesi Sınıflandırıcı Model Deneme kümesi Model 27/41

28 Veri Madenciliği Doç. Dr. Suat Özdemir Tanımlayıcı (descriptive) veri madenciliği  Demetleme/kümeleme: Benzer verileri aynı grupta toplama –Gözetimsiz öğrenme  Özetleme: Veriyi altgruplara ayırır. Her altgrubu temsil edecek özellikler bulur. –Genelleştirme –Nitelendirme  İlişkilendirme kuralları / birliktelik kurallları –Veriler arasındaki ilişkiyi belirler  Sıralı diziler: Veri içinde sıralı örüntüler bulmak için kullanılır. 28/41

29 Veri Madenciliği Doç. Dr. Suat Özdemir Tanımlayıcı veri madenciliği örneği: Demetleme/Kümeleme  Doküman Kümeleme: –Dökümanlar içlerinde geçen terimlere göre gruplanacak  Yaklaşım: –Her doküman içinde sık geçen terimleri bul. –Bu terimlerden ve ağırlıklarından yararlanarak bir benzerlik ölçütü geliştir. –Bu ölçüte göre demetleme yap  Kullanımı: –Yeni bir dokümanın hangi dokümanlarla benzer olduğu terimlere göre arama yapıldığında bu terimleri içeren dokümanları bulma 29/41

30 Veri Madenciliği Doç. Dr. Suat Özdemir Tanımlayıcı veri madenciliği örneği: Birliktelik kuralları  Veri kümesindeki nesneler arasındaki ilişkiyi bulma –bir nesnenin (nesnelerin) varlığı ile diğer bir nesnenin (nesnelerin) de varlığını tahmin edebilecek kurallar TIDNesneler 1Ekmek, kola, süt 2Bira, ekmek 3Bira, kola, çocuk bezi, süt 4Bira, ekmek, çocuk bezi, süt 5Kola, çocuk bezi, süt Kurallar {süt}  {kola} {çocuk bezi,süt}  {kola} 30/41

31 Veri Madenciliği Doç. Dr. Suat Özdemir Hangi örüntü (kural)?  Binlerce örüntü: Sadece bir kısmı önemli –Veri madenciliği ile bulunan sonuç kümesi üzerinde tekrar veri madenciliği uygulanacak kadar büyük  Bulunan örüntünün önemli olması için: –insanlar tarafından kolayca anlaşılabilir –sınama verisi veya yeni veriler üzerinde belli oranda geçerli –yeni, yararlı ve kullanılabilir olması gerekir. 31/41

32 Veri Madenciliği Doç. Dr. Suat Özdemir Tanımlayıcı veri madenciliği örneği: Sıralı diziler  Zamana bağlı bir veri setinde veriler arasındaki sıra ilişkilerini bulur.  Satış verileri içinde:, –Bilgisayar ürünleri satan bir firma: (Intro_To_Visual_C) (C++_Primer) --> (Perl_for_dummies,Tcl_Tk) –Spor malzemeleri satan bir firma: (Shoes) (Racket, Racketball) --> (Sports_Jacket) 32/41

33 Veri Madenciliği Doç. Dr. Suat Özdemir Veri madenciliği sınıflandırması: Özet  Sınıflandırma/Classification [Predictive]  Demetleme/Clustering [Descriptive]  İlişkilendirme kuralları bulma/Association Rule Discovery [Descriptive]  Sıralı dizi bulma/Sequential Pattern Discovery [Descriptive]  Eğri uydurma/Regression [Predictive]  Anomali bulma/Deviation Detection [Predictive] 33/41

34 Veri Madenciliği Doç. Dr. Suat Özdemir Veri Ambarları  Çok fazla miktarda üzerinde işlem yapılan veri var  Çoğunlukla farklı veritabanlarında ve farklı ortamlarda  Veri farklı formatlarda ve yerlerde (heterojen ve dağıtık)  Karar destek birimleri veriye sanal olarak tek biryerden ulaşabilmeli  Ulaşım hızlı olmalı 34/41

35 Veri Madenciliği Doç. Dr. Suat Özdemir Veri ambarları  Belirli bir döneme ait, yapılacak çalışmaya göre konu odaklı olarak düzenlenmiş, birleştirilmiş ve sabitlenmiş büyük veritabanı –Amaca yönelik, konu odaklı –Birleştirilmiş –Zaman değişkenli, belirli bir döneme ait Son 5 yıl, v.b. –Değişken değil, statik Veri silinmez, eklenmez 35/41

36 Veri Madenciliği Doç. Dr. Suat Özdemir Veri Ambarı Mimarisi Veri ambarı Veri çek İşle Yükle Yenile OLAP motoru Verimadenciliği İzleme Birleştirme Metadata Veri kaynakları Son kullanıcı Hizmet Veri “Mart”ları Veritabanları Diğer Kaynaklar Veri depolama OLAP Server 36/41

37 Veri Madenciliği Doç. Dr. Suat Özdemir Veri Madenciliğinde Sorunlar  Güvenlik ve sosyal haklar  Kullanıcı arabirimi  Veri madenciliği yöntemi  Başarım ve ölçeklenebilirlik  Veri kaynağı 37/41

38 Veri Madenciliği Doç. Dr. Suat Özdemir Veri Madenciliğinde Sorunlar  Özellikle güvenlik ve sosyal haklar ile ilgili kişilere ait verilerin toplanarak, kişilerden habersiz ve izinsiz olarak kullanılması, veri madenciliği yöntemleri ile bulunan sonuçların izinsiz olarak açıklanması, gizlilik ve veri madenciliği politikalarının düzenlenmesi gibi sorunlar hala çözülememiştir.  Veri madenciliği genelde uygulamaya özgü çözümler içerdiğinden yaygın bir kullanıcı arabirimi ve oluşmamıştır.  Kullanılan veri madenciliği yöntemine göre sonuçlar arasında çok büyük farklar çıkabilmektedir. Hangi yöntemin geçerli olduğu konusunda karar vermek uygulama alanına hakim kişiler tarafından verilmelidir.  Başarım ve ölçeklenebilirlik için oluşturulan metriklerin geçerlilikleri konusunda ortak bir fikir yoktur. Başarım ve ölçeklenebilirlik konusu subjektiftir. %90 başarı bazı uygulamalar için iyi sayılabilirken, sağlık alanında çok kötü bir değer olarak nitelendirilebilir.  Çoğu durumda veri kaynağından elde edilen bilgilerin güvenilirliği konusunda doğrulama yapılamamaktadır (kişisel bilgilerin gizliliği). 38/41

39 Veri Madenciliği Doç. Dr. Suat Özdemir Veri Madenciliğinde Sorunlar: Güvenlik  Gizlilik ve sosyal haklar  Kişilere ait verilerin toplanarak, kişilerden habersiz ve izinsiz olarak kullanılması  Veri madenciliği yöntemleri ile bulunan sonuçların izinsiz olarak açıklanması  Gizlilik ve veri madenciliği politikalarının düzenlenmesi 39/41

40 Veri Madenciliği Doç. Dr. Suat Özdemir Veri Madenciliğinde Sorunlar: Son kullanıcı  Kullanıcı Arabirimi –Görüntüleme Sonucun anlaşılabilir ve yorumlanabilir hale getirilmesi Bilginin sunulması  Etkileşim –Veri madenciliği ile elde edilen bilginin kullanılması –Veri madenciliği yöntemine müdahele etmek –Veri madenciliği yönteminin sonucuna müdahele etmek 40/41

41 Veri Madenciliği Doç. Dr. Suat Özdemir Veri Madenciliğinde Sorunlar: Performans  Başarım ve ölçeklenebilirlik –Kullanabilirlik ve ölçeklenebilirlik Zaman karmaşıklığı ve yer karmaşıklığı kabul edilebilir Örnekleme yapabilme  Paralel ve dağıtık yöntemler –Artımlı veri madenciliği –Parçala ve çöz 41/41


"Doç. Dr. Suat Özdemir Veri Madenciliği Bölüm 1. Giriş." indir ppt

Benzer bir sunumlar


Google Reklamları