VERİ MADENCİLİĞİ SÜRECİ

... konulu sunumlar: "VERİ MADENCİLİĞİ SÜRECİ"— Sunum transkripti:

1 VERİ MADENCİLİĞİ SÜRECİ
Şule ÖZMEN Marmara Üniversitesi İ.İ.B.F. İngilizce İşletme Bölümü

2 Şule Özmen İticu_Veri Madenciliği_9_Mayıs
AMAÇ Veri madenciliği uygulama süreci Müşteri İlişkileri Yönetimine ilişkin uygulamalar Şule Özmen İticu_Veri Madenciliği_9_Mayıs

3 Şule Özmen İticu_Veri Madenciliği_9_Mayıs
İÇERİK Bilginin Değeri / Verinin Önemi Neden Veri Madenciliği Veri Madenciliğinde kullanılan verinin özelliği Veri Ambarı Müşteri İlişkileri Yönetiminde Veri Madenciliği uygulamaları Veri Madenciliği Standart Süreci CRISP-DM: CRoss Industry Standard Process for Data Mining Şule Özmen İticu_Veri Madenciliği_9_Mayıs

4 Bilginin Değeri / Verinin Önemi
Yeni ekonomide bilgi, üretimin faktörlerinden birisi Internet küreselleşmeyi körüklüyor Rekabet artıyor Kar marjları düşüyor Müşteriyi memnun etmek her geçen gün zorlaşıyor Tüketiciler, müşteriler bilgiyle donanıyor Sadakatleri azalıyor/azalabiliyor Şule Özmen İticu_Veri Madenciliği_9_Mayıs

5 Değişen koşullarla başa çıkmanın çaresi:
Bilgi ile değer yaratmak Verileri toplamak, bilgi üretme amacına yönelik hazırlamak Analiz etmek Elde edilen bilgileri eyleme yönelik olarak kullanmak Şule Özmen İticu_Veri Madenciliği_9_Mayıs

6 Dijitalleşmenin etkisi
Büyük miktarlarda verinin Çok hızlı bir biçimde toplanabilmesi depolanabilmesi ve analizinin mümkün olması Bilgiye dönüştürülen verinin Doğru ve zamanında karar alabilmesi için onların kullanıcılara sunulması Şule Özmen İticu_Veri Madenciliği_9_Mayıs

7 Neden Veri Madenciliği?
Bilgi Edinme İhtiyacı Karar Süreci Sorgulama Türü Sorgu Karmaşıklığı Verinin Detay Düzeyi GEÇMİŞ Raporlama Reaktif Önceden tanımlanmış Basit Özet BUGÜN Keşfetmek Proaktif Anlık Karmaşık Detaylı Kaynak: Cenk Kıral - Oracle Firması CRM Yöneticisi Şule Özmen İticu_Veri Madenciliği_9_Mayıs

8 Şule Özmen İticu_Veri Madenciliği_9_Mayıs
SORGULAMA AŞAMALARI RAPORLAMA NE OLDU? TAHMİN NELER OLACAK? ANALİZ NEDEN OLDU? Önceden tanımlanmış Sorgulamalar Bağıntılarla ilgili sorgulamalar Analitik tahmin modelleri Şule Özmen İticu_Veri Madenciliği_9_Mayıs Kaynak: Oracle

9 Şule Özmen İticu_Veri Madenciliği_9_Mayıs
NELER OLMALI? OLMASI GEREKENi GERÇEKLEŞTiR Olmasını sağla Şule Özmen İticu_Veri Madenciliği_9_Mayıs

10 krize rağmen ödemesini Rakibimizle çalışıyor
Vadeli ve vadesiz mevduatı var otomatik ödeme? Kredi Kartı müşterimiz aylık ortalama harcaması su kadar Yeni Müşteri! Hem bireysel hem kurumsal müşterimiz Konut kredisi almış krize rağmen ödemesini aksatmamış Eski müşterimiz bankaya 4 aydır uğramadı inaktif Her ay en az 5 kez uğrar yeni bir iş kuracak Daima Promosyon Kuponu kullanır Otomatik ödeme talimatı var Hizmetlerimizin çoğunu alıyor Yeni bebekleri oldu Biz zamanlar en iyi müşterimizdi Rakibimizle çalışıyor Şule Özmen İticu_Veri Madenciliği_9_Mayıs

11 Veri madenciliğinde veri
Operasyonel veri Uygulamaya yöneliktir Dağınıktır Kısa zamanda oluşur Tekrarlayabilen veriler Enformasyonel veri Kişiye yöneliktir Bütünleşiktir Zaman içinde oluşan Birleştirilmiş veriler Şule Özmen İticu_Veri Madenciliği_9_Mayıs

12 Veri Ambarı (Data Warehouse)
Bir kurumda gerçekleşen tüm operasyonel işlemlerin, en alt düzeydeki verilerine kadar inebilen, etkili analiz yapılabilmesi için özel olarak modellenen, tarihsel derinliği olan, fiziksel olarak operasyonel sistemlerden farklı ortamdaki yapılardır. Şule Özmen İticu_Veri Madenciliği_9_Mayıs

13 Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Eyleme yönelik bilgi elde edilmesini amaçlar Enformasyonel verilerin Veri Tabanlarında, Veri Ambarlarında tutulması gereği vardır. Şule Özmen İticu_Veri Madenciliği_9_Mayıs

14 Sorgulama örnekleri(1)
Karar Destek Sistemlerinde bir işlem sonucu oluşmuş tek bir veriye bakmak yerine bir grup müşteri bilgisini analiz ederek eğilimleri ortaya çıkarmak önemlidir. Çünkü Karar Destek Sistemlerinde tasarlanan sorgulamalar iç içe girmiş birden fazla değişken boyutuyla ilgilidir. Örneğin: “Son iki aydan beri evininin 100 km çevresindeki bir restoranda 75 milyon ve üzerinde hesap ödeyenler hangi özellikte insanlar?” sorusuna cevap aramak. “Kredi kartı ödemesini aksatmadan yapan, bankada otomatik ödeme talimatı olan ve de maaşı o bankaya yatan müşterilerin özellikleri nedir?” Şule Özmen İticu_Veri Madenciliği_9_Mayıs

15 Sorgulama örnekleri (2)
Müşterilerim aldıkları mevcut ürünler dışında diğer hangi ürünleri almak isterler? Çapraz satış yapabilmek için kullanılabilecek bir sorgulama yöntemidir. En karlı müşterilerim kimlerdir ve bunların özellikleri nelerdir? Şule Özmen İticu_Veri Madenciliği_9_Mayıs

16 Sorgulama örnekleri (3)
Kurumumuzla çalışmayı bırakıpta rakibe yönelen müşterilerim kimlerdir ve (daha da önemlisi) bunların özellikleri nelerdir? Yukarıdaki örnekte anlatıldığı gibi, bu sorunun cevabı sadece bırakıp giden müşterilerin kimler olduğunu raporlamak değildir. Amaç bunları ayrıştıran özellikleri ortaya çıkaran bir model oluşturmak ve bu modeli mevcut müşterilere uygulayarak müşteriyi rakibe gitmeden önce belirleyip, gitmesini önleyecek tedbirler almaktır. Şule Özmen İticu_Veri Madenciliği_9_Mayıs

17 Veri madenciliğinde amaç
Eyleme yönelik bilgi elde etmek Hangi müşteriye Hangi teklif Hangi ortamda, hangi kanaldan Ne zaman sunulmalı Şule Özmen İticu_Veri Madenciliği_9_Mayıs

18 Şule Özmen İticu_Veri Madenciliği_9_Mayıs
CRISP-DM Veri Madenciliği Standard Süreci Bilgi İhtiyacı AMAÇ Veri Kaynakları Veri İnceleme Veri Hazırlama VERİ Kullanma Modelleme Değerlendirme Şule Özmen İticu_Veri Madenciliği_9_Mayıs Kaynak Clay Helberg, Data Mining with Confidence, SPSS, 2002

19 Veri Madenciliği Süreci
Amaç: Bilgi ihtiyacının belirlenmesi, problemin tanımı Veri kaynaklarının belirlenmesi ve verilerin incelenmesi Verilerin hazırlanması Modelin oluşturulması Sürecin ve modelin değerlendirilmesi Sonuçların kullanıma sunulması Şule Özmen İticu_Veri Madenciliği_9_Mayıs

20 Bilgi ihtiyacının belirlenmesi
Hangi amaç için bilgiye ihtiyaç var? Şule Özmen İticu_Veri Madenciliği_9_Mayıs

21 Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Genel Amaçlar Müşteri sayısını, sadakatini, karlılığını artırmak (genel) Tedarik sürecinin etkinliğinin ve verimliliğini artırmak (genel) E-ticaret sitesine giren ve alışveriş yapan ziyaretçi sayısını artırmak (genel) Şule Özmen İticu_Veri Madenciliği_9_Mayıs

22 Bilgi ihtiyacının belirlenmesi
Hangi amaç için bilgiye ihtiyaç var? Hangi bilgi bu amaca hizmet eder? Şule Özmen İticu_Veri Madenciliği_9_Mayıs

23 Amaca uygun bilgi nedir?
Müşteri sayısını, sadakatini, karlılığını artırmak (amaç) Çapraz satış kampanyası için hedef müşteri kitlesi bilgisi (ihtiyaç duyulan bilgi) Tedarik sürecinin etkinliğinin ve verimliliğini artırmak (amaç) Hangi tedarikçiden ne zaman ne miktarda mal alınacağı bilgisi (ihtiyaç duyulan bilgi) E-ticaret sitesinin ziyaretçi ve alışveriş yapan müşteri sayısını artırmak (amaç) Sitede uzun süre kalma ve alışveriş yapma olasılığını artıran faktörlerin neler olduğu bilgisi (ihtiyaç duyulan bilgi) Şule Özmen İticu_Veri Madenciliği_9_Mayıs

24 Bilgi ihtiyacının belirlenmesi
Hangi amaç için bilgiye ihtiyaç var? Hangi bilgi bu amaca hizmet eder? Bu bilgiyi elde etmeye yönelik veri madenciliği amacı nedir? Şule Özmen İticu_Veri Madenciliği_9_Mayıs

25 Veri Madenciliği’nin Amacı
Çapraz satış kampanyası için hedef müşteri kitlesi bilgisi (ihtiyaç duyulan bilgi) Kampanya sırasında satış teklifini kabul etme olasılığı yüksek olan müşterileri isabetli tespit edecek modeli kurmak (veri madenciliğinin amacı) Sitede uzun süre kalma ve alışveriş yapma olasılığını artıran faktörlerin neler olduğu bilgisi (ihtiyaç duyulan bilgi) Siteden alışveriş yapan ile yapmayan uzun süre kalan ile kalmayanı ayırt edecek faktörleri belirleyecek modeli kurmak Şule Özmen İticu_Veri Madenciliği_9_Mayıs

26 Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Bilgi ihtiyacının belirlenmesi aşamasında 1. Aşamada nelere dikkat edilmeli Personel Veri mevcut mu, elde edilebilir mi? Donanım verilerin depolandığı, analiz için verinin seçilip yerleştirileceği donanım yeterli mi? Yazılım veriye erişmek, analizini yapmak, raporlama ve sonuçları kullanıma sunmak için uygun mu? Şule Özmen İticu_Veri Madenciliği_9_Mayıs

27 1. Aşamada nelere dikkat edilmeli
Fayda/maliyet analizi Başarı kriterinin belirlenmesi: ihtiyaç duyulan bilgiyi elde etme derecesi bu bilginin amaca ne derece hizmet ettiği kriter sadece modelin tahmin gücünün yüksek olması değil elde edilen bilginin taşıdığı değer Modelin tahmin gücünün yanısıra satış başarı oranı nedir? Sunulan teklifler hangi oranda kabul görmüştür? Şule Özmen İticu_Veri Madenciliği_9_Mayıs

28 Veri Madenciliği Süreci
Amaç: Bilgi ihtiyacının belirlenmesi, problemin tanımı Veri kaynaklarının belirlenmesi ve verilerin incelenmesi Verilerin hazırlanması Modelin oluşturulması Sürecin ve modelin değerlendirilmesi Sonuçların kullanıma sunulması Şule Özmen İticu_Veri Madenciliği_9_Mayıs

29 Veri kaynaklarının belirlenmesi
Veriler hangi kaynaklardan elde edileceğine karar verilmesi İhtiyaç duyulan veriler farklı kaynaklardan elde edilmesi durumunda hangi ortamda nasıl birleştirileceğine aktarılacağı nihai ortama ve nasıl aktarılacağına karar verilmesi Şule Özmen İticu_Veri Madenciliği_9_Mayıs

30 VERİ KAYNAKLARI - Örnek
E-ticaret sitesinin ziyaretçi ve alışveriş yapan müşteri sayısını artırmak (amaç) Sitede uzun süre kalma ve alışveriş yapma olasılığını artıran faktörlerin neler olduğu bilgisi (ihtiyaç duyulan bilgi) VERİ KAYNAKLARI Web log: Ziyaretçilerin hangi sayfaları hangi sıklıkta görüntülediklerinin vb. verilerin tutulduğu dosyalar Üye müşteri bilgilerinin tutulduğu dosyalar Alışveriş işlem verilerinin tutulduğu dosyalar Şule Özmen İticu_Veri Madenciliği_9_Mayıs

31 Verilerin incelenmesi, anlaşılması
Veri nasıl tanımlanmış kodlamalar meta data: veri hakkındaki veriler Veri kalitesinin incelenmesi eksik veri olup olmadığına veri girişinin hatalı olup olmadığına kodlamalarda uyumsuzluk metadata hataları Şule Özmen İticu_Veri Madenciliği_9_Mayıs

32 Verilerin incelenmesi_kavranması
Verinin keşfi ve hazırlanması Amaç: başlangıçta veriyle ilgili fikir elde etmek Tablolamalar Grafikler OLAP küpleri:Çok boyutlu tablolamalar Çeşitli kriterlere göre gruplandırmalar Satış dağılımları Bölgeler Ürünler veya Şube/mağaza bazında Ortalamalar, toplamlar, sapmalar Şule Özmen İticu_Veri Madenciliği_9_Mayıs

33 2. Aşamada nelere dikkat edilmeli
Veri kalitesi Eksik veri Veri girişlerinde hata Kodlamalarda uyumsuzluk Metadata hataları Şule Özmen İticu_Veri Madenciliği_9_Mayıs

34 Veri Madenciliği Süreci
Amaç: Bilgi ihtiyacının belirlenmesi, problemin tanımı Veri kaynaklarının belirlenmesi ve verilerin incelenmesi Verilerin hazırlanması Modelin oluşturulması Sürecin ve modelin değerlendirilmesi Sonuçların kullanıma sunulması Şule Özmen İticu_Veri Madenciliği_9_Mayıs

35 Verilerin hazırlanması
Hangi veri alanları (değişkenler, sütünlar) Hangi kayıtlar (satırlar) kullanılacak Örnekleme Gözlem sayılarının fazla olması durumunda zaman kazandırır, maliyeti azaltır Tabakalar; kampanyadan alanları ve almayanları kapsamak açısından önemli Şule Özmen İticu_Veri Madenciliği_9_Mayıs

36 Verilerin temizlenmesi
Verinin eksikliği ve veri kirliliğinin giderilmesi İdeal olan eksik verileri zaman içinde tamamlama yoluna gidilmesi Tahmin yöntemiyle tamamlanması Hatalı verilerin Veri girişi esnasında önlem alma Otomatik kontrol yapılabilir; araba kredisi almış ama arabası yok gözüküyor Şule Özmen İticu_Veri Madenciliği_9_Mayıs

37 Yeni veriler oluşturmak
Verileri bazı işlemler yaparak farklı bir veri setine dönüştürmek logaritma toplam, bölüm, fark yeniden kodlama Faktör analizi ile değişkenleri daha az sayıda boyutlara indirgemek (RFM indeksi gibi) Şule Özmen İticu_Veri Madenciliği_9_Mayıs

38 Verileri hazırlarken nelere dikkat edilmeli
Amaca hizmet etmeyecek değişkenler varsa ayıklanmalı Eksik, hatalı ölçülen, hatalı veri girilen alanlar ayıklanmalı Eksik verilerin sistematik bir hataya yol açıp açmayacağı kontrol edilmeli Birbirine eşdeğer tekrar niteliğinde olan veri alanları ayıklanmalı Eklenecek yeni değişkenin verisini hazırlamak için gereken çabaya değer mi? Şule Özmen İticu_Veri Madenciliği_9_Mayıs

39 Veri Madenciliği Süreci
Amaç: Bilgi ihtiyacının belirlenmesi, problemin tanımı Veri kaynaklarının belirlenmesi ve verilerin incelenmesi Verilerin hazırlanması Modelin oluşturulması Sürecin ve modelin değerlendirilmesi Sonuçların kullanıma sunulması Şule Özmen İticu_Veri Madenciliği_9_Mayıs

40 Modelin oluşturulması
Modelin amacı: Sınıflandırma Tahmin Modelleme tekniği Modelin varsayımlarının kontrol edilmesi Algoritmaların seçilmesi Modelin uygunluğunun test edilmesi İsabetli tahmin oranı Kullanıcıların anlamaları ve kullanabilmeleri Şule Özmen İticu_Veri Madenciliği_9_Mayıs

41 Veri Madenciliği Süreci
Amaç: Bilgi ihtiyacının belirlenmesi, problemin tanımı Veri kaynaklarının belirlenmesi ve verilerin incelenmesi Verilerin hazırlanması Modelin oluşturulması Sürecin ve modelin değerlendirilmesi Sonuçların kullanıma sunulması Şule Özmen İticu_Veri Madenciliği_9_Mayıs

42 Sürecin ve modelin değerlendirilmesi
Modelin bulgularının incelenmesi Hangi gruplara ayırmış Bu grupların özellikleri nelerdir Model kurma ve bunun için gerekli verilerin elde edilmesi kullanıma hazırlanma sürecinin değerlendirilmesi İhtiyaç duyulan bilgi gerçekten elde edilmiş mi? Şule Özmen İticu_Veri Madenciliği_9_Mayıs

43 Şule Özmen İticu_Veri Madenciliği_9_Mayıs
ŞU ANDA Elde ne var biliyorsunuz Modeliniz, modelleriniz, bulgularınız Nasıl elde ettiğinizi biliyorsunuz hangi verileri, hangi aşamalardan geçirip hazırladıktan sonra hangi modeli, tekniği kullanarak Şule Özmen İticu_Veri Madenciliği_9_Mayıs

44 Değerlendirme sonucu alternatifleriniz
Modeli ve bulguları kullanmak Daha iyi, daha güçlü bir model kurma kararı Kullanmaya değer bulmamak Yeni bir veri madenciliği süreci başlatmak Şule Özmen İticu_Veri Madenciliği_9_Mayıs

45 Veri Madenciliği Süreci
Amaç: Bilgi ihtiyacının belirlenmesi, problemin tanımı Veri kaynaklarının belirlenmesi ve verilerin incelenmesi Verilerin hazırlanması Modelin oluşturulması Sürecin ve modelin değerlendirilmesi Sonuçların kullanıma sunulması Şule Özmen İticu_Veri Madenciliği_9_Mayıs

46 İstatistik ve Veri Madenciliği
Veri üzerindeki kontrol (VM’de daha az) Verilerin büyüklüğü (VM’de daha çok) Hipotezlerin oluşturulup test edilmesi VM’de bunun yanısıra daha çok verileri, ve bu veriler arasındaki örüntüyü keşfetmeye yöneliktir... İstatistiksel olarak anlamlı olmayan farklılıklar kar zarar hanesine çok anlamlı bir biçimde yansıyabilir. Şule Özmen İticu_Veri Madenciliği_9_Mayıs

47 Şule Özmen İticu_Veri Madenciliği_9_Mayıs
TEŞEKKÜRLER Sunuma erişim Tebliğ ve Sunumlar bağlantısı CRISP-DM CRISP-DM Konsorsiyum NCR Teradata Division SPSS Daimler-Crysler Ohra Bank Şule Özmen İticu_Veri Madenciliği_9_Mayıs