VERİ AMBARI & VERİ MADENCİLİĞİ

... konulu sunumlar: "VERİ AMBARI & VERİ MADENCİLİĞİ"— Sunum transkripti:

1 VERİ AMBARI & VERİ MADENCİLİĞİ

2 Veri Ambarı Nedir? Veri ambarı, bir işletmenin ya da kuruluşun değişik birimleri tarafından toplanan bilgilerden değerli olanlarının, gelecekte analiz işlemlerinde kullanılması amacıyla işletimsel sistem veritabanından farklı bir ortamda birleştirilmesinden oluşan büyük çaplı bir veri deposudur. Bir veri ambarı ilgili veriyi kolay, hızlı ve doğru biçimde analiz etmek için gerekli işlemleri yerine getirir. Veri ambarı kullanıldığında, günlük işletimsel görevlerle yeterince meşgul olan veritabanı kullanılmadan, analiz işlemleri farklı bir ortamda yapılır.

3 Veri Ambarı Mimarisi

4 ETL (Extract-Transform-Load) (Çıkarım-Dönüştürme-Yükleme)
Veri çıkarımı, veri ambarının kullandığı kaynaklardan (veri tabanı ve/veya diğer kaynaklar) veri elde etme işlemidir. Kaynaklardan çıkarılan veri genellikle geçici dosyalara yüklenilir. Dönüştürme aşamasında ise, elde edilen verilerdeki fazlalıklar atılır (veri temizleme) ve her veri sorgulamalarda kullanılabilecek uygun veri türüne dönüştürülür. Yükleme, dönüştürülen verinin veri ambarına aktarılması işlemidir.

5 Metadata Türleri Teknik Metadata: Bu tur Metadata sistem adminlerini ve ambar tasarımını yapan kullanıcılar için gerekli geliştirme ve bakim işlemleri ile ilgili verilerdir. (İşletimsel veri tabanlarından ambara dönüşüm için kullanılan algoritmalar, veri temizleme ve düzeltimi için kullanılan kurallar, erişim hakları, vs.) İş Metadata: Kullanıcıların veri ambarında saklanılan bilginin perspektifini anlamasına yardımcı olacak bilgileri içerir (Sorgu, rapor, web sayfası, resim, video, vs).

6 OLAP (On-Line Analytical Processing)
OLAP araçları, hızlı gözden geçirim, özetleme ve veri analizi için tasarlanmış, çok boyutlu veri tabanı motorunda verinin çok boyutlu gösterimine olanak sunan araçlardır. OLAP araçları ile; En çok kâr getiren müşterilerim kimlerdir? (Bayi ve perakendeci bazında.) En kârlı ürünlerim nelerdir? Hangi işletme ya da mağazamda, en çok hangi saat ve günlerde hareketlilik olmaktadır? gibi sorular hızlı bir şekilde cevaplanabilmektedir.

7 Veri Ambarı (OLAP) Veri Tabanı (OLTP) Off-Line çalışır
Veri değişiminden çok sorgulama yapılır Eski veriler saklandığı için veri miktarı çok Üst yönetim ve analistler kullanır (Kullanıcı sayısı az) Veri madenciliği gibi uzun ve karmaşık süreçler sonucunda analizler yapılabilir Veri Tabanı (OLTP) On-Line çalışır Veri değişimi işlemleri yoğunluktadır (DML) Güncel veriler saklandığı için veri miktarı daha az Veriye ulaşmak ve değiştirmek isteyen her kullanıcıya hitap eder (Kullanıcı sayısı çok) Sorgularla istenilen sonuçlara anında ulaşılır

8 Veri ambarı yerine veri tabanı (işletimsel sistem) kullanılırsa …
İşletimsel sistemlerde sürekli değişen veri “karar verme işlemi” için uygun değildir. İşletimsel sistemlerde kompleks bir sorgu yapılacaksa, bir çok tablodan veri toplanması gereklidir. İşletimsel sistemlerde sadece işlemsel veriler saklanılır. Geçmişe yönelik veri saklanılmaz. Organizasyondaki farklı uygulamalar, farklı teknolojiler ve ortamlar kullanabilmektedir. Böyle sistemlerde veri analiz ve sorgulaması, verinin yeri ve ortak bir formata dönüşüm işlemlerini içerdiğinden zor olabilir.

9 Veri Pazarları (Data Marts)
Birleşik verilerin tutulduğu veri ambarına ilave olarak kullanılan veri deposu olarak tanımlanabilir. Veri pazarı, belirli kullanıcı grubu için yaratılan veri bölümüdür. Veri pazarı, normalize edilmemiş, özetlenmiş, toplanılmış veri topluluğu olabilir.

10 Veri Ambarı ile Veri Pazarı Arasındaki Farklar
Veri pazarı sadece bir özne alana veya sadece bir grup kullanıcı üzerine odaklanır. Bir organizasyon sadece bir veri ambarına sahip olur, fakat bir çok veri pazarı içerebilir. Veri pazarları veri ambarlarının aksine, işletimsel veri kaynakları bilgisine sahip değildir. Çünkü veri pazarları, veri ambarlarının aksine daha az bilgi içerirler bu nedenle kullanıcılar için çok daha çabuk ve kolayca anlaşılabilirler.

11 Veri Ambarı İçin Kullanılan Modelleme Teknikleri
Veritabanı tasarımında kullanılan E-R modeli iki boyutlu olup, tüm varlıklara eşitmiş gözü ile bakılır. Veri ambarları için çok boyutlu perspektifi gerçekleyebilecek yeni modelleme teknikleri keşfedilmiştir: Yıldız (Star) Kar Tanesi (Snowflake) Karma (Mixed)

12 Yıldız (Star) Modeli Gerçek tablosu, temel iş ölçümlerini içeren niteliklerden oluşur. Bir gerçek tablo, o tabloya ait spesifik nitelikler ve boyut tablolarıyla ilişkili yabancı anahtarları içermektedir. Boyut tablosu, gerçek tablosunda saklanılan veriyi indeksler ve organize eden niteliklerden oluşmaktadır. Boyut tablosu, boyutu tanımlayan nitelikleri içermektedir.

13 Kar Tanesi Modelinin Avantajları ve Dezavantajları
Tüm tekrarlanılan veriler kaldırıldığından, saklama alanı korunmuş olur. Büyük normalize edilmemiş tablolar yerine, Join’ler için normalize edilmiş daha küçük tablolar kullanılır. Dezavantajları: Sorgu sonucunda Join edilmesi gereken tabloların sayısının belirlenmesindeki zorluk Belirli bir sorguda kullanılacak tabloyu belirlemedeki zorluk

14 Karma (Mixed) Modeli Bazı veritabanı dizaynlarında, boyut tabloları veri hacminde çok geniş farklılıklar gösterir. Böyle durumlarda tüm tasarımda ne yıldız ne de kar tanesi modeli kullanılamaz. Her iki modelin bir kombinasyonuna ihtiyaç duyulur. Bu kombinasyon modeline karma model denilmektedir.

15 Küp (Cube) Verinin hızlı bir şekilde analizine izin veren veri yapısıdır. Yıldız modeli için verilen örnek bir küp üzerinde aşağıdaki gibi saklanabilir: Gerçek tablosu : Çok boyutlu (3D) küp : day 2 day 1

16 Küp İşlemleri Örnek: Toplam Hesaplama . . . sale(c1,*,*) 129
day 2 . . . day 1 sale(c1,*,*) 129 sale(c2,p2,*) sale(*,*,*) rollup drill-down

17 Bilgi Keşfi: Aşamalar

18 Veri Madenciliği Nedir?
Büyük hacimli veri içerisinden; anlamlı, gizli kalmış ve kuruluşun karar destek sistemi için potansiyel olarak faydalı olabilecek bilgilerin çıkarıldığı ve geri planında istatistik, yapay zeka ve veritabanlarının bulunduğu veri analiz tekniğine Veri Madenciliği (Data Mining) adı verilir. Veri madenciliği, potansiyel olarak faydalı, yeni ve mantıklı bilgi elde etmek için büyük veri tabanları üzerinde birden fazla basamaktan oluşan bir analiz yapmaktır.Veri madenciliğinin amacı, veritabanlarında saklı olan ilişkileri ortaya koymaktır.

19 Veri Madenciliği Anlamlı örüntüler(bağımsız değişkenleri içeren genel ifadeler-ingilizcede pattern) ve kurallar çıkarmak amacıyla, büyük miktarda verilerin analizi ve araştırmasıdır. Bir bilgi çıkarma aktivitesidir. Ham verileri kullanarak önemli ilişkileri çıkarmaktır. Yüksek miktarda verilerin analizini gerçekleştirmek için geliştirilen güçlü teknikleri içerir. Sadece bir tane veri madenciliği yaklaşımı olmayıp, daha ziyade bu tekniklerin kombinasyonları kullanılmaktadır.

20 Veri Madenciliği Nedir?
Veri madenciliği, veri ambarları üzerinde AI (yapay zeka), istatistiksel ve matematiksel teknikleri kullanarak, saklanılan büyük miktarlardaki veriler üzerinden, anlamlı yeni ilişkiler, desenler ve eğilimler keşfetme işlemidir.

21 Veri Madenciliğinin Kullanım Amaçlarından Bazıları:
Stratejik Analiz: Bir KDS (Karar Destek Sistemi) olmasından dolayı Finansal Analiz: Maliyetlerin azaltılması dolayısıyla rekabet avantajının sağlanması Satış analizi ve trendler üzerine odaklanmak Müşterilerin gizli kalmış satın alma eğilimlerini tespit etmek İşler arasında ilişkilerin belirlenebilmesi Müşteri ihtiyaçlarına çabuk cevap verebilme (Etkin CRM)

22

23

24 VTYS, OLAP ve Veri Madenciliği
Alan VTYS OLAP Veri Madenciliği Görev Detaylı ve özet bilginin çıkarılması Özetler, trendler ve tahminler Saklı bilgilerin ve sezgilerin keşfi Sonuç Tipi Bilgi Analiz Tahmin ve Sezgi Metot Tümdengelim (Soruyu sor, veriyle soruştur) Çok boyutlu veri modelleme, İstatistik Tümevarım (Model kur, yeni veriye uy-gula, sonucu elde et) Örnek Soru Son 3 yılda ortak fonları kim satın aldı? Yıl ve bölge başına, ortalama fon geliri nedir? Önümüzdeki 6 ay içerisinde kimler fon alabilir ve neden?

25 Veri Madenciliği Uygulama Alanları
Bilim Astronomi Biyoinformatik İlaç keşfi İş Hayatı Reklam CRM (Müşteri İlişkileri Yönetimi) ve müşteri modelleme e-Ticaret Yatırım değerlendirme ve karşılaştırma Sağlık Üretim Spor/eğlence Telekom (telefon ve iletişim) Hedef pazarlama Web Metin Madenciliği (haber grubu, , dokümanlar) Web analizi Arama Motorları Devlet Terörle Mücadele Kanun yaptırımı Vergi Kaçakçılarının Profilinin Çıkarılması

26 Veri Madenciliği-Örnek Uygulamalar: Müşteri Kayıp Oranlarının Azaltılması
Bir cep telefonu şirketi tipik olarak %25-%30 müşterisini her yıl kaybedebilir Problemin Tanımı: Geçmiş aylara ait (2 ila18 ay arasında) verilerin elde olduğu varsayılırsa, önümüzdeki bir yada iki ay içersinde terk edebilecek müşterilerin bulunması Müşteri değerinin hesaplanması Çözüm Aşamaları: Ayrılabilecek potansiyel müşterileri bul Bölgesel modeller geliştir Yeni kampanyaları kabul etme eğilimine sahip müşterileri hedefle Aylık yaklaşık %2 müşteri kaybını %1.5’düşür

27 Veri Madenciliği-Örnek Uygulamalar: Kredi Riski
Kredi itibarı yüksek olan müşteriler krediye pek ihtiyaç duymayabilirler – Bu kesimin banka ile iş hacmi az olabilir Kredi ihtiyacı çok yüksek olan kişilerin ise kredi itibarları çok düşük olabilir – Kredilerin geri ödenmeme riski çok yüksektir Bir banka için en kazançlı müşteri kitlesi bu ikisi arasında olandır. Yani kredi kullanıp, kabul edilebilir bir risk ile zamanında ödeyebilen müşteri kitlesi

28 Veri Madenciliği: Uygun Problemler
Bilgi tabanlı kararlara ihtiyaç duyulan Değişen bir çevreye sahip olan Hali hazırda tam-optimum olmayan çözümleri olan Erişilebilir, yeterli ve ilgili veriye sahip olan Doğru karar verildiğinde yüksek getiriye sahip olan