Sunum yükleniyor. Lütfen bekleyiniz

Sunum yükleniyor. Lütfen bekleyiniz

Veri Ambarları 1.  Veri ambarı nedir?  Çok boyutlu veri modeli  Veri ambarı mimarisi  Veri ambarından veri madenciliğine 2.

Benzer bir sunumlar


... konulu sunumlar: "Veri Ambarları 1.  Veri ambarı nedir?  Çok boyutlu veri modeli  Veri ambarı mimarisi  Veri ambarından veri madenciliğine 2."— Sunum transkripti:

1 Veri Ambarları 1

2  Veri ambarı nedir?  Çok boyutlu veri modeli  Veri ambarı mimarisi  Veri ambarından veri madenciliğine 2

3  Farklı şekillerde tanımlanabilir. ◦ Organizasyonun eylemsel veritabanından ayrı/bağımsız olarak kurulan karar destek veritabanı ◦ Tarihsel veri üzerinde analiz yaparak bilgiyi işlemeyi sağlar ◦ çok boyutlu ve karmaşık verileri özetleyen ve katagorize eden teknolojidir  Bir veri ambarı yönetimsel karar vermeye yardımcı olacak verilerin konu odaklı, birleştirilmiş, zaman değişken ve sabit olarak toplanmasıdır (W.H.Inmon)  Data warehousing: ◦ Veri ambarı oluşturma ve kullanma işlemi 3

4  Müşteri, ürün, satış gibi ana konular için geliştirilirler  Karar verici makamlar için verinin modellenmesine ve analizine odaklanır ◦ Günlük işlemler ya da alışveriş hareketliliği veri ambarlarının konusu değildir  Gereksiz verileri ayıklar ve odaklandığı konu çerçevesinde basit ve anlaşılabilir bilgiyi sunar 4

5  Farklı kaynakların birleştirilmesi ile oluşur ◦ relational databases, flat files, on-line transaction records  Veri temizleme ve birleştirme teknikleri uygulanır ◦ Isimlendirme yöntemlerinde tutarlılık kontolü, birim (metric) ◦ Değişik veri kaynakları arasındaki tutarlılık sağlanır  Veri ambarına aktarılırken çevrimler yapılır ◦ Tutarlılık sağlanır 5

6  Zaman değişkeni canlı veri tabanlarına göre çok daha uzundur ◦ Operasyonel veritabanları: güncel değerler (max 1 yıl) ◦ Veri ambarları: Geçmiş hakkında bilgi verir (geçmiş 5-10 yıl)  Veri ambarlarındaki her yapı direk yada dolaylı olarak bir zaman elemanı içerir ◦ Zaman içindeki değişikliklere odaklanır 6

7  Canlı veritabanlarından alınan veri farklı bir fiziksel bir ortamda saklanır  Veri ambarında veri güncellemesi olmaz  Canlı veritabanlarındaki değişim veri ambarlarını etkilemez   Sadece “ilk veri yüklemesi” ve “veri erişimi” işlemlerini kullanır 7

8  Veritabanlarının birleştirilmesi - OLTP (on-line transaction processing) ◦ Geleneksel veritabanlarındaki temel işlem ◦ Farklı veritabanları arasında bir arabulucu katman ◦ Her veritabanında ayrı sorgu yapıp sonra birleştirir ◦ Günlük işlemler  Veri Ambarları - OLAP (on-line analytical processing) ◦ Veri ambarlarındaki temel işlem ◦ Veri analizi ve karar alma  Farklı özellikleri (OLTP vs. OLAP): ◦ Kullanıcı / sistem odaklı: müşteri vs. sektör ◦ Veri içeriği: güncel, detaylı vs. tarihsel, özetlenmiş ◦ Erişim: güncelleme, basit sql sorguları vs. read-only ama karmaşık sorgular 8

9 9

10  Veri ambarı nedir?  Çok boyutlu veri modeli  Veri ambarı mimarisi  Veri ambarından veri madenciliğine 10

11  Veri ambarlarının temeli olan çok boyutlu veri modelinde veri, veri kübü şeklinde ifade edilir  Örnek olarak satış bilgisi içeren veri küpünün farklı boyutları: ◦ Ürün, zaman, konum gibi ◦ Her boyut için bir Boyut tablosu (Dimension table), ürün (ürün_ismi, markası, cinsi) yada zaman(gün, hafta, ay, mevsim, yıl) ◦ Değer tablosu (Fact table) sayısal ölçüm değerlerini tutar  Kaç tane satıldı, toplam ürün cirosu gibi  Ayrıca ilgili boyut tabloları için anahtarları tutar 11

12  Yıldız (Star) şema: Merkezde bir değer tablosu (fact table) çevresindeki boyut tablolarını (dimention table) birleştirir  Kartanesi (Snowflake) şema: Yıldız şemasının gelişmiş halidir. Yıldızın uç noktaları genişleyerek baska alt-boyutlara açılır. Bu nedenle görüntüsü kar tanesini andırır. ◦ Her boyut birden fazla boyut tablosu ile ifade edilir 12

13 13 time_key day day_of_the_week month quarter year time location_key street city state_or_province country location Sales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_sales Measures item_key item_name brand type supplier_type item branch_key branch_name branch_type branch

14 14

15 15 time_key day day_of_the_week month quarter year time location_key street city_key location Sales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_sales Measures item_key item_name brand type supplier_key item branch_key branch_name branch_type branch supplier_key supplier_type supplier city_key city state_or_province country city

16 16

17  Çok boyutlu verinin modellenmesini ve görsel ifadesini ağlar  Yıldız şemaya benzer farklı bir ifade yöntemi  Kayıtlar/değerler küpün boyutları üzerinde tutulur ◦ Zaman, ürün, reyon, konum…  Her boyut için bir boyut tablosu (dimension table) vardır 17

18 18 4-D küpler farklı 3-D küpler ile ifade edilebilir Supplier 1Supplier 2Supplier 3

19  Veri küpü genellikle küboid (cuboid) olarak adlandırılır  Boyutların herhangi bir alt kümesi için küboid tasarlanabilir ◦ Farklı seyiyelerde özetleme sağlar  N-D küp  baz küboid ◦ En alt seviye özet, detaylı bilgi  0-D küp  tepe (apex) küboid ◦ En üst seviye özet ◦ Tüm boyutlarda özet 19

20 20 time,item time,item,location time, item, location, supplier all timeitemlocationsupplier time,location time,supplier item,location item,supplier location,supplier time,item,supplier time,location,supplier item,location,supplier 0-D(apex) cuboid 1-D cuboids 2-D cuboids 3-D cuboids 4-D(base) cuboid

21  (2-D) tabloda ürün-zaman boyutları için satış değerleri tablosu 21 TVPCVCR 1 st Qtr nd Qtr rd Qtr th Qtr USA

22 TVPCVCRTVPCVCRTVPCVCR 1 st Q nd Q rd Q th Q USACanadaMexico

23 Örnek veri küpü 23 Total annual sales of TV in U.S.A. Date Product Country sum TV VCR PC 1Qtr 2Qtr 3Qtr 4Qtr U.S.A Canada Mexico sum

24 24 all product date country product,dateproduct,countrydate, country product, date, country 0-D tepe(apex) cuboid 1-D cuboids 2-D cuboids 3-D baz (base) cuboid

25  Ürün ay ve bölgenin bir fonksiyonu olarak satış verisi 25 Product Region Month Ürün konum ve zaman boyutları Örnek hiyerarşi yapısı Industry Region Year Category Country Quarter Product City Month Week Office Day

26 Konum boyutu için örnek hiyerarşi yapsı 26 all EuropeNorth_America MexicoCanadaSpainGermany Vancouver M. WindL. Chan... all region office country TorontoFrankfurtcity

27  Genelleme - Roll up (drill-up): veriyi özetler, 2 şekilde yapılabilir ◦ hiyeraşi üzerinde yukarı doğru çıkılır (ay  yıl) ◦ Boyut azaltımı yapılır  Derinleme - Drill down (roll down): roll-up işleminin tersi ◦ hiyeraşi üzerinde aşağılara inilerek veri detaylandırılır ◦ Yeni boyutlar yaratılabilir  Dilimleme - Slice and dice: yansıt ve seç ◦ Veride istenilen bölge (dilim ya da küp) belirlenir ve “kesilerek” alınır  Pivot (rotate): ◦ Veri küpü çevrilir, görsel olarak değiştirilir ◦ 3B veriden 2B veriler serisine çevrilebilir 27

28 28

29  Veri ambarı nedir?  Çok boyutlu veri modeli  Veri ambarı mimarisi  Veri ambarından veri madenciliğine 29

30 30 Veri ambarı mimarisi Data Warehouse Veri çek İşle Yükle Yenile OLAP Motoru Analiz Raporlama Veri Madenciliği İzleme & Birleştirme Metadata Veri Kaynakları Son kullanıcı Hizmet Veri “Mart”ları Veritabanları Diğer kaynaklar Veri depolama OLAP Sunucu

31  Veri Martları (Data Mart) ◦ Şirketin geniş verisinin spesifik grupları ilgilendiren alt kümesi veriler ◦ İçeriği sadece belli gruplara örneğin satış departmanına hitab eder  Metadata – veri ambarı objelerinin açıklamalarıdır ◦ Yapısının açıklamaları  Semalar, boyutlar, hiyerarşiler, veri mart konumları ◦ Hata raporları, kullanım istatistikleri ◦ Kullanılan algoritmalar 31

32  Veri ambarı nedir?  Çok boyutlu veri modeli  Veri ambarı mimarisi  Veri ambarından veri madenciliğine 32

33  Üç temel veri ambarı uygulaması vardır: ◦ Bilgi İşleme  Sorguları, basit istatistiksel analizleri destekler,  tablolar, grafikler ve çizimler il raporlama yapar ◦ Analitik İşleme  Verilerin çok boyutlu analizi  basit OLAP operasyonlarını destekler, slice-dice, drilling, pivoting ◦ Veri Madenciliği - Data mining  Gizli kalıpların içinden bilgi çıkartmak  Ilişkilendirme, analitik model çıkarma, sınıflandırma ve öngörü metodları uygulama, madencilik sonuçlarını görselleştirme gibi işlemleri destekler 33

34  Neden veri ambarları?  Çok boyutlu veri ambarı modelleri ◦ Yıldız şeması, kartanesi şeması ◦ Farklı boyutlar ve bu boyutlar için ölçüm değerleri tutan veri küpleri  OLAP operasyonları: drilling, rolling, slicing, dicing and pivoting  Veri ambarları mimarisi 34


"Veri Ambarları 1.  Veri ambarı nedir?  Çok boyutlu veri modeli  Veri ambarı mimarisi  Veri ambarından veri madenciliğine 2." indir ppt

Benzer bir sunumlar


Google Reklamları