Sunum yükleniyor. Lütfen bekleyiniz

Sunum yükleniyor. Lütfen bekleyiniz

11.05.2012 – Gürcan π-TEK – Kocaeli Üniversitesi TURKISH ORACLE USER GROUP Gürcan ORHAN Turkcell Teknoloji Ar. Ge. A.Ş. Yazılım Mimarı ve Deneyimli.

Benzer bir sunumlar


... konulu sunumlar: "11.05.2012 – Gürcan π-TEK – Kocaeli Üniversitesi TURKISH ORACLE USER GROUP Gürcan ORHAN Turkcell Teknoloji Ar. Ge. A.Ş. Yazılım Mimarı ve Deneyimli."— Sunum transkripti:

1 – Gürcan π-TEK – Kocaeli Üniversitesi TURKISH ORACLE USER GROUP Gürcan ORHAN Turkcell Teknoloji Ar. Ge. A.Ş. Yazılım Mimarı ve Deneyimli Yazılım Mühendisi

2 – Gürcan π-TEK – Kocaeli Üniversitesi BEN KİMİM ? Uludağ Üniversitesi Endüstri Mühendisliği İlk DWH projesi Altınyıldız DWH Önemli DWH projeleri ; Aktif iş hayatı AVEA DWH Yeniden Yapılandırma Projesi Tekstilbank DWH ve Siebel CRM Marketing Automation Turkcell NODI (Network Operations Data Infrastructure) 2008’den itibaren Turkcell, 2010’dan itibaren Turkcell Teknoloji Oracle Bilgisayar Programı Kullanıcılar Derneği Genel Sekreteri NODI projesinin Customer Snapshot’ı Oracle.com’da yayınlandı

3 – Gürcan π-TEK – Kocaeli Üniversitesi NERELERDEYDİM ? Önemli sunumlar ; Oracle Open World 2010 – San Francisco ( ) UKOUG Technology & E-Business Suite Conference – Birmingham ( ) Sakarya Üniversitesi Bilişim ve Teknoloji Şöleni – Sakarya ( ) ODTUG KScope ’11 – Long Beach, California ( ) OPN – BI Day – LinkPlus ( ) Oracle Open World San Francisco ( ) Oracle Day ‘11 - İstanbul ( ) Fırat Üniversitesi Geleceğine Yön Ver - Elazığ ( )

4 – Gürcan π-TEK – Kocaeli Üniversitesi NELER YAPTIM ?

5 – Gürcan π-TEK – Kocaeli Üniversitesi NE KULLANIRIM ? Oracle Microsoft SQL Server Veri tabanı yönetim sistemleri Sybase ASE Sybase IQ MySQL Oracle Data Integrator Oracle Warehouse Builder ETL Informatica Business Objects Data Integrator Sybase Power Designer CA ERWIN Model Tasarım Oracle Business Intelligence Cognos İş Zekası Business Objects Microstrategy Herhangi bir ANSI database

6 – Gürcan π-TEK – Kocaeli Üniversitesi GLOSSARY DWH:Datawarehouse – Veri Ambarı DM:Data Mart – Veri Kümeleri BI:Business Intelligence – İş Zekası ETL:Extract – Transform – Load IK:Incremental Update – Artımsal Güncelleme SCD:Slowly Changing Dimension – Yavaş Değişen Boyutlar CDC:Change Data Capture – Değişen Veriyi Yakala OLTP:Online Transactional Processing – Operasyonel Sistemler OLAP:Online Analytical Processing – Küpler SA:Subject Area – Konu Alanı STG:Staging Area – Kademe Alanı DQ:Data Quality – Veri Kalitesi FACT:Fact (TRX) – Gerçekleşen (Hareket) DIM:Dimension – Boyut

7 – Gürcan π-TEK – Kocaeli Üniversitesi HERŞEY NASIL BAŞLADI ?

8 – Gürcan π-TEK – Kocaeli Üniversitesi  Veri Ambarı nedir, ne demektir?  Veri Kalitesi nedir, nasıl sağlanır?  DWH & OLTP farkı nedir?  DWH bileşenleri nelerdir?  ETL ne demektir?  ETL tipleri nelerdir?  DWH & DM farkı nedir?  Modelleme nedir, nasıl yapılmalıdır?  Veri Tabanı fiziksel yaklaşımları nelerdir? GÜNÜN AJANDASI

9 – Gürcan π-TEK – Kocaeli Üniversitesi DATAWAREHOUSE (DWH) NEDİR ? DWH tarihi EIS (Enterprise Information Systems) DSS (Decision Support Systems) Data Warehousing and Business Intelligence (DWH / BI) Bir veri ambarı; yönetim kararlarını destekleyici, konu yönelimli, entegre, uçucu olmayan ve zaman değişkenli veri kümesidir. (Bill Inmon ) Teknik Avantajları Paralel kullanımı (Parallelism) Veri Kümelemesi (Partitioning) Veri Sıkıştırması (Compressing) İş Zekası, verinin bilgiye dönüşümü işlemidir. (Gartner Group) DATA INFORMATION KNOWLEDGE DECISION

10 – Gürcan π-TEK – Kocaeli Üniversitesi  DWH & DM farkı nedir?  Veri Ambarı nedir, ne demektir?  Veri Kalitesi nedir, nasıl sağlanır?  DWH bileşenleri nelerdir?  ETL ne demektir?  ETL tipleri nelerdir?  Modelleme nedir, nasıl yapılmalıdır?  Veri Tabanı fiziksel yaklaşımları nelerdir?  DWH & OLTP farkı nedir? GÜNÜN AJANDASI

11 – Gürcan π-TEK – Kocaeli Üniversitesi DATAMART (DM) NEDİR ? Datamartlar Konu yönelimli Tümleşik Genellikle tek kaynak sistemden beslenir ÖZELİKDATA WAREHOUSEDATAMART İçerikKurumsalDepartmansal KonuÇokTek özne, iş birimi odaklı Veri KaynağıÇoğulTekil ImplementasyonAy – YılAy Bağımlı veya bağımsız olabilirler. Bağımlı DM : DWH’tan beslenen, kolay ETL, kurumsal planın parçası Bağımsız DM : Ayrık, operasyonel maliyeti yüksek, harici veri kaynaklarından beslenen, analitik ihtiyaçlara yönelik hazırlanan

12 – Gürcan π-TEK – Kocaeli Üniversitesi  Veri Ambarı nedir, ne demektir?  Veri Kalitesi nedir, nasıl sağlanır?  DWH bileşenleri nelerdir?  ETL ne demektir?  DWH & OLTP farkı nedir?  ETL tipleri nelerdir?  Modelleme nedir, nasıl yapılmalıdır?  Veri Tabanı fiziksel yaklaşımları nelerdir?  DWH & DM farkı nedir? GÜNÜN AJANDASI

13 – Gürcan π-TEK – Kocaeli Üniversitesi DWH & OLTP ÖZELİKOPERASYONEL SİSTEMDATA WAREHOUSE Yanıt SüresiMilisaniye / SaniyeSaniye / Saat OperasyonDML (Data Manipulation Language) Öncelikli olarak salt-okunur Veri doğası30 – 60 günZamansal enstantane Veri OrganizasyonuUygulamaÖznel, zamansal Veri MiktarıKüçük / BüyükBüyük / Çok Büyük Veri KaynağıOperasyonel, DahiliOperasyonel, Dahili, Harici AktivitelerProses bazlıAnaliz Bazlı

14 – Gürcan π-TEK – Kocaeli Üniversitesi  Veri Ambarı nedir, ne demektir?  Veri Kalitesi nedir, nasıl sağlanır?  DWH bileşenleri nelerdir?  ETL ne demektir?  ETL tipleri nelerdir?  Modelleme nedir, nasıl yapılmalıdır?  Veri Tabanı fiziksel yaklaşımları nelerdir?  DWH & OLTP farkı nedir?  DWH & DM farkı nedir? GÜNÜN AJANDASI

15 – Gürcan π-TEK – Kocaeli Üniversitesi DATAWAREHOUSE BİLEŞENLERİ OPERASYONEL KAYITLAR ARŞİV KAYITLARI DOSYALAR OPERATIONAL DATA STORE (ODS) DWHDM METADATA REPOSITORY KAYNAK SİSTEMLER STAGING KATMAN KURUMSAL KATMAN SUNUM KATMANI DWH Yazılım Yaklaşımları Bing Bang Yaklaşımı Artımsal Yaklaşım Yukarıdan aşağıya artımsal (top-down incremental) Aşağıdan yukarıya artımsal (bottom-up incremental)

16 – Gürcan π-TEK – Kocaeli Üniversitesi  Veri Ambarı nedir, ne demektir?  Veri Kalitesi nedir, nasıl sağlanır?  DWH bileşenleri nelerdir?  ETL ne demektir?  ETL tipleri nelerdir?  Modelleme nedir, nasıl yapılmalıdır?  Veri Tabanı fiziksel yaklaşımları nelerdir?  DWH & OLTP farkı nedir?  DWH & DM farkı nedir? GÜNÜN AJANDASI

17 – Gürcan π-TEK – Kocaeli Üniversitesi ETL NE DEMEKTİR? E-T-L (Extract – Transform – Load) Extraction Farklı kaynak sistemden, veri tabanından farklı formatlarla elde edilir. Kaynak sistemlerin canlı, arşiv, dahili ve harici verilerine erişebilir. Transform Veri hataları düzeltilir. Genellikle staging area (remote/on site) kullanılır Veri entegrasyonu sağlanır İş kuralları verilere uygulanarak veri doğrulaması gerçekleştirilir Veriler onaylanır Verilere zaman entegre edilir. Load Elde edilen temizlenmiş veri DWH ortamına yazılır

18 – Gürcan π-TEK – Kocaeli Üniversitesi  Veri Ambarı nedir, ne demektir?  Veri Kalitesi nedir, nasıl sağlanır?  DWH bileşenleri nelerdir?  ETL ne demektir?  ETL tipleri nelerdir?  Modelleme nedir, nasıl yapılmalıdır?  Veri Tabanı fiziksel yaklaşımları nelerdir?  DWH & OLTP farkı nedir?  DWH & DM farkı nedir? GÜNÜN AJANDASI

19 – Gürcan π-TEK – Kocaeli Üniversitesi ETL ÇEŞİTLERİ Incremental Update Kaynak sistemden elde edilen birincil anahtarlar (Primary Key) yardımı ile «yeni geleni ekle, mevcut olanı güncelle, silineni işaretle» yaklaşımı. Change Data Capture (CDC) Slowly Changing Dimensions Type II (SCD) Truncate & Load Kaynak sistemden elde edilen verilerin tümünün silinerek yeniden yapılandırılması. Kaynak sistemden elde edilen veriler tarihsel olarak saklanarak hiçbir veri silinmez. Tarihsel yaklaşım.

20 – Gürcan π-TEK – Kocaeli Üniversitesi ETL PROBLEMLERİ Kaynak sistemdeki tablonun unusable olması Kaynak sistemdeki dosyaya erişilememe Yetersiz metadata Zayıf veya yetersiz analiz süreci Yetersiz yer (storage) planlama Kaynak sistemde yapısal değişiklikler Yetersiz veri validasyonu Hatalı mantıksal / fiziksel model dizaynı Veri tipi uyumsuzlukları

21 – Gürcan π-TEK – Kocaeli Üniversitesi  Veri Ambarı nedir, ne demektir?  Veri Kalitesi nedir, nasıl sağlanır?  DWH bileşenleri nelerdir?  ETL ne demektir?  ETL tipleri nelerdir?  Modelleme nedir, nasıl yapılmalıdır?  Veri Tabanı fiziksel yaklaşımları nelerdir?  DWH & OLTP farkı nedir?  DWH & DM farkı nedir? GÜNÜN AJANDASI

22 – Gürcan π-TEK – Kocaeli Üniversitesi MODELLEME İş modelinin oluşturulması (Business Model) Strateji analizinin yapılması İş birimi tanımlarının ve kurallarının belirlenmesi İş ihtiyaçlarının belirlenmesi Mantıksal modelin oluşturulması (Logical Model) İlişki ve ilişki tiplerinin belirlenmesi Fact ve Dimension’ların tespit edilmesi Sonuçların mantıksal olarak üretilerek konu alanlarının tespit edilmesi Nesnelerin isim ve renk standartlarının belirlenmesi Fiziksel modelin oluşturulması (Physical Model) Donanım ihtiyaçlarının tespit edilmesi Tablo ve index için disk kapasitesi ihtiyacının belirlenmesi Partition stratejisinin belirlenmesi Güvenlik stratejisinin belirlenmesi

23 – Gürcan π-TEK – Kocaeli Üniversitesi MODELLEME Third Normal Form (3NF)

24 – Gürcan π-TEK – Kocaeli Üniversitesi MODELLEME Star Schema

25 – Gürcan π-TEK – Kocaeli Üniversitesi MODELLEME Snowflake Schema

26 – Gürcan π-TEK – Kocaeli Üniversitesi  Veri Ambarı nedir, ne demektir?  Veri Kalitesi nedir, nasıl sağlanır?  DWH bileşenleri nelerdir?  ETL ne demektir?  ETL tipleri nelerdir?  Modelleme nedir, nasıl yapılmalıdır?  Veri Tabanı fiziksel yaklaşımları nelerdir?  DWH & OLTP farkı nedir?  DWH & DM farkı nedir? GÜNÜN AJANDASI

27 – Gürcan π-TEK – Kocaeli Üniversitesi VERİ KALİTESİ NEDİR? Beklenen veri, beklenen yerde, beklenen şekilde bulunmaz ise veri kalitesi problemi ortaya çıkar. Farklı anlama gelen data Eksik bilgi, verinin farklı alanda olması Veri tipi farklılığı Veri boyutu farklılığı Veri doğrulama kurallarının olmaması Drill-Down olmaması İlişkisel bütünlüğün olmaması, öksüz kayıtların varlığı Veri duplikasyonu

28 – Gürcan π-TEK – Kocaeli Üniversitesi  Veri Ambarı nedir, ne demektir?  Veri Kalitesi nedir, nasıl sağlanır?  DWH bileşenleri nelerdir?  ETL ne demektir?  ETL tipleri nelerdir?  Modelleme nedir, nasıl yapılmalıdır?  Veri Tabanı fiziksel yaklaşımları nelerdir?  DWH & OLTP farkı nedir?  DWH & DM farkı nedir? GÜNÜN AJANDASI

29 – Gürcan π-TEK – Kocaeli Üniversitesi FİZİKSEL ORTAM Fact tablo karakteristikleri İş birimlerinin kullanacağı nümerik metrik değerleri içerir Büyük miktarda veri içerir Çabuk büyür, çok hızlı genişler Stabil, Türetilmiş veya Özetlenmiş veri içerir Genellikle ekleme yapılır Genellikle dimension tablolarla foreign key ile ilişkilidir Dimension tablo karakteristikleri İş birimlerinin görmek istedikleri metin tipteki veriyi içerirler Genellikle statik veri içerirler Boyutları küçüktür Truncate Load mekanizmasına uygundur Slowly Changing Dimensions tablo karakteristikleri Genellikle link tablolarıdır (Fact – Dimension linki) Fact üzerindeki dimension’ın tarihçe bilgilerini tutarlar

30 – Gürcan π-TEK – Kocaeli Üniversitesi FİZİKSEL ORTAM Partitioning Range Partition Hash Partition List Partition Index Partition Composite Partition Indexing B-Tree Index Bitmap Index Function Based Index Partitioned Index Star Genellikle link tablolarıdır (Fact – Dimension linki) Fact üzerindeki dimension’ın tarihçe bilgilerini tutarlar Materialized View Fiziksel yer kaplayan, istendiği zaman refresh edilebilen view yapısı

31 – Gürcan π-TEK – Kocaeli Üniversitesi SONUÇ

32 – Gürcan π-TEK – Kocaeli Üniversitesi TEŞEKKÜRLER Gürcan ORHAN


"11.05.2012 – Gürcan π-TEK – Kocaeli Üniversitesi TURKISH ORACLE USER GROUP Gürcan ORHAN Turkcell Teknoloji Ar. Ge. A.Ş. Yazılım Mimarı ve Deneyimli." indir ppt

Benzer bir sunumlar


Google Reklamları