Yapı Kredi Bankası Veri Entegrasyonu Süreci

... konulu sunumlar: "Yapı Kredi Bankası Veri Entegrasyonu Süreci"— Sunum transkripti:

1 Yapı Kredi Bankası Veri Entegrasyonu Süreci
Ahmet Vefa Erdem Şubat 2013

2 İçerik Yapı Kredi Hakkında Teknolojik Dönüşüm Çağı
Yapı Kredi’nin BT Dönüşümü Yapı Kredi’de Veri Entegrasyonu Süreci Yapı Kredi Veri Ambarı Vizyonu

3 Yapı Kredi Hakkında 1944 te kuruldu, Türkiye’nin ilk ulusal çaplı parakende odaklı özel bankası 127 milyar TL konsolide aktif büyüklük( 30.Eyl.2012 ) 928 şube 2,825 ATM 17,000 personel 6,4 milyon aktif müşteri # 1 : 8 milyon Kredi Kartı (%19 üye işyeri, %13,6 kart sayısı ) 2,3 milyon internet bankacılığı kullanıcısı %80 : ADK dan gerçekleşen işlemlerin oranı # 1 : Mobil bankacılık ( %15 mobil bankacılık sektöründeki payı ) # 1 : Factoring (%14,3 Pazar payı ) # 1 : Leasing ( %17,2 Pazar payı ) Yurt dışı iştirakler: Hollanda, Rusya, Azerbaycan Güçlü sermayedarlar : Koç Holding ve UniCredit

4 Yapı Kredi : Sektöründe BT öncüsü
1967 : Türk bankacılık sektöründe bilgisayarı ilk kullanan banka 1984 : Şubeler arası online uygulamaya ilk geçen banka 1988 : Kredi kartı ve tüketici kredilerini ilk sağlayan banka 1991 : Telefon bankacılığı ve Kredi Kartı Bağlılık Programını ilk başlatan banka 1995 : ISO 9001 kalite sertifikasını ilk alan banka 2002 : Mobil POS uygulamasını ilk kullanan banka 2006 : Koçbank ve Yapı Kredi BT sistemlerini başarılı bir şekilde birleştirerek sektördeki en büyük birleşmeyi tamamlayan banka 2007 : World Card programını yeniden yapılandıran ve müşterilerine aynı marka altında çok daha esnek servisler sunan banka İlk Türkçe Finansal I-phone uygulamasını sunan banka Engellilerin kolay kullanımı için özel olarak geliştirilmiş ATM ‘leri ilk kullanıma açan banka

5 İçerik Yapı Kredi Hakkında Teknolojik Dönüşüm Çağı
Yapı Kredi’nin BT Dönüşümü Yapı Kredi’de Veri Entegrasyonu Süreci Yapı Kredi Veri Ambarı Vizyonu

6 Teknolojik Dönüşüm Çağı
E-commerce High Performance analytics DW Applience Mobile marketing In Memory Databases In Database Mining ERP f-commerce Mobile Banking SaaS Social CRM PRM

7 Bireysel Dönüşüm Mobil cihaz bağımlılığı : Nomofibia !
Sanal Sosyalleşme Paradoksu

8 Tüketicinin Dönüşümü

9 Türkiye’nin İnternet ile Dönüşümü
37 mio Türkiyedeki internet kullanıcısı sayısı Dünyadaki en kalabalık ilk 33 ülkeden sonraki 197 ülke nüfusundan fazla %66 Genç nüfusun internet kullanma oranı %20, 29 mio İnternetteki kitlenin netten alışveriş yapma oranı Geriye kalan potansiyel e-ticaret müşterisi internet kullanıcısı 29.6 milyon 30,6 milyar TL Türkiye’de 2012 yılında gerçekleşen E-Ticaret hacmi 162 mio Türkiye’de 2012 yılında gerçekleşen e-ticaret işlem adedi ( * Gümrük ve Ticaret Bakanlığı Müsteşarlığı-2012 )

10 Türkiye’nin İnternet ile Dönüşümü
( *Gümrük ve Ticaret Bakanlığı Müsteşarlığı )

11 İçerik Yapı Kredi Hakkında Teknolojik Dönüşüm Çağı
Yapı Kredi’nin BT Dönüşümü Yapı Kredi’de Veri Entegrasyonu Süreci Yapı Kredi Veri Ambarı Vizyonu Buraya kadar saydığımız çevresel etkilerin yanında Yapı Kredi nin kendi BT dönüşümü de veri entegrasyonu sürecimizi gözden geçirmemizi ve yeniden belirlememizi tetikledi.

12 Yapı Kredi’nin BT Dönüşümü
Harmoni ve OpenWorld gibi büyük dönüşüm programları ile servis bazlı mimari ve açık sistemlere geçiş Veri Yönetişimi politikalarının belirlenmesi SDLC ile kalite standartlarında istikrar Sektör lideri mobil bankacılık uygulaması (%15) Sektör lideri kredi kartı Worldcard ‘ın liderliğini perçinleyecek CRM ve müşteri hizmetleri uygulamaları İlk parakende banka olmanın verdiği köklü kültür ile bireysel bankacılıkta yenilikçi ve ödüllü CRM uygulamaları (2012 CRM Excellence Awards -EMEA Gold, Customer Analytics)

13 Veri Ambarı Mimarisi Enterprise Data Warehouse Analytical Applications
ETL and Metadata Source Systems Analytical Applications Core Banking INTBANK Workflow OpenWorld HOST (CreditCard) X database Y database INTBANK database W database T database Real Time Data Integration Budgeting and planning Campaign Mangmt Job scheduling ODS ( Operational Data Store) Data Mining Power Designer Data Modeling Enterprise Data Warehouse Basel II Calculation ODS2 DW Schemas Profitibility Data Mart (MIS) BO Repository Business Model (Universes) Credit Scoring Retail Data Mart (CRM02) Credit Card Data Mart CRM Data Mart Data Mining Data Mart Other data marts Fraud Detection Business Intelligence Ad Hoc Reporting WorldReport Merchant Reporting Kartograf OLAP Reporting KKSUBE branch reporting Seyir Defteri Wealth Management Akıl Defteri Customer Management Single Pyramid Profitability Management 13 13

14 Rakamlarla YKB Veri Ambarı
Sybase IQ 15.2 Database 70 TB DW Büyüklüğü? ~17,000 tablo DW toplam tablo sayısı? Data Warehouse Inhouse Development ETL Yöntemi 15+ ( Önemli bir kısmı ODS üzerinden geçerek ) DW kaynak db sayısı? 6 ( Oracle, Exadata, SQL Server, MySQL, Mainframe, SAS ) Kaç farklı tipte Db ile veri alışverişi var? ~15,000 ETL deki job sayısı? ~10,000 Diğerleri aylık, haftalık, vs Günlük çalışan job sayısı? ~1,6 milyon defa ( Aralık-12 ) Aylık sorgu sayısı? ~3,5 TB Gecelik proses edilen data miktarı? ETL

15 İçerik Yapı Kredi Hakkında Teknolojik Dönüşüm Çağı
Yapı Kredi’nin BT Dönüşümü Yapı Kredi’de Veri Entegrasyonu Süreci Yapı Kredi Veri Ambarı Vizyonu

16 Entegrasyon Platformu Seçim Süreci
Proje Q3-2012 Q4-2012 Q1-2013 Q2-2013 Q3-2013 Q4-2013 2014 ETL Toola geçiş RFP POC Satınalma HW & Kurulum Mimari Belirleme Projeler Eğitim Değerlendirme : DW ve MIS yazılım grupları, Altyapı grubu, Veri Mimarisi grubu RFP dokumanı (teknik şartname) hazırlandı ve 5 aday ile paylaşıldı ve sonuçları ortak puanlandı RFP yanıtları üzerinden puanlama ile aday sayısı 3 ‘e düşürüldü ve POC ye davet edildi RFP puanlarına, POC sonuçlarına ve referans araştırmasına göre Informatica seçildi Seçilen Platform

17 Yapı Kredi’de Veri Entegrasyonu Kapsamı
Öncelikli Kapsam: Veri ambarı ve datamartların ETL otomasyonu Veri ambarı ve datamartların veri arşivleme ile büyümesinin kontrol altına alınması Arşivlenen verilerin «data federation» yöntemi ile erişilebilir kılınması Veri ambarı ve datamartların test datası oluşturma ve veri maskelemesi Veri ambarı ve datamartların kaynaktan önyüze kadar uçtan uca metadata yönetiminin yapılabilmesi ve etki analizi çıkarılabilmesi ETL veri kalitesi amacıyla veri profilleme Orta Vadeli Kapsam; Online data entegrasyonu- web service High Availability – Grid mimari Yapısal olmayan verinin entegrasyonu (word, PDF, , logfile ) Big data entegrasyonu

18 Yapı Kredi Veri Entegrasyonu Hedef Kazanımlar
ETL ve Veri Entegrasyonu yapısını modernize etmek Kişi bağımlı ve emek yoğun kod geliştirme yöntemi yerine ETL tool ile hızlı ve standartlara uyumlu geliştirme ve yönetim modeline geçmek Modernizasyon Geliştirme, bakım maliyetlerini ve süresini azaltmak Altyapı ve disk maliyetlerini azaltmak Etki analizi yapabilmek için güçlü metadata yönetim altyapısı Geliştirme ve yönetim kolaylığı, hızlı ve entegre bir geliştirme platformu Verimlilik & Maliyet odaklılık Metadata ve Veri yönetişimi ( Data Governance ) Veri hacminin etkin yönetimi ve kontrol altında tutulması ( Data Achiving ) Risklerin azaltılması ( Test Data Management ) Veri kalitesi ile hatasız ve hassas raporlama ( Data Quality ) Yönetilebilirlik Big Data, Unstructured Data gibi farklı data yönetim tekniklerine uyum ve adaptasyon Yeniliklere açıklık

19 Enterprise BI, Reporting
Mevcut durum Enterprise BI, Reporting CRM Applications Source1 ODS DWH Source2 Replication Codes Codes DMart Source15 DMart DMart

20 ETL Tool Kullanımı sonrası durum
Enterprise BI, Reporting Enterprise Metadata CRM Applications Source1 ODS DWH Source2 Replication ETL ETL DMart Source15 Data Masking Data Virtualisation DMart TestData Archives DMart Enterprise Data Services

21 İçerik Yapı Kredi Hakkında Teknolojik Dönüşüm Çağı
Yapı Kredi’nin BT Dönüşümü Yapı Kredi’de Veri Entegrasyonu Süreci Yapı Kredi Veri Ambarı Vizyonu

22 En iyi Veri Ambarı çözümleri bile yeni kullanım tarzları için yeniden kurgulanmaya ihtiyaç duyuyor!
Daha fazla esneklik Daha fazla performans Sürekli yeni veri tiplerinin ortaya çıkması ( big data, unstructured, video streaming ) Farklı beklentileri olan farklı kullanıcı gruplarının doğması Gittikçe artan analitik ihtiyaçlar (descriptive, predictive, prescriptive analytics )

23 Artan analitik ihtiyaçlar
Descriptive Analytics Klasik DW, BI raporlama. Geçmiş verilere bakarak performansın sebeplerini görmeye yarar. Satış, pazarlama, operasyon, finans verilerine bakan tüm yönetim raporlamaları DW Geçmişe ait data Predictive Analytics Tarihsel dataya ilaveten kurallar, algoritmalar ve dış kaynak datalar harmanlanarak geleceğe dair öngörüde bulunulmasına yardımcı olur. DW+ D.Mining Geçmişe ait data Gelecek öngörüsü External Data Kurallar, Algoritmalar Prescriptive Analytics Gelecek öngörüsü DW+ D.Mining+ Big Data+ MachineLearning Tahminlemenin ötesine geçer. Geleceğe dönük öngörünün yanı sıra, öngörülerden elde edilecek optimum fayda için karar vericilerin alması gereken aksiyonları da önerir. Geçmişe ait data Optimum fayda External Data Aksiyonlar Kurallar, Algoritmalar

24 Artan analitik ihtiyaçlar

25 Veri Ambarı yaklaşımında değişim kaçınılmaz…
Gartner’a göre ; Strategic Big Data: Big Data is moving from a focus on individual projects to an influence on enterprises’ strategic information architecture. Dealing with data volume, variety, velocity and complexity is forcing changes to many traditional approaches. This realization is leading organizations to abandon the concept of a single enterprise data warehouse containing all information needed for decisions. Instead they are moving towards multiple systems, including content management, data warehouses, data marts and specialized file systems tied together with data services and metadata, which will become the “logical” enterprise data warehouse. ( Gartner 2013 Summit )

26 Teşekkürler !