Yapı Kredi Bankası Veri Entegrasyonu Süreci Ahmet Vefa Erdem Şubat 2013

İçerik Yapı Kredi Hakkında Teknolojik Dönüşüm Çağı Yapı Kredi’nin BT Dönüşümü Yapı Kredi’de Veri Entegrasyonu Süreci Yapı Kredi Veri Ambarı Vizyonu

Yapı Kredi Hakkında 1944 te kuruldu, Türkiye’nin ilk ulusal çaplı parakende odaklı özel bankası 127 milyar TL konsolide aktif büyüklük( 30.Eyl.2012 ) 928 şube 2,825 ATM 17,000 personel 6,4 milyon aktif müşteri # 1 : 8 milyon Kredi Kartı (%19 üye işyeri, %13,6 kart sayısı ) 2,3 milyon internet bankacılığı kullanıcısı %80 : ADK dan gerçekleşen işlemlerin oranı # 1 : Mobil bankacılık ( %15 mobil bankacılık sektöründeki payı ) # 1 : Factoring (%14,3 Pazar payı ) # 1 : Leasing ( %17,2 Pazar payı ) Yurt dışı iştirakler: Hollanda, Rusya, Azerbaycan Güçlü sermayedarlar : Koç Holding ve UniCredit

Yapı Kredi : Sektöründe BT öncüsü 1967 : Türk bankacılık sektöründe bilgisayarı ilk kullanan banka 1984 : Şubeler arası online uygulamaya ilk geçen banka 1988 : Kredi kartı ve tüketici kredilerini ilk sağlayan banka 1991 : Telefon bankacılığı ve Kredi Kartı Bağlılık Programını ilk başlatan banka 1995 : ISO 9001 kalite sertifikasını ilk alan banka 2002 : Mobil POS uygulamasını ilk kullanan banka 2006 : Koçbank ve Yapı Kredi BT sistemlerini başarılı bir şekilde birleştirerek sektördeki en büyük birleşmeyi tamamlayan banka 2007 : World Card programını yeniden yapılandıran ve müşterilerine aynı marka altında çok daha esnek servisler sunan banka İlk Türkçe Finansal I-phone uygulamasını sunan banka Engellilerin kolay kullanımı için özel olarak geliştirilmiş ATM ‘leri ilk kullanıma açan banka

İçerik Yapı Kredi Hakkında Teknolojik Dönüşüm Çağı Yapı Kredi’nin BT Dönüşümü Yapı Kredi’de Veri Entegrasyonu Süreci Yapı Kredi Veri Ambarı Vizyonu

Teknolojik Dönüşüm Çağı E-commerce High Performance analytics DW Applience Mobile marketing In Memory Databases In Database Mining ERP f-commerce Mobile Banking SaaS Social CRM PRM

Bireysel Dönüşüm Mobil cihaz bağımlılığı : Nomofibia ! Sanal Sosyalleşme Paradoksu

Tüketicinin Dönüşümü

Türkiye’nin İnternet ile Dönüşümü 37 mio Türkiyedeki internet kullanıcısı sayısı Dünyadaki en kalabalık ilk 33 ülkeden sonraki 197 ülke nüfusundan fazla %66 Genç nüfusun internet kullanma oranı %20, 29 mio İnternetteki kitlenin netten alışveriş yapma oranı Geriye kalan potansiyel e-ticaret müşterisi internet kullanıcısı 29.6 milyon 30,6 milyar TL Türkiye’de 2012 yılında gerçekleşen E-Ticaret hacmi 162 mio Türkiye’de 2012 yılında gerçekleşen e-ticaret işlem adedi ( * Gümrük ve Ticaret Bakanlığı Müsteşarlığı-2012 )

Türkiye’nin İnternet ile Dönüşümü ( *Gümrük ve Ticaret Bakanlığı Müsteşarlığı )

İçerik Yapı Kredi Hakkında Teknolojik Dönüşüm Çağı Yapı Kredi’nin BT Dönüşümü Yapı Kredi’de Veri Entegrasyonu Süreci Yapı Kredi Veri Ambarı Vizyonu Buraya kadar saydığımız çevresel etkilerin yanında Yapı Kredi nin kendi BT dönüşümü de veri entegrasyonu sürecimizi gözden geçirmemizi ve yeniden belirlememizi tetikledi.

Yapı Kredi’nin BT Dönüşümü Harmoni ve OpenWorld gibi büyük dönüşüm programları ile servis bazlı mimari ve açık sistemlere geçiş Veri Yönetişimi politikalarının belirlenmesi SDLC ile kalite standartlarında istikrar Sektör lideri mobil bankacılık uygulaması (%15) Sektör lideri kredi kartı Worldcard ‘ın liderliğini perçinleyecek CRM ve müşteri hizmetleri uygulamaları İlk parakende banka olmanın verdiği köklü kültür ile bireysel bankacılıkta yenilikçi ve ödüllü CRM uygulamaları (2012 CRM Excellence Awards -EMEA Gold, Customer Analytics)

Veri Ambarı Mimarisi Enterprise Data Warehouse Analytical Applications ETL and Metadata Source Systems Analytical Applications Core Banking INTBANK Workflow OpenWorld HOST (CreditCard) X database Y database INTBANK database W database T database Real Time Data Integration Budgeting and planning Campaign Mangmt Job scheduling ODS ( Operational Data Store) Data Mining Power Designer Data Modeling Enterprise Data Warehouse Basel II Calculation ODS2 DW Schemas Profitibility Data Mart (MIS) BO Repository Business Model (Universes) Credit Scoring Retail Data Mart (CRM02) Credit Card Data Mart CRM Data Mart Data Mining Data Mart Other data marts Fraud Detection Business Intelligence Ad Hoc Reporting WorldReport Merchant Reporting Kartograf OLAP Reporting KKSUBE branch reporting Seyir Defteri Wealth Management Akıl Defteri Customer Management Single Pyramid Profitability Management 13 13

Rakamlarla YKB Veri Ambarı Sybase IQ 15.2 Database 70 TB DW Büyüklüğü? ~17,000 tablo DW toplam tablo sayısı? Data Warehouse Inhouse Development ETL Yöntemi 15+ ( Önemli bir kısmı ODS üzerinden geçerek ) DW kaynak db sayısı? 6 ( Oracle, Exadata, SQL Server, MySQL, Mainframe, SAS ) Kaç farklı tipte Db ile veri alışverişi var? ~15,000 ETL deki job sayısı? ~10,000 Diğerleri aylık, haftalık, vs Günlük çalışan job sayısı? ~1,6 milyon defa ( Aralık-12 ) Aylık sorgu sayısı? ~3,5 TB Gecelik proses edilen data miktarı? ETL

İçerik Yapı Kredi Hakkında Teknolojik Dönüşüm Çağı Yapı Kredi’nin BT Dönüşümü Yapı Kredi’de Veri Entegrasyonu Süreci Yapı Kredi Veri Ambarı Vizyonu

Entegrasyon Platformu Seçim Süreci Proje Q3-2012 Q4-2012 Q1-2013 Q2-2013 Q3-2013 Q4-2013 2014 ETL Toola geçiş RFP POC Satınalma HW & Kurulum Mimari Belirleme Projeler Eğitim Değerlendirme : DW ve MIS yazılım grupları, Altyapı grubu, Veri Mimarisi grubu RFP dokumanı (teknik şartname) hazırlandı ve 5 aday ile paylaşıldı ve sonuçları ortak puanlandı RFP yanıtları üzerinden puanlama ile aday sayısı 3 ‘e düşürüldü ve POC ye davet edildi RFP puanlarına, POC sonuçlarına ve referans araştırmasına göre Informatica seçildi Seçilen Platform

Yapı Kredi’de Veri Entegrasyonu Kapsamı Öncelikli Kapsam: Veri ambarı ve datamartların ETL otomasyonu Veri ambarı ve datamartların veri arşivleme ile büyümesinin kontrol altına alınması Arşivlenen verilerin «data federation» yöntemi ile erişilebilir kılınması Veri ambarı ve datamartların test datası oluşturma ve veri maskelemesi Veri ambarı ve datamartların kaynaktan önyüze kadar uçtan uca metadata yönetiminin yapılabilmesi ve etki analizi çıkarılabilmesi ETL veri kalitesi amacıyla veri profilleme Orta Vadeli Kapsam; Online data entegrasyonu- web service High Availability – Grid mimari Yapısal olmayan verinin entegrasyonu (word, PDF, email, logfile ) Big data entegrasyonu

Yapı Kredi Veri Entegrasyonu Hedef Kazanımlar ETL ve Veri Entegrasyonu yapısını modernize etmek Kişi bağımlı ve emek yoğun kod geliştirme yöntemi yerine ETL tool ile hızlı ve standartlara uyumlu geliştirme ve yönetim modeline geçmek Modernizasyon Geliştirme, bakım maliyetlerini ve süresini azaltmak Altyapı ve disk maliyetlerini azaltmak Etki analizi yapabilmek için güçlü metadata yönetim altyapısı Geliştirme ve yönetim kolaylığı, hızlı ve entegre bir geliştirme platformu Verimlilik & Maliyet odaklılık Metadata ve Veri yönetişimi ( Data Governance ) Veri hacminin etkin yönetimi ve kontrol altında tutulması ( Data Achiving ) Risklerin azaltılması ( Test Data Management ) Veri kalitesi ile hatasız ve hassas raporlama ( Data Quality ) Yönetilebilirlik Big Data, Unstructured Data gibi farklı data yönetim tekniklerine uyum ve adaptasyon Yeniliklere açıklık

Enterprise BI, Reporting Mevcut durum Enterprise BI, Reporting CRM Applications Source1 ODS DWH Source2 Replication Codes Codes DMart Source15 DMart DMart

ETL Tool Kullanımı sonrası durum Enterprise BI, Reporting Enterprise Metadata CRM Applications Source1 ODS DWH Source2 Replication ETL ETL DMart Source15 Data Masking Data Virtualisation DMart TestData Archives DMart Enterprise Data Services

İçerik Yapı Kredi Hakkında Teknolojik Dönüşüm Çağı Yapı Kredi’nin BT Dönüşümü Yapı Kredi’de Veri Entegrasyonu Süreci Yapı Kredi Veri Ambarı Vizyonu

En iyi Veri Ambarı çözümleri bile yeni kullanım tarzları için yeniden kurgulanmaya ihtiyaç duyuyor! Daha fazla esneklik Daha fazla performans Sürekli yeni veri tiplerinin ortaya çıkması ( big data, unstructured, video streaming ) Farklı beklentileri olan farklı kullanıcı gruplarının doğması Gittikçe artan analitik ihtiyaçlar (descriptive, predictive, prescriptive analytics )

Artan analitik ihtiyaçlar Descriptive Analytics Klasik DW, BI raporlama. Geçmiş verilere bakarak performansın sebeplerini görmeye yarar. Satış, pazarlama, operasyon, finans verilerine bakan tüm yönetim raporlamaları DW Geçmişe ait data Predictive Analytics Tarihsel dataya ilaveten kurallar, algoritmalar ve dış kaynak datalar harmanlanarak geleceğe dair öngörüde bulunulmasına yardımcı olur. DW+ D.Mining Geçmişe ait data Gelecek öngörüsü External Data Kurallar, Algoritmalar Prescriptive Analytics Gelecek öngörüsü DW+ D.Mining+ Big Data+ MachineLearning Tahminlemenin ötesine geçer. Geleceğe dönük öngörünün yanı sıra, öngörülerden elde edilecek optimum fayda için karar vericilerin alması gereken aksiyonları da önerir. Geçmişe ait data Optimum fayda External Data Aksiyonlar Kurallar, Algoritmalar

Artan analitik ihtiyaçlar

Veri Ambarı yaklaşımında değişim kaçınılmaz… Gartner’a göre ; Strategic Big Data: Big Data is moving from a focus on individual projects to an influence on enterprises’ strategic information architecture. Dealing with data volume, variety, velocity and complexity is forcing changes to many traditional approaches. This realization is leading organizations to abandon the concept of a single enterprise data warehouse containing all information needed for decisions. Instead they are moving towards multiple systems, including content management, data warehouses, data marts and specialized file systems tied together with data services and metadata, which will become the “logical” enterprise data warehouse. ( Gartner 2013 Summit )

Teşekkürler !