TURKCELL’in EXADATA Yolculuğu Metin YILMAZ & Ferhat ŞENGÖNÜL Kasım 2010

Turkcell Hakkında Türkiye’nin Lider GSM Operatorü 33.9 Milyon abone (Temmuz 2010) Avrupa’nın 3. büyük GSM operatorü (abone sayısı bazında) 8 Farklı ülkede iştirakler / toplam 60 Milyon + abone 150 tanesi Production olmak üzere 500 den fazla Oracle Veritabanı 20 tane DBA

Özet Turkcell’in DW domainindeki en büyük veri tabanı 100 TB (~250 TB uncompressed )  EXADATA DBM v2 Full SAS 3 Ayrı alanda 10 kat kazanç Aylık 50bin raporluk sistemde ortalama 10x performans artışı sağlandı. Veri büyüklüğü 10x küçüldü. (250TB -> 25TB) Sistem Odasındaki kabinet sayısı 11’den 1’e düştü. Yatayda büyüyebilme imkanı sağlandı.

Verinin Büyüklüğü Turkcell Veri Akışı 1.5 Milyar CDR / gün Exadata ETL AB Initio Oracle ODI Kaynak DB Raporlama MSTR Diğer DWH DBleri Verinin Büyüklüğü 1.5 Milyar CDR / gün 600 -1000 GB ham data / 20+ kaynak veri tabanı Dosyalarda işlenen 5 TB / gün 2-3 TB veritabanına yükleme

Turkcell Veri Akışı / Uygulama Sunucuları ETL Ortamı AB Initio – 8 Node Linux Cluster Hergün yükleme 19:00 - 08:00 (SLA) Tablolar Sql*Loader ile 16 paralel yükleniyor. Raporlama Ortamı MSTR (Microstrategy) 300+ Kullanıcı 3000 farklı rapor / aylık 50 bin rapor Çalışma aralığı 08:00 – 22:00 (SLA)

Fiber Channel (32 x 4 Gtbit/s) Fiziksel Dönüşüm   OLD SYSTEM NEW SYSTEM Server Model Sun M9000 Oracle Exadata V2 Cpu Type Sun Sparc 7 2.52 GHz Xeon® E5540 Processors 2.53 GHz Number Of Cpu Threads 176 128 Total Main Memory 512 GB 576 GB Total Storage Capacity 120 TB 30 TB Storage Connection Technology Fiber Channel (32 x 4 Gtbit/s) Infiniband ( 8 x 40 Gbit ) Storage Maximum IO Throughput Capacity 5 GB/s 21 GB/s Server + Storage units Total Power 57 KVA 20 KVA Server + Storage units Total Form Factor 11 Rack 1 Rack Approximate Data Backup Duration 44 Hours 14 Hours Number of Backup Tape Cartridges Per Backup 159 57

Yatayda ölçeklenebilme Neden Exadata? Basit Mimari Sun M9000 & on(10) Disk kabineti yerine sadece 1 makine Tek DESTEK Noktası Eski sistemde kurulum ve 5GB/s için aylarca uğraşıldı. Exadata 5 gün içinde hazır. Her sorun için TEK DESTEK Noktası. Yatayda ölçeklenebilme Veri her zaman ARTAR! Boyut her yıl 2’ye katlanıyor.(45TB to 100TB) Eski disk mimarileri sınırlıdır. 600+ disk max I/O throughput of 5 GB/s. yerine 168 SAS disk max I/O throughput of 21 GB/s.

Performans İhtiyaçları Neden Exadata? Exadata Migration Ort Süre Performans İhtiyaçları Aylık 50 bin rapor. Ortalama rapor süresi 27 dakikadan 3 dakikaya düştü. 5 dakikadan kısa süren raporlar %45 ‘ten %90 ’a çıktı. 4 saatten uzun süren rapor sayısı 87 ‘den 1 ‘e düştü.

Proje Ayrıntıları Ne değişiyor? Exadata V2 makinesine geçiş Oracle Version değişimi (10.2.0.4  11.2.0.1) Single Instance  RAC 4 Aylık (Nisan-Temmuz) güven testi Crash Testleri Network Hız Testi ( 10G mi / IB mi ) Backup/Restore Performans Testleri (RAT, Rapor süreleri, yükleme süreleri)

Projenin Zorlu Noktaları 30 TB’a sığacak mıyız? (~100 TB 10g sıkıştırılmış) 2 günde nasıl taşıyacağız ? Ne kadarı read/only yapılıp önceden taşınabilir? Ne kadarı daha sonra taşınsa olur? Ne tür bir network kullanılmalı? 8-nodlu RAC ? Önceki tecrübeler yeter mi? Geri dönüş planı: Paralel yükleme?

Taşıma DB Link üzerinden Insert/append Platform ve version değişimi TTS, ASM Rebalance, Backup/Restore bize uygun değil. Turkcell tarafından yazılmış PL/SQL kodu Uğur DEMİRELÇE Metadata (Tablespaceler düzenlendi) Partition bazında 128 paralel Insert/Append 40 TB veri taşındı. Transfer hızı 300 MB/s, yaklaşık 1,1 TB/saat 36 saatte tamamlandı HCC için yüksek CPU kullanımı 20 TB read/only önceden , ~40TB aylık veri daha sonra

Test Gerçek oldu! Yaşanacak sorunları görmek için 3 hafta önce test taşıması Son kullanıcılar geri dönmemize izin vermediler. Planlanandan 3 hafta önce taşıma bitirildi. Paralel yüklemeler 3 hafta boyunca devam etti. Kutlan MANİSALI / Koray KETANİ Ay geçişi dahil her ortamda sistemin tutarlılığı görüldü.

Sıkıştırma / Sıralama Eski sistem 10gR2 Sıkıştırma Exadata V2 HCC ~2-3 kat ~250TB veriyi 100TB’a indiriyordu. Exadata V2 HCC Veri 250TB  25TB (Data) + 5TB (Temp) = 30TB HCC Query High – Sıkıştırma Oranı ~7-10x Archive sıkıştırma daha verimli ancak CPU kullanımına dikkat! http://ferhatsengonul.wordpress.com/2010/08/09/getting-the-most-from-hybrid-columnar-compression/ SORT COMPRESS SIZE (GB) RATIO NOSORT NOCOMP 137,59 1 Q_HIGH 21,21 6,48 SORT_A 12,18 11,29 SORT_B 15,37 8,95 SORT_A_B 11,64 11,80

Raporlardaki İyileşme Report Name Old System Exadata by…X CRC Control Report 0:15:48.73 0:05:06.07 X2 prepaid bireysel toplam harcanan kontor tl 8:02:10.59 1:51:33.20 X4.3 eom_equipment_utilization report 0:38:17.77 0:00:23.34 X163 Eom equipment arpu report 0:09:46.25 0:02:08.00 X4.5 Son 10 gun icinde yapilan gonderimler 0:17:57.95 0:00:37.61 X45.7 Rapor 01. Satış Kanalı Kırılımında Blackberry 0:03:22.24 0:00:00.66 X487 İnternet Paketleri Postpaid paketiçi ve paket 0:05:41.34 0:01:00.34 Connectcard Fatura tutarları 0:31:32.38 0:00:46.51 X66.3 Connectcard Aktivasyon 0:25:21.00 0:00:54.88 X44.9 Aylık 50bin rapor Bazı raporlarda 400x bazılarında 10x

Exadata ile Yaşamak RAC’tan korkmaya (artık) gerek yok. Scan-IP sayesinde yük nodelara dağılıyor. Yoğun PQ kullanımı sorunsuz. Hala çok fazla log var. Temporary Tablespace alanına dikkat! Exadata tutarlı ama ilgi istiyor. Bütün bir cell i ya da tek bir diski ya da flash disklerden birini kaybettiğimiz durumda bile hizmet kesintisi yaşanmadı. Enterprise Manager izleme için gerekli Grid Control SQL Monitor

Son Kullanıcı yorumları Altyapı degişiklikleri ile performans kazancı olacak laflarını çok duymuştuk fakat bu sefer aldığımız sonuçlar karşısında şok olduk. Rekabetin hiç durmadan devam ettiği bu ortamda daha hızlı aksiyonlar alabilecegiz. XDDS tek kelime ile muhteşem, hiç bir rapor 10 dakikadan uzun sürmüyor. Eskiden 3-4 saat bekledigimiz raporlar 3-4 dakikada geliyor, gerçek değil gibi ama gerçek. “Beni korkutuyorsun MSTR” facebook statusü.

Yolculuğun Devamı 2. hatta 3. Rack’ı eklemek DWH ‘la bağlantılı veri tabanlarının da exadataya taşınması. OLTP Real-Time DWH

Türkiye Oracle Kullanıcıları Grubu kuruldu. TROUG Türkiye Oracle Kullanıcıları Grubu kuruldu.

Teşekkürler Sorular Ferhat ŞENGÖNÜL www.turkcell.com.tr ferhat.sengonul@turkcell.com.tr