Sunum yükleniyor. Lütfen bekleyiniz

Sunum yükleniyor. Lütfen bekleyiniz

TURKCELL Metin YILMAZ & Ferhat ŞENGÖNÜL TURKCELL’in EXADATA Yolculuğu Kasım 2010.

Benzer bir sunumlar


... konulu sunumlar: "TURKCELL Metin YILMAZ & Ferhat ŞENGÖNÜL TURKCELL’in EXADATA Yolculuğu Kasım 2010."— Sunum transkripti:

1 TURKCELL Metin YILMAZ & Ferhat ŞENGÖNÜL TURKCELL’in EXADATA Yolculuğu Kasım 2010

2 Turkcell Hakkında Türkiye’nin Lider GSM Operatorü 33.9 Milyon abone (Temmuz 2010) Avrupa’nın 3. büyük GSM operatorü (abone sayısı bazında) 8 Farklı ülkede iştirakler / toplam 60 Milyon + abone 150 tanesi Production olmak üzere 500 den fazla Oracle Veritabanı 20 tane DBA

3 Özet Turkcell’in DW domainindeki en büyük veri tabanı 100 TB (~250 TB uncompressed )  EXADATA DBM v2 Full SAS 3 Ayrı alanda 10 kat kazanç Aylık 50bin raporluk sistemde ortalama 10x performans artışı sağlandı. Veri büyüklüğü 10x küçüldü. (250TB -> 25TB) Sistem Odasındaki kabinet sayısı 11’den 1’e düştü. Yatayda büyüyebilme imkanı sağlandı.

4 Turkcell Veri Akışı Raporlama MSTR ETL AB Initio Oracle ODI Kaynak DB Exadata Diğer DWH DBleri Verinin Büyüklüğü 1.5 Milyar CDR / gün GB ham data / 20+ kaynak veri tabanı Dosyalarda işlenen 5 TB / gün 2-3 TB veritabanına yükleme

5 Turkcell Veri Akışı / Uygulama Sunucuları ETL Ortamı AB Initio – 8 Node Linux Cluster Hergün yükleme 19: :00 (SLA) Tablolar Sql*Loader ile 16 paralel yükleniyor. Raporlama Ortamı MSTR (Microstrategy) 300+ Kullanıcı 3000 farklı rapor / aylık 50 bin rapor Çalışma aralığı 08:00 – 22:00 (SLA)

6 Fiziksel Dönüşüm OLD SYSTEMNEW SYSTEM Server ModelSun M9000Oracle Exadata V2 Cpu TypeSun Sparc GHzXeon® E5540 Processors 2.53 GHz Number Of Cpu Threads Total Main Memory512 GB576 GB Total Storage Capacity120 TB30 TB Storage Connection TechnologyFiber Channel (32 x 4 Gtbit/s)Infiniband ( 8 x 40 Gbit ) Storage Maximum IO Throughput Capacity5 GB/s21 GB/s Server + Storage units Total Power57 KVA20 KVA Server + Storage units Total Form Factor 11 Rack1 Rack Approximate Data Backup Duration44 Hours14 Hours Number of Backup Tape Cartridges Per Backup15957

7 Neden Exadata? Basit Mimari Sun M9000 & on(10) Disk kabineti yerine sadece 1 makine Tek DESTEK Noktası Eski sistemde kurulum ve 5GB/s için aylarca uğraşıldı. Exadata 5 gün içinde hazır. Her sorun için TEK DESTEK Noktası. Yatayda ölçeklenebilme Veri her zaman ARTAR! Boyut her yıl 2’ye katlanıyor.(45TB to 100TB) Eski disk mimarileri sınırlıdır disk max I/O throughput of 5 GB/s. yerine 168 SAS disk max I/O throughput of 21 GB/s.

8 Neden Exadata? Ort Süre Exadata Migration Performans İhtiyaçları Aylık 50 bin rapor. Ortalama rapor süresi 27 dakikadan 3 dakikaya düştü. 5 dakikadan kısa süren raporlar %45 ‘ten %90 ’a çıktı. 4 saatten uzun süren rapor sayısı 87 ‘den 1 ‘e düştü.

9 Proje Ayrıntıları Ne değişiyor? Exadata V2 makinesine geçiş Oracle Version değişimi (  ) Single Instance  RAC 4 Aylık (Nisan-Temmuz) güven testi Crash Testleri Network Hız Testi ( 10G mi / IB mi ) Backup/Restore Performans Testleri (RAT, Rapor süreleri, yükleme süreleri)

10 Projenin Zorlu Noktaları 30 TB’a sığacak mıyız? (~100 TB 10g sıkıştırılmış) 2 günde nasıl taşıyacağız ? Ne kadarı read/only yapılıp önceden taşınabilir? Ne kadarı daha sonra taşınsa olur? Ne tür bir network kullanılmalı? 8-nodlu RAC ? Önceki tecrübeler yeter mi? Geri dönüş planı: Paralel yükleme?

11 Taşıma DB Link üzerinden Insert/append Platform ve version değişimi TTS, ASM Rebalance, Backup/Restore bize uygun değil. Turkcell tarafından yazılmış PL/SQL kodu Uğur DEMİRELÇE Metadata (Tablespaceler düzenlendi) Partition bazında 128 paralel Insert/Append 40 TB veri taşındı. Transfer hızı 300 MB/s, yaklaşık 1,1 TB/saat 36 saatte tamamlandı HCC için yüksek CPU kullanımı 20 TB read/only önceden, ~40TB aylık veri daha sonra

12 Test Gerçek oldu! Yaşanacak sorunları görmek için 3 hafta önce test taşıması Son kullanıcılar geri dönmemize izin vermediler. Planlanandan 3 hafta önce taşıma bitirildi. Paralel yüklemeler 3 hafta boyunca devam etti. Kutlan MANİSALI / Koray KETANİ Ay geçişi dahil her ortamda sistemin tutarlılığı görüldü.

13 Sıkıştırma / Sıralama Eski sistem 10gR2 Sıkıştırma ~2-3 kat ~250TB veriyi 100TB’a indiriyordu. Exadata V2 HCC Veri 250TB  25TB (Data) + 5TB (Temp) = 30TB HCC Query High – Sıkıştırma Oranı ~7-10x Archive sıkıştırma daha verimli ancak CPU kullanımına dikkat! SORTCOMPRESSSIZE (GB)RATIO NOSORTNOCOMP137,591 NOSORTQ_HIGH21,216,48 SORT_AQ_HIGH12,1811,29 SORT_BQ_HIGH15,378,95 SORT_A_BQ_HIGH11,6411,80

14 Raporlardaki İyileşme Report NameOld SystemExadataby…X CRC Control Report0:15:48.730:05:06.07X2 prepaid bireysel toplam harcanan kontor tl8:02:10.591:51:33.20X4.3 eom_equipment_utilization report 0:38: :00:23.34 X163 Eom equipment arpu report 0:09: :02:08.00 X4.5 Son 10 gun icinde yapilan gonderimler0:17: :00:37.61 X45.7 Rapor 01. Satış Kanalı Kırılımında Blackberry 0:03: :00:00.66 X487 İnternet Paketleri Postpaid paketiçi ve paket 0:05: :01:00.34 X4.3 Connectcard Fatura tutarları 0:31: :00:46.51 X66.3 Connectcard Aktivasyon 0:25: :00:54.88 X44.9 Aylık 50bin rapor Bazı raporlarda 400x bazılarında 10x

15 Exadata ile Yaşamak RAC’tan korkmaya (artık) gerek yok. Scan-IP sayesinde yük nodelara dağılıyor. Yoğun PQ kullanımı sorunsuz. Hala çok fazla log var. Temporary Tablespace alanına dikkat! Exadata tutarlı ama ilgi istiyor. Bütün bir cell i ya da tek bir diski ya da flash disklerden birini kaybettiğimiz durumda bile hizmet kesintisi yaşanmadı. Enterprise Manager izleme için gerekli Grid Control SQL Monitor

16 Son Kullanıcı yorumları Altyapı degişiklikleri ile performans kazancı olacak laflarını çok duymuştuk fakat bu sefer aldığımız sonuçlar karşısında şok olduk. Rekabetin hiç durmadan devam ettiği bu ortamda daha hızlı aksiyonlar alabilecegiz. XDDS tek kelime ile muhteşem, hiç bir rapor 10 dakikadan uzun sürmüyor. Eskiden 3-4 saat bekledigimiz raporlar 3-4 dakikada geliyor, gerçek değil gibi ama gerçek. “Beni korkutuyorsun MSTR” facebook statusü.

17 Yolculuğun Devamı 2. hatta 3. Rack’ı eklemek DWH ‘la bağlantılı veri tabanlarının da exadataya taşınması. OLTP Real-Time DWH

18 TROUG Türkiye Oracle Kullanıcıları Grubu kuruldu.

19 Teşekkürler Sorular Ferhat ŞENGÖNÜL


"TURKCELL Metin YILMAZ & Ferhat ŞENGÖNÜL TURKCELL’in EXADATA Yolculuğu Kasım 2010." indir ppt

Benzer bir sunumlar


Google Reklamları