Sunum yükleniyor. Lütfen bekleyiniz

Sunum yükleniyor. Lütfen bekleyiniz

Www.see-grid.eu SEE-GRID-2 TR-GRID Üzerinde Kandilli Sismik Veri Sunucusu M. Yılmazer Kandilli Rasathanesi ve Deprem Araştırma Enstitüsü, Boğaziçi Üniversitesi.

Benzer bir sunumlar


... konulu sunumlar: "Www.see-grid.eu SEE-GRID-2 TR-GRID Üzerinde Kandilli Sismik Veri Sunucusu M. Yılmazer Kandilli Rasathanesi ve Deprem Araştırma Enstitüsü, Boğaziçi Üniversitesi."— Sunum transkripti:

1 SEE-GRID-2 TR-GRID Üzerinde Kandilli Sismik Veri Sunucusu M. Yılmazer Kandilli Rasathanesi ve Deprem Araştırma Enstitüsü, Boğaziçi Üniversitesi D. Unat, A. S. Balkır, E. Şenay, C. Özturan Bilgisayar Müh. Bölümü Boğaziçi Universitesi

2 2 Türkiye’deki Sismik Veri Toplama İstasyonları

3 3 Verilerle İlgili Bilgiler Veriler takriben 100 istasyondan toplanmaktadır Veriler ziplenmiş SAC dosyası formatında tutulmaktadır Veriler her saat başı Kandilli’deki veri deposuna aktarılmaktadır Veriler Kandilli web sunucusundan erişilebilmektedir Her saat başı bir istasyondan aktarılan ziplenmiş SAC dosyası büyüklüğü takriben 20K-580K arasında değişebilir Bir ayda toplanan veri büyüklüğü takriben: 32 GB 10 senelik veri büyüklüğü takriben : 3.8 TB

4 4 Proje Motivasyonu Bu büyüklükteki verilerin web üzerinden yerel bilgisayara indirilmesi ve işlenmesi kolay/pratik değil Milyonlarca dosyanın web üzerinden sunulması pratik değil Grid üzerinde hem veri hemde hesaplama gücü bu verilerin/dosyaların işlenmesini çok kolaylaştırır. Web sunucusu indir Kullanıcı bilgisayarı Grid Veri + Yüksek Hesaplama Gücü

5 5 Proje Bileşenleri BileşenStatü 1. Tr-Grid Kandilli Sismik Veri Deposu (otomatik olarak SAC dosyalarının Kandilli web sunucusundan tr-grid’e yansıtılması) tamamlandı 2. C++ SAC Dosya İteratörleri ( birçok SAC dosyası üzerinden yüksek seviyede iterasyon sağlayan programlama araçları) Devam ediyor 3. Örnek uygulama (verileri kullanan bir uygulama) Devam ediyor

6 6 1.Tr-Grid Kandilli Sismik Veri Deposu Veri yansıtıcı programı Perl dilinde ve LWP paketini kullanarak geliştirildi Cron ile saat başı çalıştırılıyor Kandilli web sitesindeki: veri se.ulakbim.gov.tr veri deposuna yansıtılmaktadır ve lfc.ulakbim.gov.tr dosya kataloğuna kayıt edilmektedir. LFC_HOME yeri: /grid/trgrid/kandilli/barbar.koeri.boun.edu.tr/wData/

7 7 1.Tr-Grid Kandilli Sismik Veri Deposu Çıkabilen Problemler  Kandilli tarafında olabilen problemler:  Bazı istasyonlar zamanında verilerini göndermeyebilir  Veri web sayfasına yüklenmemiştir  Kandilli web sayfasının geçici olarak çalışmaması  Özel durumlarda gecikmeler (örneğin tatil günleri vs.)  Tr-Grid tarafında olabilen problemler:  Proxy sertifikasının yaratılması başarılı olmayabilir  Sunucu kapalı olabilir  Ağ kullanımı yoğunluğundan dolayı kopya ve kayıt yapmada zaman aşımına uğramak Bu problemleri çözmek için  İndirme sorunu yaşayan dosyaların listesi tut  Uygun zamanlarda bu dosyaları tekrar indir

8 8 2. C++ SAC Dosya İteratörleri (devam ediyor) Yüzbinlerce SAC dosyası bulunuyor Bu dosyalara erişmek ve dosyalar üzerinde iterasyon yapmak için yüksek seviyeli programlama arayüzüne ihtiyaç vardır lfc-ls -l /grid/trgridd/kandilli/barbar.koeri.boun.edu.tr/wData/2006/04/11/23 -rw-rw-r Apr AKS.SHZ.KO.zip -rw-rw-r Apr ALT.SHZ.KO.zip rw-rw-r Apr YOZ.SHZ.KO.zip Dosya erişimlerini ve iterasyonlarını kolaylaştırmak için C++ sınıfları ve iteratörleri tanımlanacaktır. Üzerinde iterasyon yapılan dosyalara erişimi hızlandırmak için boru hattı teknikleri (pipelining) kullanılacaktır

9 9 2. C++ SAC Dosya İteratörleri (devam ediyor) İstasyon, yıl, ay, gün, saat üzerine iterasyon yapma Örnek: #include..... Kandilli K ; KandilliStation station ; for(station = K.begin() ; station != K.end() : station++ ) { }

10 10 2. C++ SAC Dosya İteratörleri (devam ediyor) Çok-sicim (multi-thread) ve boru hattı (pipelining) kullanılarak İterasyon yapılacak dosyalara erişimin hızlandırılması Dosya indir Dosyayı işle Orijinal döngü Dosya indirDosyayı işle Çok sicimli döngü

11 11 2. C++ SAC Dosya İteratörleri (devam ediyor) Boru hatlı (pipelined) dosya erişimi Dosya1 indir Dosya1 işle Dosya2 indirDosya3 indir Dosya2 işle Dosya4 indir Dosya3 işle Dosya5 indir Dosya4 işleDosya5 işle iterasyon başlangıcı iterasyonlar

12 12 3. Örnek Uygulama (devam ediyor) Saat başı gelen verilerden deprem merkezini bulma uygulaması Çıkan sonuçların Google Maps’ta gösterilmesi

13 13 3. Örnek Uygulama (devam ediyor) İstasyon bilgilerinin Google Maps’ta gösterilmesi

14 14 3. Örnek Uygulama (devam ediyor) Otomatik bulunan depremlerin web arayüzü ile sorgulanması

15 15 3. Örnek Uygulama (devam ediyor) Google Maps’ta sorgulanan aralıklardaki depremlerin gösterilmesi

16 16 Kaynakça Didem Unat, Developing Grid-Enabled Applications for Kandilli Observatory and Earthquake Research Institute on TR-Grid. Senior Project Report, Dept. of Computer Eng. Boğaziçi University, E. Şenay, A. S. Balkır Developing Kandilli Earthquake Analysis Application on TR- GRID, Senior Project Report, Dept. of Computer Eng. Boğaziçi University, (in progress).


"Www.see-grid.eu SEE-GRID-2 TR-GRID Üzerinde Kandilli Sismik Veri Sunucusu M. Yılmazer Kandilli Rasathanesi ve Deprem Araştırma Enstitüsü, Boğaziçi Üniversitesi." indir ppt

Benzer bir sunumlar


Google Reklamları