I. Ulusal Yüksek Başarım ve Grid Konferansı Deprem Merkezi Bulma Uygulamasının JDL İş Akışları ile Paralelleştirilmesi M.Yilmazer, R. Arikan, M. S. Geden,

... konulu sunumlar: "I. Ulusal Yüksek Başarım ve Grid Konferansı Deprem Merkezi Bulma Uygulamasının JDL İş Akışları ile Paralelleştirilmesi M.Yilmazer, R. Arikan, M. S. Geden,"— Sunum transkripti:

1 I. Ulusal Yüksek Başarım ve Grid Konferansı Deprem Merkezi Bulma Uygulamasının JDL İş Akışları ile Paralelleştirilmesi M.Yilmazer, R. Arikan, M. S. Geden, C. Ozturan, B. Bektas Bogazici University

2 I. Ulusal Yüksek Başarım ve Grid Konferansı İÇERİK –Giriş –Deprem Merkezi Bulma Yöntemi –Paralelleştirme Yöntemleri –Otomatik JDL üretimi –Sonuç

3 I. Ulusal Yüksek Başarım ve Grid Konferansı Giriş  Boğaziçi Üniversitesi Kandilli Rasathanesi ve Deprem Araştırma Enstitüsü  2005 yılından itibaren  100’un üzerinde istasyon  SAC formatında 1 saatlik veriler (dalga formu)  Toplam veri büyüklüğü yaklaşık 2.5 TB  Toplam dosya sayısı yaklaşık 4 milyon  Deprem Merkezini bulmak icin HYPO1 uygulaması

4 I. Ulusal Yüksek Başarım ve Grid Konferansı Giriş  Paralelleştirme icin 3 degisik secenek i.MPI mesaj kütüphanesinin kullanılması ii.OpenMP sicimleme direktiflerinin kullnılması iii.JDL iş akışı olarak uygulamanın tanımlanması  Uygulama numerik ve hesaplama yoğunlundan daha çok, veri yoğunluklu bir uygulamadır.  Bu nedenle Fortran ile yazılmış kaynak kodlara mumkun olduğunca dokunulmamıştır.  Programa giriş olarak verilen dosyaların bolunmesi şeklinde bir yol izlenmiştir.  Bu işlem JDL iş akışı biçiminde gerçekleştirilmiştir.

5 I. Ulusal Yüksek Başarım ve Grid Konferansı Deprem Merkezi BulmaYöntemi 1)Bütün istasyonların aynı zaman aralığı içindeki dalga formu dosyalarının taranarak olası depremlerin belirleniyor (genlik değişimleri karşılaştırılarak) ve istasyonlara varış zamanları hesaplanıyor  10 saniye içerisinde en az 4 istasyon tarafından genlik değişiminin olması gerekiyor.

6 I. Ulusal Yüksek Başarım ve Grid Konferansı Deprem Merkezi BulmaYöntemi 1)Deprem dalgasının istasyona varış zamanı ve geçtiği çeşitli yer katmanlarındaki hızları kullanılarak deprem merkezinin istasyondan uzaklığı hesaplanıyor.

7 I. Ulusal Yüksek Başarım ve Grid Konferansı Deprem Merkezi BulmaYöntemi İstasyon 1 İstasyon 2 İstasyon 3 Deprem merkezi

8 I. Ulusal Yüksek Başarım ve Grid Konferansı Paralelleştirme Yöntemleri 1)İstasyonları Bölerek Paralelleştirme 2)Zamanı bölerek Paralelleştirme

9 I. Ulusal Yüksek Başarım ve Grid Konferansı 1) İstasyonu Bölerek Paralelleştirme İstasyon 1 İstasyon 2 İstasyon 3 İstasyon 4 İstasyon 5 İstasyon n Zaman İstasyon Dosyaları

10 I. Ulusal Yüksek Başarım ve Grid Konferansı 1) İstasyonu Böl. Paralelleştirme (iş akışı) Depolama Elemanı(SE) WN(1)WN(2)WN(n-1)WN(n) Deprem Merkezi Bulma WN İşci düğümleri (istasyona dalganın varışını bulma) 1. istasyon dosyası 2. istasyon dosyası (n-1)’inci istasyon dosyası n’inci istasyon dosyası Deprem veritabanı

11 I. Ulusal Yüksek Başarım ve Grid Konferansı 2) Zamanı Bölerek Paralelleştirme İstasyon Dosyaları İstasyon 1 İstasyon 2 İstasyon 3 İstasyon 4 İstasyon 5 İstasyon n Zaman

12 I. Ulusal Yüksek Başarım ve Grid Konferansı 2) Zamanı Böl. Paralelleştirme (iş akışı) Deprem merkezi bulma İstasyona dalganın varışını bulma Depolama Elemanı(SE) WN(1)WN(2)WN(n-1)WN(n) 1’inci zaman bölüntüsü dosyaları (n-1)’inci zaman bölüntüsü dosyaları Deprem veritabanı n’inci zaman bölüntüsü dosyaları 2’inci zaman bölüntüsü dosyaları WN(1)WN(2) WN(n-1)WN(n)

13 I. Ulusal Yüksek Başarım ve Grid Konferansı Otomatik JDL üretimi type = "dag"; VirtualOrganisation = "seismo.see-grid-sci.eu"; Rank = other.GlueCEStateFreeCPUs; max_nodes_running = 71; InputSandbox = { "RUNSINGLEHOUR","elf.exe","template.txt", "katsay.tmp","response.zip", "DB.class","insertQuery.class", "mysql-connector-java-3.1.12-bin.jar" };

14 I. Ulusal Yüksek Başarım ve Grid Konferansı Otomatik JDL üretimi nodes = [ part0 = [ description = [ Type="Job"; JobType="Normal"; Executable = "RUNSINGLEHOUR"; StdOutput = "out.txt"; StdError = "err.txt"; OutputSandbox = { "out.txt","err.txt","1","2","3" }; Arguments = "2 2007 01 01 01 2007010101.ADVT.BHZ.KO.zip process0 1"; RetryCount = 3; ];

15 I. Ulusal Yüksek Başarım ve Grid Konferansı Otomatik JDL üretimi part70 = [ description = [ Type="Job"; JobType="Normal"; Executable = "RUNSINGLEHOUR"; StdOutput = "out.txt"; StdError = "err.txt"; OutputSandbox = { "out.txt","err.txt","1","2","3" }; Arguments = "2 2007 01 01 01 dummy process70 2"; RetryCount = 3; ]; dependencies={{{part0,..., part69 },part70}};

16 I. Ulusal Yüksek Başarım ve Grid Konferansı Sonuç Test Toplam işlenmiş dosya sayısı Zaman (Seri Program) Zaman (Parallel Programlar) İstasyon BölmeZaman Bölme 1 saatlik veri70820 s20 s10 s

17 I. Ulusal Yüksek Başarım ve Grid Konferansı Teşekkürler http://wiki.egee-see.org/index.php/SG_Seismology_VO