9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Peter Kacsuk’un sunumundan alıntılarla P-GRADE Portalı Birsen Omay

... konulu sunumlar: "9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Peter Kacsuk’un sunumundan alıntılarla P-GRADE Portalı Birsen Omay"— Sunum transkripti:

1 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Peter Kacsuk’un sunumundan alıntılarla P-GRADE Portalı Birsen Omay birsen@ulakbim.gov.tr

2 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İçerik P-GRADE Portalının geliştirilme nedeni Kısaca P-GRADE Portalı Portalda uygulama geliştirme Portalda uygulama çalıştırma Portalda parametre çalışma eklentisi

3 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Genel Durum Temel grid servisleri: AA, iş gönderme, bilgi alma, … Üst seviye grid servisleri (aracı,…) Uygulama araçları, standartları Uygulama Grid ortakatmanı Komut satırı araçları P-GRADE Portalı Kullanıcı arayüzleri

4 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Grid Hesaplamanın Şimdiki Durumu ve Geleceği Grid sistemleri ve ortkatmanının hızlı gelişimi:  GT2, OGSA, GT3 (OGSI), GT4 (WSRF), LCG-2, gLite, … Birçok grid sistemleri bunlarla üretildi:  EGEE (LCG-2  gLite), UK NGS (GT2), Open Science Grid (GT2  GT4), NorduGrid (~GT2) Aynı temel servisler her yerde kullanılabilir olmasına rağmen, farklı yollarda geliştirildi  Veri servisleri  Hesaplama servisleri  Güvenlik servisleri (single sign-on)  Aracılar

5 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Kısaca P-GRADE Portalı Genel kullanımlı, iş akışı tabanlı Grid portalı İş akışına dayanan grid uygulamalarının geliştirilmesini ve ç alıştırılmasını sağlar GridSphere-2 ’ ye dayalı  Yeni portletler kolaylıkla eklenebilir  Kullanıcı ihtiya ç larına g ö re uyarlanabilir Grid sistemlerindeki birlikte ç alışabilirlik sorununu iş akışı seviyesinde çö zer

6 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İlgili Projeler Portalın geliştirilme ve eğitim çalışmaları çeşitli projeler tarafından yürütülmektedir:  SEE-GRID www.see-grid.eu Geliştirme ve uygulama desteği  Coregrid www.coregrid.net Araştırma, geliştirme  EGEE www.eu-egee.org LCG ve gLite eğitimleri, uygulama geliştirme  ICEAGE www.iceage-eu.org Grid eğitimleri

7 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara P-GRADE Portalında iş akışı nedir? Yönlendirilmiş, çevrimsiz çizge (directed acyclic graph, DAG)  Düğümler, program işlerini  Kapılar, işlerin istediği ya da ürettiği girdi/çıktı dosyalarını  Düğümleri birbirine bağlayan kenarlar, dosya transfer işlemlerini temsil eder. İş akışının anlamı:  Eğer bütün girdi dosyaları hazırsa o iş çalıştırılabilir.

8 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İş Akışlarında İki Seviyeli Paralellik P-GRADE portalındaki iş akışı kavramı, karmaşık problemlerin etkili bir şekilde paralelleştirilmesini sağlar İş akışları iki seviyede paralellik sağlar : – İş akışlarının düğümleri arasındaki paralellik Birden fazla iş paralel olarak çalışabilir – İş akışlarının düğümleri içindeki paralellik İşler paralel bir programdan oluşabilir

9 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara 25 x 10 x 25 x 5 x Tehlikeli hava koşullarının (fırtına, sis) tahmin edilebilmesi can ve mal güvenliği için oldukca önemlidir İşlenecek bilgi: yüzey seviyesi, yükseklik ölçümleri, radar, uydu, aydınlanma, önceki hesaplamaların sonuçları Gereksinimler: Hesaplama zamanı < 10 dk Yüksek çözünürlük (1km) Kısa Menzilli Hava Tahmini (Macaristan Meteoroloji Servisi)

10 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Tipik Kullanıcı Senaryosu (Geliştirme Aşaması) Sertifika sunucusu Portal sunucusu Grid servisleri Editörü başlatma İş akışı oluşturma, iş akışı üzerinde değişiklik yapma İş akışını kaydetme

11 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İş Akışı Geliştirme (İş Akışı Editörünü Açma) Editör, bir Java Webstart uygulamasıdır. İndirip kurulması, sadece bir “tık” ile!

12 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İş Akışı Editörü (Grafik Tanımlama) Toplu işlerden yönlü, çevirimsiz bir grafik oluşturma amaçlanır: 1.Sürükle-bırak birleşenleri: işler ve kapılar 2.Özelliklerinin tanımlanması 3.Kapıların bağlanması (çevirim, döngü veya koşul eklenemez)

13 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İş Akışı Editörü (İşin Özellikleri) İşin özellikleri: (Linux) exe dosyası Tipi Gerekli işlemci sayısı Komut satırı parametreleri Kullanılacak Grid/VO (ve CE)

14 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İş Akışı Editörü (Hangi CE?) Bilgi Sistemi portleti, bu sorgulamada yardımcı olacaktır.

15 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Otomatik Kaynak Seçimi İş için aracı bir Grid/VO seçin (ör. trgridb ) İşin belli gereksinimleri varsa bunları JDLde tanımlayın.  İş akışı editörünün kendi JDL editörü vardır. İş için en iyi kaynağı bulmak için portal aracıyı kullanacaktır.

16 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İş Akışı Editörü (Seçimi Aracıya Bırakma) “_BROKER” ile biten Grid ismini seçin. CE ismini önemsemeyin. Dilerseniz JDL editörü ile JDL komutları ekleyebilirsiniz

17 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İş Akışı Editörü (JDL Editörü)

18 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İş Akışı Editörü (Port Tanımlama) Tip: input: İş için gerekli output: İş üretir Dosya tipi: local: masaüstümde remote: Grid üzerinde SE’de Dosya: dosyanın yeri Dosya tutum tipi: Permanent: iş akışının sonuçlarına dahil Volatile: yalnızca işler arası veri aktarımı için

19 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Dosya İsimlendirme Örnekleri Local  Kullanıcının bilgisayarında c:\experiments\11-04.dat Remote  LFC mantıksal dosya ismi lfn:/grid/egrid/sipos/11-04.dat  GridFTP adres i gsiftp://myhost.com/11-04.dat

20 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Lokal ve Uzak Dosyalar Portal sunucusu Grid servisleri Hesaplama elemanları Depolama elemenları UZAK GİRDİ DOSYALARI UZAK ÇIKTI DOSYALARI LOKAL GİRDİ DOSYALARI ve YÜRÜTÜLÜR DOSYALAR LOKAL ÇIKTI DOSYALARI LOKAL GİRDİ DOSYALARI ve YÜRÜTÜLÜR DOSYALAR LOKAL ÇIKTI DOSYALARI Sadece kalıcı dosyalar! İşiniz depolama dosyalarına doğrudan ulaşabilir.

21 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İş Akışı Editörü (İş Akışını Kaydetme) İş akışı tanımlandı! Şimdi çalıştırılabilir!

22 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İş Akışının Çalıştırılması Proxy indirilmesi İş akışının gönderilmesi İş akışının takip edilmesi Hataların düzeltilmesi Sonuçların indirilmesi

23 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Sertifika sunucusu Portal sunucusu Grid servisleri PROXY SERTİFİKASININ İNDİRİLMESİ Tipik Kullanıcı Senaryosu (Çalıştırma Aşaması –1. adım)

24 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Sertifika Yöneticisi (Sertifika Portleti) GSI tabanlı gridlere ulaşabilmek için portal sunucusu proxy sertifikasına ihtiyaç duyar “Sertifikalar” portleti: X.509 sertifikalarının MyProxy sunucularına yüklenmesi kısa zamanlı proxy sertifikalarının portal sunucusuna indirilmesi

25 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Sertifika Yöneticisi (Proxy’nin İndirilmesi) 1.MyProxy sunucusu detayları Makine ismi Port numarası Kullancı ismi (yüklemeden) Şifre (yüklemeden) 2.Proxy parametreleri Yaşam uzunluğu Açıklama

26 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Sertifika Yöneticisi (Proxy’nin Grid/VO ile İlişkilendirilmesi) Proxy detayları ve seçebileceğiniz Grid/VO olasılıkları

27 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Sertifika Yöneticisi (Proxy Sertifikalarının Taranması) Portal sunucusunda aynı anda birden fazla proxy sertifikası bulunabilir! SEE-GRID CE ve SEleri HUNGRID CE ve SEleri

28 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Sertifika sunucusu Portal sunucusu Grid servisleri DOSYALARIN TRANSFERİ, İŞLERİN GÖNDERİLMESİ Tipik Kullanıcı Senaryosu (Çalıştırma Aşaması –2. adım)

29 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İş Akışı Yönetimi (İş Akışı Portleti) Bu portlette, “Workflow” listesinde iş akışlarının durumu, boyutu ve biten işlerin çıktıları gösterilir. Kullanıcıların portal sunucusundaki depolama alanlarını kontrol edebilmek için, kota yöneticisi bulunmaktadır.

30 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İş Akışı Çalıştırma (İş Akışı Portletinden İşlerin Durumunu İzleme)

31 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İş Akışı Çalıştırma (İş Akışı Portletinden İşlerin Durumunu İzleme)

32 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İş Akışı Çalıştırma (İş Akışı Portletinden İşlerin Durumunu İzleme)

33 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İş Akışı Çalıştırma (İş Akışı Portletinden İşlerin Durumunu İzleme)

34 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İş Akışı Çalıştırma (İş Akışı Portletinden İşlerin Durumunu İzleme)

35 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Sertifika sunucusu Portal sunucusu Grid servisleri İŞLERİ GÖZLEMLEME ve İŞ AKIŞI İLERLEMESİ İŞLERİ İZLEME Tipik Kullanıcı Senaryosu (Çalıştırma Aşaması –3. adım)

36 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara -İş akışının ilerleyişi portaldan takip edilip gözlenebilir. İş Akışı ve İş Seviyesinde Gözleme (İş Akışı Portleti)

37 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İş Akışı ve İş Seviyesinde Gözlemleme (İş Akışı Portleti) -Paralel işlerin ilerleyişi de portaldan takip edilip gözlenebilir. (Eger Mercury monitor için hazırlanmışsa)

38 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İş akışı çalıştırılırken bir işte hata oluştu Hata sebebini log dosyasından öğrenin Başarısız Olan İş Akışının Kurtarılması 1. Adım

39 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Hatalı işi başka bir CEye yönlendirin, ya da yeni bir proxy sertifikası indirin. Biten işlerde düzeltme yapmanıza gerek yok! İş akışının çalıştırılması hata alınan noktadan devam edebilir! Başarısız Olan İş Akışının Kurtarılması 2. Adım

40 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Sertifika sunucusu Portal sunucusu Grid servisleri SONUÇLARIN İNDİRİLMESİ Tipik Kullanıcı Senaryosu (Çalıştırma Aşaması – 4. Adım)

41 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Sonuçların İndirilmesi...

42 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Ek Özellikler İş akışları portal sunucusuna yüklenebilir. İş akışları portal sunucusundan indirilebilir.  İş akışları ve sonuçları araştırmacılar arasında paylaşılabilir!  İş akışları farklı portallara taşınabilir!

43 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İş Akışı Yükleme / İndirme Portal sunucusundan iş akışı indirilmesi İş akışındaki gereksiz dosyaların silinmesi To delete trace/output of the workflow (if any) İş akışı loglarının / sonuçlarının silinmesi

44 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Parametre Çalışma Eklentisi Kullanıcılar iş akışı seviyesinde parametre çalışması desteğine ihtiyaç duymaktadır. Parametre çalışması:  Eger kullanıcının varolan, hazır bir iş akışı varsa kullanıcılar bu iş akışını  Tekrar çalıştırmak (değişiklik yapmadan)  Farklı parametrelerle çalıştırmak ihtiyacı duymaktadır.

45 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İşler paralel bir programdan oluşabilir – İş akışlarının düğümleri içindeki paralellik (SIMD/MIMD/MISD) – İş akışlarının düğümleri arasındaki paralellik (SIMD/MIMD/MISD) Birden fazla iş paralel olarak çalışabilir – İş akışına parametre çalışması eklentisi (SIMD) Aynı iş akışının birden fazla kopyası farklı veri dosyalarıyla işlem yapabilir. İş Akışlarında Üç Seviyeli Paralellik

46 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Parametre Çalışması İş Akışı Çalıştırılması PÇ kapısı: girdi dosyasının 4 kopyası PÇ kapısı: girdi dosyasının 3 kopyası 1 PS iş akışı çalıştırılması = 4 x 3 normal iş akışı çalıştırılması Böylece 3. seviyede paralellik sağlanarak, çok fazla Grid kaynağına ihtiyaç duyulmaktadır.

47 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Parametre Çalışması İş Akışı Geliştirme 1. Önceden Test Edilmiş İş Akışı

48 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Parametre Çalışması İş Akışı Geliştirme 2. PÇ Kapılarının Tanımlanması “Switch to PS” seçeneğiyle girdi kapısının PÇ kapısına dönüştürülmesi

49 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Parametre Çalışması İş Akışı Geliştirme 3. Girdi Dosyalarının Bulunduğu Dizinin Belirlenmesi Girdi dosyalarının bulunduğu Grid dosya katalog dizini

50 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Parametre Çalışması İş Akışı Geliştirme 4. Sonuç Dosyalarının Kaydedileceği Dizinin Belirlenmesi

51 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Parametre Çalışması İş Akışı Geliştirme 5. İş Akışının Gönderilmesi

52 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Parametre Çalışması İş Akışı Geliştirme 5. İş Akışının Takip Edilmesi Total = Init + Submitted + Rescue + Error + Finished

53 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Sonuçlar  P-GRADE Portalı gridler arasındaki farklılıkları ve karmaşıklıkları saklar  Globus X – LCG2 – gLite iş akışı seviyesinde birlikte çalışılabilirliği  Grid teknolojileri arasındaki geçişler son kullanıcıdan saklanır  Çeşitli bileşenlerden oluşan büyük Grid uygulamaları geliştirilebilir – Sıralı kodlar – MPI kodları – Eski kodları ( Legacy codes )  Kodlarda gride özel konutların bulunmasına gerek kalmaz  Uygulama geliştirme, çalıştırma ve izlemek için grafiksel araçlar kullanılır  Ortak takım çalışmalarını destekler  İş akışlarının paylaşılması  İşlerin paylaşılması  Standart portlet APIsiyle geliştirilmiştir  özel uygulama alanlarına, kullanıcı gruplarına göre ayarlanabilir.

54 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Teşekkürler! portal@grid.org.tr www.grid.org.tr/servisler/pgrade www.lpds.sztaki.hu/pgportal