2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Peter Kacsuk’un sunumundan alıntılarla P-GRADE Portalı Cevat Şener Bilgisayar Mühendisliği Bölümü,

... konulu sunumlar: "2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Peter Kacsuk’un sunumundan alıntılarla P-GRADE Portalı Cevat Şener Bilgisayar Mühendisliği Bölümü,"— Sunum transkripti:

1 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Peter Kacsuk’un sunumundan alıntılarla P-GRADE Portalı Cevat Şener Bilgisayar Mühendisliği Bölümü, Orta Doğu Teknik Üniversitesi Ankara, Türkiye

2 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA İçerik P-GRADE Portalının geliştirilme nedeni Kısaca P-GRADE Portalı Portalda uygulama geliştirme Portalda uygulama çalıştırma Portalda parametre çalışma eklentisi

3 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Genel Durum Temel grid servisleri: AA, iş gönderme, bilgi alma, … Üst seviye grid servisleri (aracı,…) Uygulama araçları, standartları Uygulama Grid ortakatmanı Komut satırı araçları P-GRADE Portalı Kullanıcı arayüzleri

4 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Grid Hesaplamanın Şimdiki Durumu ve Geleceği Grid sistemleri ve ortkatmanının hızlı gelişimi:  GT2, OGSA, GT3 (OGSI), GT4 (WSRF), LCG-2, gLite, … Birçok grid sistemleri bunlarla üretildi:  EGEE (LCG-2  gLite), UK NGS (GT2), Open Science Grid (GT2  GT4), NorduGrid (~GT2) Aynı temel servisler her yerde kullanılabilir olmasına rağmen, farklı yollarda geliştirildi  Veri servisleri  Hesaplama servisleri  Güvenlik servisleri (single sign-on)  Aracılar

5 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Kısaca P-GRADE Portalı Genel kullanımlı, iş akışı tabanlı Grid portalı İş akışına dayanan grid uygulamalarının geliştirilmesini ve ç alıştırılmasını sağlar GridSphere-2 ’ ye dayalı  Yeni portletler kolaylıkla eklenebilir  Kullanıcı ihtiya ç larına g ö re uyarlanabilir Grid sistemlerindeki birlikte ç alışabilirlik sorununu iş akışı seviyesinde çö zer

6 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA İlgili Projeler Portalın geliştirilme ve eğitim çalışmaları çeşitli projeler tarafından yürütülmektedir:  SEE-GRID www.see-grid.eu Geliştirme ve uygulama desteği  Coregrid www.coregrid.net Araştırma, geliştirme  EGEE www.eu-egee.org LCG ve gLite eğitimleri, uygulama geliştirme  ICEAGE www.iceage-eu.org Grid eğitimleri

7 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA P-GRADE Portalında iş akışı nedir? Yönlendirilmiş, çevrimsiz çizge (directed acyclic graph, DAG)  Düğümler, program işlerini  Kapılar, işlerin istediği ya da ürettiği girdi/çıktı dosyalarını  Düğümleri birbirine bağlayan kenarlar, dosya transfer işlemlerini temsil eder. İş akışının anlamı:  Eğer bütün girdi dosyaları hazırsa o iş çalıştırılabilir.

8 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA İş Akışlarında İki Seviyeli Paralellik P-GRADE portalındaki iş akışı kavramı, karmaşık problemlerin etkili bir şekilde paralelleştirilmesini sağlar İş akışları iki seviyede paralellik sağlar : – İş akışlarının düğümleri arasındaki paralellik Birden fazla iş paralel olarak çalışabilir – İş akışlarının düğümleri içindeki paralellik İşler paralel bir programdan oluşabilir

9 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA 25 x 10 x 25 x 5 x Tehlikeli hava koşullarının (fırtına, sis) tahmin edilebilmesi can ve mal güvenliği için oldukca önemlidir İşlenecek bilgi: yüzey seviyesi, yükseklik ölçümleri, radar, uydu, aydınlanma, önceki hesaplamaların sonuçları Gereksinimler: Hesaplama zamanı < 10 dk Yüksek çözünürlük (1km) Kısa Menzilli Hava Tahmini (Macaristan Meteoroloji Servisi)

10 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Tipik Kullanıcı Senaryosu (Geliştirme Aşaması) Sertifika sunucusu Portal sunucusu Grid servisleri Editörü başlatma İş akışı oluşturma, iş akışı üzerinde değişiklik yapma İş akışını kaydetme

11 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA İş Akışı Geliştirme (İş Akışı Editörünü Açma) Editör, bir Java Webstart uygulamasıdır. İndirip kurulması, sadece bir “tık” ile!

12 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA İş Akışı Editörü (Grafik Tanımlama) Toplu işlerden yönlü, çevirimsiz bir grafik oluşturma amaçlanır: 1.Sürükle-bırak birleşenleri: işler ve kapılar 2.Özelliklerinin tanımlanması 3.Kapıların bağlanması (çevirim, döngü veya koşul eklenemez)

13 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Otomatik Kaynak Seçimi İş için aracı bir Grid/VO seçin (ör. trgridb ) İşin belli gereksinimleri varsa bunları JDLde tanımlayın.  İş akışı editörünün kendi JDL editörü vardır. İş için en iyi kaynağı bulmak için portal aracıyı kullanacaktır.

14 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Lokal ve Uzaktaki dosyalar Portal sunucusu Grid servisleri Hesaplama elemanları Depolama elemenları UZAK GİRDİ DOSYALARI UZAK ÇIKTI DOSYALARI LOKAL GİRDİ DOSYALARI ve YÜRÜTÜLÜR DOSYALAR LOKAL ÇIKTI DOSYALARI LOKAL GİRDİ DOSYALARI ve YÜRÜTÜLÜR DOSYALAR LOKAL ÇIKTI DOSYALARI Sadece kalıcı dosyalar! İşiniz depolama dosyalarına doğrudan ulaşabilir.

15 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA İş Akışı Editörü (İş Akışını Kaydetme) İş akışı tanımlandı! Şimdi çalıştırılabilir!

16 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Sertifika sunucusu Portal sunucusu Grid servisleri PROXY SERTİFİKASININ İNDİRİLMESİ Tipik Kullanıcı Senaryosu (Çalıştırma Aşaması –1. adım)

17 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Sertifika Yöneticisi (Sertifika Portleti) GSI tabanlı gridlere ulaşabilmek için portal sunucusu proxy sertifikasına ihtiyaç duyar “Sertifikalar” portleti: X.509 sertifikalarının MyProxy sunucularına yüklenmesi kısa zamanlı proxy sertifikalarının portal sunucusuna indirilmesi

18 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Sertifika Yöneticisi (Proxy Sertifikalarının Taranması) Portal sunucusunda aynı anda birden fazla proxy sertifikası bulunabilir! SEE-GRID CE ve SEleri HUNGRID CE ve SEleri

19 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Sertifika sunucusu Portal sunucusu Grid servisleri DOSYALARIN TRANSFERİ, İŞLERİN GÖNDERİLMESİ Tipik Kullanıcı Senaryosu (Çalıştırma Aşaması –2. adım)

20 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA İş Akışı Yönetimi (İş Akışı Portleti) Bu portlette, “Workflow” listesinde iş akışlarının durumu, boyutu ve biten işlerin çıktıları gösterilir. Kullanıcıların portal sunucusundaki depolama alanlarını kontrol edebilmek için, kota yöneticisi bulunmaktadır.

21 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA İş Akışı Çalıştırma (İş Akışı Portletinden İşlerin Durumunu İzleme)

22 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA İş Akışı Çalıştırma (İş Akışı Portletinden İşlerin Durumunu İzleme)

23 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA İş Akışı Çalıştırma (İş Akışı Portletinden İşlerin Durumunu İzleme)

24 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA İş Akışı Çalıştırma (İş Akışı Portletinden İşlerin Durumunu İzleme)

25 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA İş Akışı Çalıştırma (İş Akışı Portletinden İşlerin Durumunu İzleme)

26 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Sertifika sunucusu Portal sunucusu Grid servisleri İŞLERİ GÖZLEMLEME ve İŞ AKIŞI İLERLEMESİ İŞLERİ İZLEME Tipik Kullanıcı Senaryosu (Çalıştırma Aşaması –3. adım)

27 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA -İş akışının ilerleyişi portaldan takip edilip gözlenebilir. İş Akışı ve İş Seviyesinde Gözleme (İş Akışı Portleti)

28 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA İş Akışı ve İş Seviyesinde Gözlemleme (İş Akışı Portleti) -Paralel işlerin ilerleyişi de portaldan takip edilip gözlenebilir. (Eger Mercury monitor için hazırlanmışsa)

29 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA İş akışı çalıştırılırken bir işte hata oluştu Hata sebebini log dosyasından öğrenin Başarısız Olan İş Akışının Kurtarılması 1. Adım

30 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Hatalı işi başka bir CEye yönlendirin, ya da yeni bir proxy sertifikası indirin. Biten işlerde düzeltme yapmanıza gerek yok! İş akışının çalıştırılması hata alınan noktadan devam edebilir! Başarısız Olan İş Akışının Kurtarılması 2. Adım

31 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Sertifika sunucusu Portal sunucusu Grid servisleri SONUÇLARIN İNDİRİLMESİ Tipik Kullanıcı Senaryosu (Çalıştırma Aşaması – 4. Adım)

32 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Sonuçların İndirilmesi...

33 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Parametre Çalışma Eklentisi Kullanıcılar iş akışı seviyesinde parametre çalışması desteğine ihtiyaç duymaktadır. Parametre çalışması:  Eger kullanıcının varolan, hazır bir iş akışı varsa kullanıcılar bu iş akışını  Tekrar çalıştırmak (değişiklik yapmadan)  Farklı parametrelerle çalıştırmak ihtiyacı duymaktadır.

34 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA İşler paralel bir programdan oluşabilir – İş akışlarının düğümleri içindeki paralellik (SIMD/MIMD/MISD) – İş akışlarının düğümleri arasındaki paralellik (SIMD/MIMD/MISD) Birden fazla iş paralel olarak çalışabilir – İş akışına parametre çalışması eklentisi (SIMD) Aynı iş akışının birden fazla kopyası farklı veri dosyalarıyla işlem yapabilir. İş Akışlarında Üç Seviyeli Paralellik

35 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Parametre Çalışması İş Akışı Çalıştırılması PÇ kapısı: girdi dosyasının 4 kopyası PÇ kapısı: girdi dosyasının 3 kopyası 1 PS iş akışı çalıştırılması = 4 x 3 normal iş akışı çalıştırılması Böylece 3. seviyede paralellik sağlanarak, çok fazla Grid kaynağına ihtiyaç duyulmaktadır.

36 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Sonuçlar  P-GRADE Portalı gridler arasındaki farklılıkları ve karmaşıklıkları saklar  Globus X – LCG2 – gLite iş akışı seviyesinde birlikte çalışılabilirliği  Grid teknolojileri arasındaki geçişler son kullanıcıdan saklanır  Çeşitli bileşenlerden oluşan büyük Grid uygulamaları geliştirilebilir – Sıralı kodlar – MPI kodları – Eski kodları ( Legacy codes )  Kodlarda gride özel konutların bulunmasına gerek kalmaz  Uygulama geliştirme, çalıştırma ve izlemek için grafiksel araçlar kullanılır  Ortak takım çalışmalarını destekler  İş akışlarının paylaşılması  İşlerin paylaşılması  Standart portlet APIsiyle geliştirilmiştir  özel uygulama alanlarına, kullanıcı gruplarına göre ayarlanabilir.

37 2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Teşekkürler! portal@grid.org.tr www.grid.org.tr/servisler/pgrade www.lpds.sztaki.hu/pgportal