Www.grid.org.tr Grid Orta Katmanı ve İş Akışı TR ATLAS Gaziantep Grid Workshop 19-21 Haziran, 2008. Gaziantep Üniversitesi.

... konulu sunumlar: "Www.grid.org.tr Grid Orta Katmanı ve İş Akışı TR ATLAS Gaziantep Grid Workshop 19-21 Haziran, 2008. Gaziantep Üniversitesi."— Sunum transkripti:

1 www.grid.org.tr Grid Orta Katmanı ve İş Akışı TR ATLAS Gaziantep Grid Workshop 19-21 Haziran, 2008. Gaziantep Üniversitesi

2 www.grid.org.tr İÇERİK Küme Bilgisayar Mimarisi Bileşenler Kuyruk Sistemi İş Akışı Grid Mimarisi (gLite Ortakatman Yazılımı) Grid Katmanları Grid Servisleri Veri Yönetimi İş Yükü Yönetimi

3 www.grid.org.tr Küme Bilgisayar ve Grid... Küme Bilgisayar Birbirine LAN yoluyla bağlı homojen hesaplama kaynakları Paralel hesaplamaya imkan kılan paylaştırılmış dosya dizinleri Her ne kadar ölçeklenirliği olsa da, karşılaşılan sorunlar var: – Isı, boyut, donanım kısıtlamaları... Basit mimari İş göndermede ve sonuç almada hızlı erişim Grid Coğrafi olarak dağıtık, heterojen kaynaklar Araştırmaların önünü açacak insan ağının oluşturulması Hesaplama + DEPOLAMA kaynakları Ölçeklenirlikte kısıt yok! Karmaşık mimari (Küme servisleri + siteler arası ortak servisler) Network bağlantılarının yeterince hızlı olmaması durumunda, iş çalıştırma ya da veri depolamada yavaşlık (Ayrıca coğrafi olarak dağıtık olsun olmasın birçok servisin varlığı da etken.)

4 www.grid.org.tr Küme Bilgisayar Bileşenleri (yazılım)

5 www.grid.org.tr Küme Bilgisayar Kuyruk Sistemi Planlayıcı Hesaplama Kaynakları Kuyruk A Kuyruk B Kuyruk C Kuyruk D B CD A Kuyruk Sistemi

6 www.grid.org.tr Küme Bilgisayarlarda İş Akışı (Örnek: TR-03-METU)

7 www.grid.org.tr Grid Mimarisi (Ortakatman) Grid ortakatman dediğimiz uygulamalarla hesaplama ve veri depolama kaynakları arasında bir arayüz oluşturan ileri yazılım üzerine kuruludur. Grid ortakatmanı: uygulamaların çalışacağı uygun yerleri bulur. kaynak kullanımını optimize eder. veri yığınlarına etkin erişim sağlar. birçok grid sitesinde kullanılan ortak bir kimlik doğrulama ve yetkilendirme servisi sağlar. işleri çalıştırır ve anlık iş durumunu izlemenize izin verir. işlerin sonuçlarını kullanıcılara taşır.

8 www.grid.org.tr gLite-3.0 Ortakatman Sürümü, Tarihçe 2006 Baharıyla birlikte LCG-2.7.0 ve gLite- 1.5 ortakatman yazılımları gLite-3.0 çatısı altında birleşti: –Üretim seviyesinde altyapıda süreklilik –Uygulamalar tarafından kullanılırlığın sağlanması –İşyükü yönetimine yönelik yeni çalışmalar LCG ve gLite EGEE projesi tarafından geliştirilen Grid ortakatman yazılımlarıdır ve şu an gLite-3.0 birçok proje ve altyapıda kullanılmaktadır. gLite ortakatmanı sürekli güncellemelerle iyileştirilen açık kaynak kodlu bir yazılımdır. LCG-2 prototyping product 2004 2005 product gLite 2006 gLite 3.0

9 www.grid.org.tr Grid Katmanları Grid Uygulama Katmanı Ortak Servisler Temel Grid Servisleri En Alt Seviye Yapı Servisleri Altyapı Taşları Grid Uygulamalar GLOBUS Condor (VDT) UYGULAMALAR ORTAKATMAN

10 www.grid.org.tr Grid Yapıtaşları (Temel Servisler) Gridin kaynaklarını kullanmak istiyorum! Doğru kaynağı nerden bulabilirim? İşimin sonuçlarını depolamak istiyorum! Tüm bu istediklerim güvenli bir ortamda yapılmalı!

11 www.grid.org.tr Sertifika Otoriteleri, Kimlik Doğrulama, Yetkilendirme Kimlik Doğrulama GSI (Grid Security Infrastructure) ve x509 sertifikaları, Sertifika Otoriteleri (CA) – Proxy sertifikaları – MyProxy Sunucusu ve uzun süreli proxy sertifikaları Kabul gören güven ağı: – International Grid Trust Federation (IGTF) » EUGridPMA » APGridPMA » TAGPMA Tüm EGEE siteleri IGTF altındaki CA’lara güvenir. Yetkilendirme VOMS (Virtual Organization Membership Service), sanal organizasyonlar (VO) – Kullanıcıların disiplinlere göre gruplandırılması – Sitelerin VO tabanlı kaynak ayırımı LCG-2.7.0 ortakatmanına kadar sadece grid-mapfile yapısı vardı. – Kullanıcı tabanlı yetkilendirme LCG-2.7.0 ve gLite ile birlikte VO eklentili proxy sertifikaları – VO tabanlı lokal yetkilendirme servisleri TAGPMA APGridPMA The Americas Grid PMA European Grid PMA EUGridPMA Asia- Pacific Grid PMA

12 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR GRİD ORTA KATMANI gLite Ana Servis Tipleri Kullanıcı Arayüzü (UI) Bilgi Servisi (IS) Hesaplama Elemanı (CE) –İş Dağıtıcı –Hesaplama Ucu (WN)  Depolama Elemanı (SE)  Replika Kataloğu (RLS,LFC)  İşyükü Yöneticisi (WMS) Kaynak Aracısı (RB)

13 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Kullanıcı Arayüzü - UI gLite Grid altyapısına giriş kullanıcı arayüzü ile sağlanır. Kullanıcı arayüzünde: –Kullanıcılar kişisel hesaplara sahiptir. –Kullanıcıların sertifikaları yüklüdür. Aşağıdaki işlemleri komut satırı arayüzü sağlar: –Çalıştırılmak üzere iş göndermek –Bir iş için uygun kaynakları göstermek –Dosyaları kopyalamak ve replika etmek –İşleri takip etmek ve iptal etmek –Bitmiş işlerin sonuçlarını almak

14 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Hesaplama Elemanı - CE gLite ortakatman yazılımını kullanan iki tip CE vardır: gLite-CE (yeni tip) ve lcg-CE (eski tip) gLite yapısında hesaplama elemanı homojen hesaplama uçlarına iş gönderir. Bütün gLite siteleri en az bir hesaplama sunucusu (CE) ve arkasında hesaplama uçları (WN) içerir. Sitede hesaplama sunucularından biri Grid kapısı olarak çalışır: –Globus kapısıdır. –Globus GRAM (“Globus Kaynak Ayırma Yöneticisi”) sunucusudur. –Lokal kaynak yönetim sisteminin ana sunucusudur (PBS, LSF, Condor...)

15 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR DEPOLAMA ELEMANI - SE Depolama elemanı, büyük depolama alanlarına düzenli erişim sağlar. Her bir gLite sitesi en az bir depolama elemanı içerir. İki protokol kullanırlar: –Dosya transferi için GSIFTP –Dosya erişimi için RFIO (“Remote File Input/Output”) Depolama kontrol yönetimi: –Dosyalara saydam erişim sağlar –Dosyaların durumunu gösterir –Dosyaların saklanma zamanını takip eder

16 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Veri Yönetimi Servisleri UI SE CE CE Grid Bileşenleri Grid ortamına dosya yükleme Kullanıcının depolama elemanına veri saklaması (Kullanıcı arayüzünden) Uygulamanın depolama elemanına veri saklaması Kullanıcının uygulamayı saklama ihtiyacı (hesaplama ucu tarafından alınıp çalıştırılacak) Küçük dosyalar için işlere ait giriş torbaları (“input sandbox”) kullanılabilir.

17 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Veri Yönetimi Servisleri Grid Ortamından Dosya Alma Kullanıcının depolama elemanından kullanıcı arayüzüne veri alma ihtiyacı –Küçük dosyalar için çıktı torbası (“output sandbox”) kullanılabilir. Uygulamanın depolama elemanından veriyi alıp lokal kullanması Uygulamanın depolama kaynağından alınıp çalıştırılması UI SE CE CE Grid Bileşenleri

18 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Bilgi Servisleri - IS Bilgi servisleri, grid kaynakları ve durumları hakkında bilgi verir. gLite bilgi servisleri, LDAP tabanlıdır. LDAP bilgi modeli kullanıcı, bilgisayar gibi objeler hakkında hızlı bilgi verecek şekilde tasarlanmıştır.

19 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Bilgi Servisleri - IS SE Lokal GRIS SE Lokal GRIS CE Lokal GRIS SE Lokal GRIS CE Lokal GRIS CE Lokal GRIS CE Lokal GRIS SE Lokal GRIS CE Lokal GRIS CE Site GIIS CE Site GIIS CE Site GIIS BDII-A BDII-B Kullanıcı Uygulaması İş Dağıtıcısı İzleme Servisleri

20 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Veri Yönetimi Servisleri Veri yönetimi nedir? –Kullanıcılar ve uygulamalar veri üretirler ve veriye ihtiyaç duyarlar. –Veriler grid dosyaları şeklinde saklanabilirler. –Dizin veya veri yapılandırılması yoktur. Dosya seviyesinde bilgi tutulur. –Kullanıcı ve uygulamaların grid dosyalarını yönetebilmesi gerekir. Kullanıcı ve uygulamalar gLite yapısında verinin yerini bilmek zorunda değildirler. Mantıksal dosya isimleri kullanabilirler. –Globally Unique Identifier (GUID) “guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6” –Site URL (SURL) (or Physical/Site File Name (PFN/SFN)) “sfn://lxshare0209.cern.ch/data/alice/ntuples.dat” –Logical File Name (LFN) “lfn:cms/20030203/run2/track1” –Transport URL (TURL) “gsiftp://lxshare0209.cern.ch//data/alice/ntuples.dat”

21 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR İş Yükü Yönetimi - WMS Kullanıcılar grid ile iş yükü yönetim sistemi ile etkileşirler. İş yükü yönetim sistemi, dağıtık iş planlaması ve kaynak yönetimi sağlar. Kullanıcıların: –İşlerini gönderebilmelerine, –İşlerini en uygun kaynaklarda çalıştırmalarına, –Kaynakların kullanımını da aynı anda optimize etmeye, –İşleri hakkında bilgi almasına, –İşlerinin sonuçlarını almasına sağlar.

22 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR İş Yükü Yönetimi - WMS WMS aşağıdaki parçalardan oluşur: –İş Yükü Yöneticisi: Sistemin ana parçasıdır. –Kaynak Aracısı(RB): Bir işin ihtiyaçlarına göre en uygun kaynakları bulur. –İş Adaptörü: İş, kontrol servisine geçmeden önce ortamı ayarlar. –Kontrol Servisi: İşin gönderilmesi, silinmesi gibi yönetimsel operasyonlardan sorumludur. –Kayıt Tutma: İş hakkında bilgi tutar. İşler iş tanımlama dili JDL (“Job Description Language”) ile tanımlanır. WMS servisinin bir işi çalıştırabilmesi için: –İşin karakteristiğini (basit, MPI, DAG) –Hesaplama ihtiyaçlarını ve seçeneklerini –Yazılım bağımlılıklarını bilmesi gerekir.

23 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Grid Servislerinde İş Akışı UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu

24 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu UI: Komut satırı, GUI, C++, Java API’leri ile kullanıcının iş yükü yönetiminin bütün özelliklerini kullanmasını sağlar. Gönderildi İş Durum u

25 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Grid Servislerinde İş Akışı UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu Gönderildi İş Durum u glite-job-submit myjob.jdl Myjob.jdl JobType = “Normal”; Executable = "sum.exe"; InputSandbox = {"/home/user/sum.exe","/home/file*”, "/home/user/DATA/*"}; OutputSandbox = {“sim.err”, “test.out”, “sim.log"}; Requirements = other. GlueHostOperatingSystemName == “linux“; İş tanımlama dili (JDL) işin ihtiyaçlarını ve karakteristiğini belirler.

26 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Grid Servislerinde İş Akışı UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu İş Durum u RB Deposu Beklemede Gönderildi Giriş Torbasındaki Dosyalar (InputSandbox) İş Ağ sunucusu: Gelen istekleri karşılamakla yükümlüdür.

27 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Grid Servislerinde İş Akışı UI Ağ Sunucusu Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu İş Durum u RB Deposu Beklemede Gönderildi İş Yükü Yöneticisi: İsteği karşılamak için gerekli işlemleri yapmakla sorumludur.

28 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Grid Servislerinde İş Akışı UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu İş Durum u RB Deposu Beklemede Ğönderildi Kaynak Aracısı Gönderilen iş nerede çalışmalı ?

29 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Grid Servislerinde İş Akışı UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgi ve durumu SE bilgi ve durumu İş Durum u RB deposu Beklemede Gönderildi Kaynak Aracısı Kaynak Aracısı: İşin gönderileceği en uygun CE servisini bulur.

30 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Grid Servislerinde İş Akışı UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE characts & status SE characts & status İş Durum u RB Deposu Beklemede Ğönderildi Kaynak Aracısı İhtiyaç duyulan veriler nerede? Grid'in durumu nedir ?

31 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Grid Servislerinde İş Akışı UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu İş Durum u RB Deposu Beklemede Gönderildi Kaynak Aracısı CE seçimi

32 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Grid Servislerinde İş Akışı UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu İş Durum u RB Deposu Beklemede Gönderildi İş Adaptörü İş Adaptörü: İş gönderilmeden önce son işlemleri yapmakla sorumludur (Gerekli ön işleme betiklerinin yaratılması...).

33 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Grid Servislerinde İş Akışı UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu İş Durum u RB Deposu Kontrol Servisi: Gerçek iş yönetimi işlemlerinden sorumludur. Ğönderildi Beklemede Hazır

34 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Grid Servislerinde İş Akışı UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu Job Status RB Deposu İş Giriş Torbası Dosyaları Gönderildi Beklemede Hazır Planlandı

35 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Grid Servislerinde İş Akışı UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS İş Durum u RB Deposu Gönderildi Beklemede Hazır Planlandı Çalışıyor Grid olanaklı veri transferleri İş

36 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Grid Servislerinde İş Akışı UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS İş Durum u RB Deposu Çıkış Torbası Dosyaları Gönderildi Beklemede Hazır Planlandı Çalışıyor Bitti

37 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Grid Servislerinde İş Akışı UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS İş Durum u RB Deposu Gönderildi Beklemede Hazır Planlandı Çalışıyor Bitti glite-job-output

38 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR Grid Servislerinde İş Akışı UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS İş Durum u RB Deposu Gönderildi Beklemede Hazır Planlandı Çalışıyor Bitti Çıkış Torbası Dosyaları Temizlendi

39 İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR SORULAR ? Emrah AKKOYUN TÜBİTAK-ULAKBİM NOT: Bu sunum ULAKBİM tarafından organize edilmis diğer etkinliklerde kullanılan dökümanlardan derlenmiştir.