Sunum yükleniyor. Lütfen bekleyiniz

Sunum yükleniyor. Lütfen bekleyiniz

gLite Grid Servisleri Aslı Zengin – Onur Temizsoylu –

Benzer bir sunumlar


... konulu sunumlar: "gLite Grid Servisleri Aslı Zengin – Onur Temizsoylu –"— Sunum transkripti:

1 gLite Grid Servisleri Aslı Zengin – Onur Temizsoylu –

2 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM2/39 Grid

3 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM3/39 gLite Mimarisi Ortak Servisler Bilgi ve İzleme Replika Yönetimi Grid Planlayıcıs ı Grid Planlayıcıs ı Uygulam a Veritaban ı Alt Katman Grid Servisleri CE Servisleri CE Servisleri Yetkilendirm e ve Raporlama Replika Kataloğu Replika Kataloğu SE Servisleri SE Servisleri Veritabanı Servisleri Veritabanı Servisleri Yapı Servisleri Yapılandırm a Yönetimi Yapılandırm a Yönetimi Sunucu Kurulum Yönetimi Sunucu Kurulum Yönetimi İzleme ve Sorun Giderme Kaynak Yönetimi Kaynak Yönetimi Depolama Yönetimi Grid Yapı Lokal Hesaplama Grid Grid Uygulama Katmanı Veri Yönetimi (DM) Veri Yönetimi (DM) İş Yönetimi (WMS) İş Yönetimi (WMS) Meta Yönetimi Meta Yönetimi Kütük

4 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM4/39 gLite Ana Servis Tipleri Kullanıcı Arayüzü (UI) Bilgi Servisi (IS) Hesaplama Elemanı (CE) İş Dağıtıcı Hesaplama Ucu (WN)  Depolama Elemanı (SE)  Replika Kataloğu (RLS,LFC)  İşyükü Yöneticisi (WMS) Kaynak Aracısı (RB)

5 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM5/39 gLite Servis Tipleri - UI – Kullanıcı Arayüzü - gLite Grid altyapısına giriş kullanıcı arayüzü ile sağlanır. Kullanıcı arayüzünde: Kullanıcılar kişisel hesaplara sahiptir. Kullanıcıların sertifikaları yüklüdür. Aşağıdaki işlemleri komut satırı arayüzü sağlar: Çalıştırılmak üzere iş göndermek Bir iş için uygun kaynakları göstermek Dosyaları kopyalamak ve replika etmek İşleri takip etmek ve iptal etmek Bitmiş işlerin sonuçlarını almak

6 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM6/39 gLite Ana Servis Tipleri Kullanıcı Arayüzü (UI) Bilgi Servisi (IS) Hesaplama Elemanı (CE) İş Dağıtıcı Hesaplama Ucu (WN)  Depolama Elemanı (SE)  Replika Kataloğu (RLS,LFC)  İşyükü Yöneticisi (WMS) Kaynak Aracısı (RB)

7 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM7/39 gLite Servis Tipleri - CE – Hesaplama Elemanı - gLite ortakatman yazılımını kullanan iki tip CE vardır: gLite-CE (yeni tip) ve lcg-CE (eski tip) gLite yapısında hesaplama elemanı homojen hesaplama uçlarına iş gönderir. Bütün gLite siteleri en az bir hesaplama sunucusu (CE) ve arkasında hesaplama uçları (WN) içerir. Sitede hesaplama sunucularından biri Grid kapısı olarak çalışır: Globus kapısıdır. Globus GRAM (“Globus Kaynak Ayırma Yöneticisi”) sunucusudur. Lokal kaynak yönetim sisteminin ana sunucusudur (PBS, LSF, Condor...). İş kuyrukları ve hesaplama sunucusu isimleri ayrı hesaplama elemanı kuyruklarını tanımlar: lcg-CE için: ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-dteam glite-CE için: glitece.ulakbim.gov.tr:2119/blah-pbs-sgdemo

8 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM8/39 gLite Servis Tipleri - CE – Hesaplama Elemanı - Hesaplama Ucu (WN) … Grid Kapısı gatekeeper Bilgi Servisi Hesaplama Ucu (WN) Hesaplama Ucu (WN) Hesaplama Ucu (WN) Kuyruk Sunucusu

9 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM9/39 gLite Ana Servis Tipleri Kullanıcı Arayüzü (UI) Bilgi Servisi (IS) Hesaplama Elemanı (CE) İş Dağıtıcı Hesaplama Ucu (WN)  Depolama Elemanı (SE)  Replika Kataloğu (RLS,LFC)  İşyükü Yöneticisi (WMS) Kaynak Aracısı (RB)

10 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM10/39 gLite Servis Tipleri - SE – Depolama Elemanı - Depolama elemanı, büyük depolama alanlarına düzenli erişim sağlar. Her bir gLite sitesi en az bir depolama elemanı içerir. İki protokol kullanırlar: Dosya transferi için GSIFTP Dosya erişimi için RFIO (“Remote File Input/Output”) Depolama kontrol yönetimi: Dosyalara saydam erişim sağlar Dosyaların durumunu gösterir Dosyaların saklanma zamanını takip eder Disk ve teyp kaynakları tek bir depolama elemanı olarak gösterilebilir.

11 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM11/39 gLite Servis Tipleri - Veri Yönetimi Servisleri - UI SE CE CE Grid Bileşenleri Grid ortamına dosya yükleme Kullanıcının depolama elemanına veri saklaması (Kullanıcı arayüzünden) Uygulamanın depolama elemanına veri saklaması Kullanıcının uygulamayı saklama ihtiyacı (hesaplama ucu tarafından alınıp çalıştırılacak) Küçük dosyalar için işlere ait giriş torbaları (“input sandbox”) kullanılabilir.

12 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM12/39 Grid Ortamından Dosya Alma Kullanıcının depolama elemanından kullanıcı arayüzüne veri alma ihtiyacı Küçük dosyalar için çıktı torbası (“output sandbox”) kullanılabilir. Uygulamanın depolama elemanından veriyi alıp lokal kullanması Uygulamanın depolama kaynağından alınıp çalıştırılması gLite Servis Tipleri - Veri Yönetimi Servisleri - UI SE CE CE Grid Bileşenleri

13 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM13/39 Veri Replikasyonu Hesaplama kaynaklarının yük dengelemesi Genellikle işler verinin hali hazırda var olduğu sitelerde çalışır. Veriye ulaşımda performansı arttırma Birçok uygulama aynı dosyaya erişme ihtiyacı duyabilir. Kritik dosyaların yedeklenmesi LCG-2 Servis Tipleri - Veri Yönetimi Servisleri - UI SE CE CE Grid Bileşenleri

14 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM14/39 gLite Ana Servis Tipleri Kullanıcı Arayüzü (UI) Bilgi Servisi (IS) Hesaplama Elemanı (CE) İş Dağıtıcı Hesaplama Ucu (WN)  Depolama Elemanı (SE)  Replika Kataloğu (RLS,LFC)  İşyükü Yöneticisi (WMS) Kaynak Aracısı (RB)

15 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM15/39 gLite Servis Tipleri - IS – Bilgi Servisi - Bilgi servisleri, grid kaynakları ve durumları hakkında bilgi verir. gLite bilgi servisleri, LDAP tabanlıdır. LDAP bilgi modeli kullanıcı, bilgisayar gibi objeler hakkında hızlı bilgi verecek şekilde tasarlanmıştır.

16 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM16/39 gLite Servis Tipleri - IS – Bilgi Servisi - SE Lokal GRIS SE Lokal GRIS CE Lokal GRIS SE Lokal GRIS CE Lokal GRIS CE Lokal GRIS CE Lokal GRIS SE Lokal GRIS CE Lokal GRIS CE Site GIIS CE Site GIIS CE Site GIIS BDII-A BDII-B Kullanıcı Uygulaması İş Dağıtıcısı İzleme Servisleri

17 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM17/39 gLite Servis Tipleri - IS – Bilgi Servisi - IS servisleri üç ana aşamada bulunabilir: GRIS: CE ve SE sunucularında bulunur. Lokal bilgi verir. GIIS: Sitenin üstünde bulunur ve ilgili site hakkında bilgi verir. Üst seviye bilgi servisleri Grid altyapısının geneli hakkında bilgi verir. GRIS Globus MDS (“Monitoring and Discovery”) servisini, diğerleri ise BDII (“Berkeley DB Information Index”) servisini kullanır. BDII bütün GIIS servislerini iki dakikada bir tarar. GIIS servisleri kendi altındaki bütün GRIS servislerini tarar. Bütün kullanıcılar katalogları tarayabilir.

18 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM18/39 gLite Ana Servis Tipleri Kullanıcı Arayüzü (UI) Bilgi Servisi (IS) Hesaplama Elemanı (CE) İş Dağıtıcı Hesaplama Ucu (WN)  Depolama Elemanı (SE)  Replika Kataloğu (RLS,LFC)  İşyükü Yöneticisi (WMS) Kaynak Aracısı (RB)

19 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM19/39 gLite Servis Tipleri - Veri Yönetimi Servisleri - Veri yönetimi nedir? Kullanıcılar ve uygulamalar veri üretirler ve veriye ihtiyaç duyarlar. Veriler grid dosyaları şeklinde saklanabilirler. Dizin veya veri yapılandırılması yoktur. Dosya seviyesinde bilgi tutulur. Kullanıcı ve uygulamaların grid dosyalarını yönetebilmesi gerekir. Kullanıcı ve uygulamalar gLite yapısında verinin yerini bilmek zorunda değildirler. Mantıksal dosya isimleri kullanabilirler. Globally Unique Identifier (GUID) “guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6” Site URL (SURL) (or Physical/Site File Name (PFN/SFN)) “sfn://lxshare0209.cern.ch/data/alice/ntuples.dat” Logical File Name (LFN) “lfn:cms/ /run2/track1” Transport URL (TURL) “gsiftp://lxshare0209.cern.ch//data/alice/ntuples.dat”

20 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM20/39 gLite Ana Servis Tipleri Kullanıcı Arayüzü (UI) Bilgi Servisi (IS) Hesaplama Elemanı (CE) İş Dağıtıcı Hesaplama Ucu (WN)  Depolama Elemanı (SE)  Replika Kataloğu (RLS,LFC)  İşyükü Yöneticisi (WMS) Kaynak Aracısı (RB)

21 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM21/39 gLite Servis Tipleri - WMS – İş yükü Yönetimi - Kullanıcılar grid ile iş yükü yönetim sistemi ile etkileşirler. İş yükü yönetim sistemi, dağıtık iş planlaması ve kaynak yönetimi sağlar. Kullanıcıların: İşlerini gönderebilmelerine, İşlerini en uygun kaynaklarda çalıştırmalarına, Kaynakların kullanımını da aynı anda optimize etmeye, İşleri hakkında bilgi almasına, İşlerinin sonuçlarını almasına sağlar.

22 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM22/39 gLite Servis Tipleri - İş Yükü Yönetim Sistemi (WMS) - WMS aşağıdaki parçalardan oluşur: İş Yükü Yöneticisi: Sistemin ana parçasıdır. Kaynak Aracısı(RB): Bir işin ihtiyaçlarına göre en uygun kaynakları bulur. İş Adaptörü: İş, kontrol servisine geçmeden önce ortamı ayarlar. Kontrol Servisi: İşin gönderilmesi, silinmesi gibi yönetimsel operasyonlardan sorumludur. Kayıt Tutma: İş hakkında bilgi tutar. İşler iş tanımlama dili JDL (“Job Description Language”) ile tanımlanır. WMS servisinin bir işi çalıştırabilmesi için: İşin karakteristiğini (basit, MPI, DAG) Hesaplama ihtiyaçlarını ve seçeneklerini Yazılım bağımlılıklarını bilmesi gerekir.

23 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM23/39 UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu

24 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM24/39 UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu UI: Komut satırı, GUI, C++, Java API’leri ile kullanıcının iş yükü yönetiminin bütün özelliklerini kullanmasını sağlar. Gönderildi İş Durum u

25 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM25/39 UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu Gönderildi İş Durum u glite-job-submit myjob.jdl Myjob.jdl JobType = “Normal”; Executable = "sum.exe"; InputSandbox = {"/home/user/sum.exe","/home/file*”, "/home/user/DATA/*"}; OutputSandbox = {“sim.err”, “test.out”, “sim.log"}; Requirements = other. GlueHostOperatingSystemName == “linux“; İş tanımlama dili (JDL) işin ihtiyaçlarını ve karakteristiğini belirler.

26 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM26/39 UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu İş Durum u RB Deposu Beklemede Gönderildi Giriş Torbasındaki Dosyalar (InputSandbox) İş Ağ sunucusu: Gelen istekleri karşılamakla yükümlüdür.

27 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM27/39 UI Ağ Sunucusu Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu İş Durum u RB Deposu Beklemede Gönderildi İş Yükü Yöneticisi: İsteği karşılamak için gerekli işlemleri yapmakla sorumludur.

28 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM28/39 UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu İş Durum u RB Deposu Beklemede Ğönderildi Kaynak Aracısı Gönderilen iş nerede çalışmalı ?

29 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM29/39 UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgi ve durumu SE bilgi ve durumu İş Durum u RB deposu Beklemede Gönderildi Kaynak Aracısı Kaynak Aracısı: İşin gönderileceği en uygun CE servisini bulur.

30 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM30/39 UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE characts & status SE characts & status İş Durum u RB Deposu Beklemede Ğönderildi Kaynak Aracısı İhtiyaç duyulan veriler nerede? Grid'in durumu nedir ?

31 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM31/39 UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu İş Durum u RB Deposu Beklemede Gönderildi Kaynak Aracısı CE seçimi

32 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM32/39 UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu İş Durum u RB Deposu Beklemede Gönderildi İş Adaptörü İş Adaptörü: İş gönderilmeden önce son işlemleri yapmakla sorumludur (Gerekli ön işleme betiklerinin yaratılması...).

33 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM33/39 UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu İş Durum u RB Deposu Kontrol Servisi: Gerçek iş yönetimi işlemlerinden sorumludur. Ğönderildi Beklemede Hazır

34 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM34/39 UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS CE bilgisi ve durumu SE bilgisi ve durumu Job Status RB Deposu İş Giriş Torbası Dosyaları Gönderildi Beklemede Hazır Planlandı

35 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM35/39 UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS İş Durum u RB Deposu Gönderildi Beklemede Hazır Planlandı Çalışıyor Grid olanaklı veri transferleri İş

36 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM36/39 UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS İş Durum u RB Deposu Çıkış Torbası Dosyaları Gönderildi Beklemede Hazır Planlandı Çalışıyor Bitti

37 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM37/39 UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS İş Durum u RB Deposu Gönderildi Beklemede Hazır Planlandı Çalışıyor Bitti glite-job-output

38 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM38/39 UI Ağ Sunucus u Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı WMS İş Durum u RB Deposu Gönderildi Beklemede Hazır Planlandı Çalışıyor Bitti Çıkış Torbası Dosyaları Temizlendi

39 2. Ulusal Grid Çalıştayı, 1-2 Mart 2007 – ULAKBİM39/39 Teşekkürler...


"gLite Grid Servisleri Aslı Zengin – Onur Temizsoylu –" indir ppt

Benzer bir sunumlar


Google Reklamları