TÜBİTAK ULAKBİM YÜKSEK BAŞARIMLI BİLGİ İŞLEM MERKEZİ Küme Bilgisayarlar ve GRID Servisleri Onur Temizsoylu TÜBİTAK ULAKBİM

Ulusal Grid Çalıştayı Eylül 2005 Ankara2 LCG - LHC Grid LHC CERN’de üretimi süren “Large Hadron Collider” parçacık hızlandırıcısının kısaltmasıdır. LHC 2007 senesinde operasyona geçecektir. Deneyler senede 5-6 Petabyte veri toplayacaktır. LHC Grid bu büyük veriye depolama ve hesaplama kaynağı sağlamak için oluşturulmuştur. Şu anki orta katman yazılımı LCG-2’dir. Avrupa DataGrid ve A.B.D. Gryphin projelerini temel alarak geliştirilmiştir. LCG-2 EGEE projesinin ilk altyapısını oluşturmuştur.

Ulusal Grid Çalıştayı Eylül 2005 Ankara3 EGEE Uygulamalar Akademik Ağlar Grid Altyapısı EGEE (“Enabling Grids for e-Science in Europe”) bilimsel araştırmaların desteklenmesi için kurulmuş benzeri görülmemiş bir grid altyapısıdır: Ulusal, bölgesel ve tematik grid çabalarını birleştirir. Araştırmacılara coğrafi yerlerinden bağımsız olarak inanılmaz kaynaklar sağlamaktadır.

Ulusal Grid Çalıştayı Eylül 2005 Ankara4 EGEE Altyapısı

Ulusal Grid Çalıştayı Eylül 2005 Ankara5 EGEE Bölgesel olarak birleşen 27 ülkeden 70 enstitü 32 M€’su AB’den gelen 100 M€ bütçe 300 tam zamanlı çalışan 2004 Nisan ayında başladı Nisan ayında ikinci fazına geçilecek Şu an işlemci ve 5 Pbyte depolama kaynağına sahip

Ulusal Grid Çalıştayı Eylül 2005 Ankara6 Küme Bilgisayarlar - Sınıflandırma - Ağ Mimarisi Tek ArayüzEş Görevli Sistem Mimarisi Senkron Disk Lokal DiskNFS Senkronizasyon Yazılımı “Batch” “Preemptive” “Fine Grained”

Ulusal Grid Çalıştayı Eylül 2005 Ankara7 Küme Bilgisayarlar - Bileşenler - Yazılım -

Ulusal Grid Çalıştayı Eylül 2005 Ankara8 Küme Bilgisayarlar - Bileşenler - Donanım -

Ulusal Grid Çalıştayı Eylül 2005 Ankara9 Küme Bilgisayarlar - Kuyruk Sistemi - Planlayıcı Hesaplama Kaynakları Kuyruk A Kuyruk B Kuyruk C Kuyruk D B CD A Kuyruk Sistemi

Ulusal Grid Çalıştayı Eylül 2005 Ankara10 Küme Bilgisayarlar - Örnek: Deniz -

Ulusal Grid Çalıştayı Eylül 2005 Ankara11 Grid

Ulusal Grid Çalıştayı Eylül 2005 Ankara12 Grid Neler Sağlar? Nerede ise sınırsız olanaklar sağlayan dünya genelinde sanal bir hesaplama laboratuvarı Dünyada dağılmış araştırma gruplarını sanal organizasyonlar altında toplayabilme imkanı Dağıtık veriye saydam erişim ve kolay iş dağıtımı Kullanımı kolay uygulama arayüzleri

Ulusal Grid Çalıştayı Eylül 2005 Ankara13 Grid Yapısının Özellikleri Sayısız Kaynaklar Farklı organizasyonlar veya kişiler tarafından işletilirler. Kaynaklar sorun her an çıkartabilir Farklı güvenlik önlemleri ve politikaları gerekir. Kaynaklar Heterojendir Coğrafi olarak dağıtıktır Farklı kaynak yönetim politikaları vardır Heterojen, çok katmanlı ağlar ile bağlıdırlar

Ulusal Grid Çalıştayı Eylül 2005 Ankara14 LCG-2 Mimarisi Ortak Servisler Bilgi ve İzleme Replika Yönetimi Grid Planlayıcısı Grid Planlayıcısı Uygulama Veritabanı Alt Katman Grid Servisleri CE Servisleri CE Servisleri Yetkilendirme ve Raporlama Replika Kataloğu Replika Kataloğu SE Servisleri SE Servisleri Veritabanı Servisleri Veritabanı Servisleri Yapı Servisleri Yapılandırma Yönetimi Yapılandırma Yönetimi Sunucu Kurulum Yönetimi Sunucu Kurulum Yönetimi İzleme ve Sorun Giderme Kaynak Yönetimi Kaynak Yönetimi Depolama Yönetimi Grid Yapı Lokal Hesaplama Grid Grid Uygulama Katmanı Veri Yönetimi Veri Yönetimi İş Yönetimi İş Yönetimi Meta Yönetimi Meta Yönetimi Kütük

Ulusal Grid Çalıştayı Eylül 2005 Ankara15 LCG-2 Ana Servis Tipleri Kullanıcı Arayüzü (UI) Bilgi Servisi (IS) Hesaplama Elemanı (CE) İş Dağıtıcı Hesaplama Ucu (WN)  Depolama Elemanı (SE)  Replika Kataloğu (RLS,LFC)  Kaynak Aracısı (RB)

Ulusal Grid Çalıştayı Eylül 2005 Ankara16 LCG-2 Servis Tipleri - UI – Kullanıcı Arayüzü - LCG-2 Grid altyapısına giriş kullanıcı arayüzü ile sağlanır. Kullanıcı arayüzünde: Kullanıcılar kişisel hesaplara sahiptir. Kullanıcıların sertifikaları yüklüdür. Aşağıdaki işlemlere komut satırı arayüzü sağlar: Çalıştırılmak üzere iş gönderme Bir iş için uygun kaynakları gösterme Dosyaları kopyalamak ve replika etmek İşleri takip etmek ve iptal etmek Bitmiş işlerin sonuçlarını almak

Ulusal Grid Çalıştayı Eylül 2005 Ankara17 LCG-2 Ana Servis Tipleri Kullanıcı Arayüzü (UI) Bilgi Servisi (IS) Hesaplama Elemanı (CE) İş Dağıtıcı Hesaplama Ucu (WN)  Depolama Elemanı (SE)  Replika Kataloğu (RC,LFC)  Kaynak Aracısı (RB)

Ulusal Grid Çalıştayı Eylül 2005 Ankara18 LCG-2 Servis Tipleri - CE – Hesaplama Elemanı - LCG-2 yapısında hesaplama elemanı homojen hesaplama uçlarına iş gönderir. Bütün LCG-2 siteleri en az bir hesaplama sunucusu ve arkasında hesaplama uçları içerir. Uçlardan biri Grid kapısı olarak çalışır: Globus kapısıdır. Globus GRAM (“Globus Kaynak Ayırma Yöneticisi”) sunucusudur. Lokal kaynak yönetim sisteminin ana sunucusudur (PBS, LSF, Condor...). İş kuyrukları ve hesaplama sunucusu isimleri ayrı hesaplama elemanı kuyruklarını tanımlar: ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-dteam ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-seegrid

Ulusal Grid Çalıştayı Eylül 2005 Ankara19 LCG-2 Servis Tipleri - CE – Hesaplama Elemanı - Hesaplama Ucu … Grid Kapısı gatekeeper Bilgi Servisi Hesaplama Ucu Hesaplama Ucu Hesaplama Ucu Kuyruk Sunucusu

Ulusal Grid Çalıştayı Eylül 2005 Ankara20 LCG-2 Ana Servis Tipleri Kullanıcı Arayüzü (UI) Bilgi Servisi (IS) Hesaplama Elemanı (CE) İş Dağıtıcı Hesaplama Ucu (WN)  Depolama Elemanı (SE)  Replika Kataloğu (RLS,LFC)  Kaynak Aracısı (RB)

Ulusal Grid Çalıştayı Eylül 2005 Ankara21 LCG-2 Servis Tipleri - SE – Depolama Elemanı - Depolama elemanı, büyük depolama alanlarına düzenli erişim sağlar. Her bir LCG-2 sitesi en az bir depolama elemanı içerir. İki protokol kullanırlar: Dosya transferi için GSIFTP Dosya erişimi için RFIO (“Remote File Input/Output”) Depolama kontrol yönetimi: Dosyalara saydam erişim sağlar Dosyaların durumunu gösterir Dosyaların saklanma zamanını takip eder Disk ve teyp kaynakları tek bir depolama elemanı olarak gösterilebilir.

Ulusal Grid Çalıştayı Eylül 2005 Ankara22 LCG-2 Servis Tipleri - Veri Yönetimi Servisleri - UI SE CE CE Grid Bileşenleri Grid ortamına dosya yükleme Kullanıcının depolama elemanına veri saklaması (Kullanıcı arayüzünden) Uygulamanın depolama elemanına veri saklaması Kullanıcının uygulamayı saklama ihtiyacı (hesaplama ucu tarafından alınıp çalıştırılacak) Küçük dosyalar için işlere ait giriş torbaları (“input sandbox”) kullanılabilir.

Ulusal Grid Çalıştayı Eylül 2005 Ankara23 Grid Ortamından Dosya Alma Kullanıcının depolama elemanından kullanıcı arayüzüne veri alma ihtiyacı Küçük dosyalar için çıktı torbası (“output sandbox”) kullanılabilir. Uygulamanın depolama elemanından veriyi alıp lokal kullanması Uygulamanın depolama kaynağından alınıp çalıştırılması LCG-2 Servis Tipleri - Veri Yönetimi Servisleri - UI SE CE CE Grid Bileşenleri

Ulusal Grid Çalıştayı Eylül 2005 Ankara24 Veri Replikasyonu Hesaplama kaynaklarının yük dengelemesi Genellikle işler verinin hali hazırda var olduğu sitelerde çalışır. Veriye ulaşımda performansı arttırma Birçok uygulama aynı dosyaya erişme ihtiyacı duyabilir. Kritik dosyaların yedeklenmesi LCG-2 Servis Tipleri - Veri Yönetimi Servisleri - UI SE CE CE Grid Bileşenleri

Ulusal Grid Çalıştayı Eylül 2005 Ankara25 LCG-2 Ana Servis Tipleri Kullanıcı Arayüzü (UI) Bilgi Servisi (IS) Hesaplama Elemanı (CE) İş Dağıtıcı Hesaplama Ucu (WN)  Depolama Elemanı (SE)  Replika Kataloğu (RLS,LFC)  Kaynak Aracısı (RB)

Ulusal Grid Çalıştayı Eylül 2005 Ankara26 LCG-2 Servis Tipleri - IS – Bilgi Servisi - Bilgi servisleri, grid kaynakları ve durumları hakkında bilgi verir. LCG-2 bilgi servisleri, LDAP tabanlıdır. LDAP bilgi modeli kullanıcı, bilgisayar gibi objeler hakkında hızlı bilgi verecek şekilde tasarlanmıştır.

Ulusal Grid Çalıştayı Eylül 2005 Ankara27 LCG-2 Servis Tipleri - IS – Bilgi Servisi - SE Lokal GRIS SE Lokal GRIS CE Lokal GRIS SE Lokal GRIS CE Lokal GRIS CE Lokal GRIS CE Lokal GRIS SE Lokal GRIS CE Lokal GRIS CE Site GIIS CE Site GIIS CE Site GIIS BDII-A BDII-B Kullanıcı Uygulaması İş Dağıtıcısı İzleme Servisleri

Ulusal Grid Çalıştayı Eylül 2005 Ankara28 LCG-2 Servis Tipleri - IS – Bilgi Servisi - IS servisleri üç ana aşamada bulunabilir: GRIS: CE ve SE sunucularında bulunur. Lokal bilgi verir. GIIS: Sitenin üstünde bulunur ve ilgili site hakkında bilgi verir. Üst seviye bilgi servisleri LCG-2 geneli hakkında bilgi verir. GRIS Globus MDS (“Monitoring and Discovery”) servisini, diğerleri ise BDII (“Berkeley DB Information Index”) kullanır. BDII bütün GIIS servislerini iki dakikada bir tarar. GIIS servisleri kendi altındaki bütün GRIS servislerini tarar. Bütün kullanıcılar katalogları tarayabilir.

Ulusal Grid Çalıştayı Eylül 2005 Ankara29 LCG-2 Ana Servis Tipleri Kullanıcı Arayüzü (UI) Bilgi Servisi (IS) Hesaplama Elemanı (CE) İş Dağıtıcı Hesaplama Ucu (WN)  Depolama Elemanı (SE)  Replika Kataloğu (RLS,LFC)  Kaynak Aracısı (RB)

Ulusal Grid Çalıştayı Eylül 2005 Ankara30 LCG-2 Servis Tipleri - Veri Yönetimi Servisleri - Veri yönetimi nedir? Kullanıcılar ve uygulamalar veri üretirler ve veriye ihtiyaç duyarlar. Veriler grid dosyaları şeklinde saklanabilirler. Dizin veya veri yapılandırılması yoktur. Dosya seviyesinde bilgi tutulur. Kullanıcı ve uygulamaların grid dosyalarını yönetebilmesi gerekir. Kullanıcı ve uygulamalar LCG-2 yapısında verinin yerini bilmezler. Mantıksal dosya isimleri kullanırlar. Globally Unique Identifier (GUID) “guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6” Site URL (SURL) (or Physical/Site File Name (PFN/SFN)) “sfn://lxshare0209.cern.ch/data/alice/ntuples.dat” Logical File Name (LFN) “lfn:cms/ /run2/track1” Transport URL (TURL) “gsiftp://lxshare0209.cern.ch//data/alice/ntuples.dat”

Ulusal Grid Çalıştayı Eylül 2005 Ankara31 LCG-2 Servis Tipleri - Replika Kataloğu – LFC (“LCG File Catalog”) - GUID Xxxxxx-xxxx-xxx-xxx- Sistem Meta Verisi “size” => “cksum_type” => “MD5” “cksum” => “yy-yy-yy” Sembolik Bağlantı /grid/dteam/mydir/mylink Replika srm://host.example.com/foo/bar host.example.com Replika srm://host.example.com/foo/bar host.example.com Replia srm://host.example.com/foo/bar host.example.com Replika srm://host.example.com/foo/bar host.example.com Symlink /grid/dteam/mydir/mylink Sembolik Bağlantı /grid/dteam/mydir/mylink LFN / grid/dteam/dir1/dir2/file1.root Kullanıcı Meta Verisi Kullanıcı Tanımlı Meta Veri

Ulusal Grid Çalıştayı Eylül 2005 Ankara32 LCG-2 Ana Servis Tipleri Kullanıcı Arayüzü (UI) Bilgi Servisi (IS) Hesaplama Elemanı (CE) İş Dağıtıcı Hesaplama Ucu (WN)  Depolama Elemanı (SE)  Replika Kataloğu (RLS,LFC)  Kaynak Aracısı (RB)

Ulusal Grid Çalıştayı Eylül 2005 Ankara33 LCG-2 Servis Tipleri - RB – Kaynak Aracısı - Kullanıcılar grid ile iş yükü yönetim sistemi ile etkileşirler. İş yükü yönetim sistemi, dağıtık iş planlaması ve kaynak yönetimi sağlar. Kullanıcıların: İşlerini gönderebilmelerine, İşlerini en uygun kaynaklarda çalıştırmalarına, Kaynakların kullanımını da aynı anda optimize etmeye, İşleri hakkında bilgi almasına, İşlerinin sonuçlarını almasına sağlar.

Ulusal Grid Çalıştayı Eylül 2005 Ankara34 LCG-2 Servis Tipleri - RB – İş Yükü Yönetim Sistemi (WMS) - WMS aşağıdaki parçalardan oluşur: İş Yükü Yöneticisi: Sistemin ana parçasıdır. Kaynak Aracısı: Bir işin ihtiyaçlarına göre en uygun kaynakları bulur. İş Adaptörü: İş, kontrol servisine geçmeden önce ortamı ayarlar. Kontrol Servisi: İşin gönderilmesi, silinmesi gibi yönetimsel operasyonlardan sorumludur. Kayıt Tutma: İş hakkında bilgi tutar. İşler iş tanım dili JDL (“Job Description Language”) ile tanımlanır. WMS servisinin bir işi çalıştırabilmesi için: İşin karakteristiğini (basit, MPI, DAG) Hesaplama ihtiyaçlarını ve seçeneklerini Yazılım bağımlılıklarını bilmesi gerekir.

Ulusal Grid Çalıştayı Eylül 2005 Ankara35 UI Ağ Sunucusu Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı RB CE bilgisi ve durumu SE bilgisi ve durumu

Ulusal Grid Çalıştayı Eylül 2005 Ankara36 UI Ağ Sunucusu Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı RB CE bilgisi ve durumu SE bilgisi ve durumu UI: Komut satırı, GUI, C++, Java API’leri ile kullanıcının iş yükü yönetimin bütün özelliklerini kullanmasını sağlar. Gönderildi İş Durumu

Ulusal Grid Çalıştayı Eylül 2005 Ankara37 UI Ağ Sunucusu Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı RB CE bilgisi ve durumu SE bilgisi ve durumu Gönderildi İş Durumu edg-job-submit myjob.jdl Myjob.jdl JobType = “Normal”; Executable = "$(CMS)/exe/sum.exe"; InputSandbox = {"/home/user/WP1testC","/home/file*”, "/home/user/DATA/*"}; OutputSandbox = {“sim.err”, “test.out”, “sim.log"}; Requirements = other. GlueHostOperatingSystemName == “linux" && other.GlueCEPolicyMaxWallClockTime > 10000; Rank = other.GlueCEStateFreeCPUs; İş tanımlama dili (JDL) işin ihtiyaçlarını ve karakteristiğini belirler.

Ulusal Grid Çalıştayı Eylül 2005 Ankara38 UI Ağ Sunucusu Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı RB CE bilgisi ve durumu SE bilgisi ve durumu İş Durumu RB Deposu Beklemede Gönderildi Giriş Torbasındaki Dosyalar İş Ağ sunucusu: Gelen istekleri karşılamakla yükümlüdür.

Ulusal Grid Çalıştayı Eylül 2005 Ankara39 UI Ağ Sunucusu Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı RB CE bilgisi ve durumu SE bilgisi ve durumu İş Durumu RB Deposu Beklemede Gönderildi İş Yükü Yöneticisi: İsteği karşılamak için gerekli işlemleri yapmakla sorumludur.

Ulusal Grid Çalıştayı Eylül 2005 Ankara40 UI Ağ Sunucusu Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı RB CE bilgisi ve durumu SE bilgisi ve durumu İş Durumu RB Deposu Beklemede Ğönderildi Kaynak Aracısı Gönderilen iş nerede çalışmalı ?

Ulusal Grid Çalıştayı Eylül 2005 Ankara41 UI Ağ Sunucusu Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı RB CE bilgi ve durumu SE bilgi ve durumu İş Durumu RB deposu Beklemede Gönderildi Kaynak Aracısı Kaynak Aracısı: İşin gönderileceği en uygun CE servisini bulur.

Ulusal Grid Çalıştayı Eylül 2005 Ankara42 UI Ağ Sunucusu Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı RB CE characts & status SE characts & status İş Durumu RB Deposu Beklemede Ğönderildi Kaynak Aracısı İhtiyaç duyulan veriler nerede? Grid'in durumu nedir ?

Ulusal Grid Çalıştayı Eylül 2005 Ankara43 UI Ağ Sunucusu Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı RB CE bilgisi ve durumu SE bilgisi ve durumu İş Durumu RB Deposu Beklemede Gönderildi Kaynak Aracısı CE seçimi

Ulusal Grid Çalıştayı Eylül 2005 Ankara44 UI Ağ Sunucusu Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı RB CE bilgisi ve durumu SE bilgisi ve durumu İş Durumu RB Deposu Beklemede Gönderildi İş Adaptörü İş Adaptörü: İş gönderilmeden önce son işlemleri yapmakla sorumludur (Gerekli ön işleme betiklerinin yaratılması...).

Ulusal Grid Çalıştayı Eylül 2005 Ankara45 UI Ağ Sunucusu Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı RB CE bilgisi ve durumu SE bilgisi ve durumu İş Durumu RB Deposu Kontrol Servisi: Gerçek iş yönetimi işlemlerinden sorumludur. Ğönderildi Beklemede Hazır

Ulusal Grid Çalıştayı Eylül 2005 Ankara46 UI Ağ Sunucusu Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı RB CE bilgisi ve durumu SE bilgisi ve durumu Job Status RB Deposu İş Giriş Torbası Dosyaları Gönderildi Beklemede Hazır Planlandı

Ulusal Grid Çalıştayı Eylül 2005 Ankara47 UI Ağ Sunucusu Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı RB İş Durumu RB Deposu Gönderildi Beklemede Hazır Planlandı Çalışıyor Grid olanaklı veri transferleri İş

Ulusal Grid Çalıştayı Eylül 2005 Ankara48 UI Ağ Sunucusu Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı RB İş Durumu RB Deposu Çıkış Torbası Dosyaları Gönderildi Beklemede Hazır Planlandı Çalışıyor Bitti

Ulusal Grid Çalıştayı Eylül 2005 Ankara49 UI Ağ Sunucusu Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı RB İş Durumu RB Deposu Gönderildi Beklemede Hazır Planlandı Çalışıyor Bitti edg-job-get-output

Ulusal Grid Çalıştayı Eylül 2005 Ankara50 UI Ağ Sunucusu Kontrol Servisi İş Yükü Yöneticisi LFC Bilgi Servisi Hesaplama Elemanı Depolama Elemanı RB İş Durumu RB Deposu Gönderildi Beklemede Hazır Planlandı Çalışıyor Bitti Çıkış Torbası Dosyaları Temizlendi

Ulusal Grid Çalıştayı Eylül 2005 Ankara51 TEŞEKKÜRLER BOL IZGARALI GÜNLER Kaynak Aracısı Depolama Kaynağı Kullanıcının Mutlu (Ara)Yüzü GRID !!! Akademik Ağ İşler Bilgi Servisleri Hesaplama Ucu Hesaplama Elemanı