Grid Ortamında İş Gönderme I. Ulusal Yüksek Başarım ve Grid Konferansı 15-18 Nisan 2009, ODTÜ, Ankara

... konulu sunumlar: "Grid Ortamında İş Gönderme I. Ulusal Yüksek Başarım ve Grid Konferansı 15-18 Nisan 2009, ODTÜ, Ankara"— Sunum transkripti:

1 www.grid.org.tr Grid Ortamında İş Gönderme I. Ulusal Yüksek Başarım ve Grid Konferansı 15-18 Nisan 2009, ODTÜ, Ankara http://www.grid.org.tr/basarim09/

2 YEF @ TR-Grid Okulu, TAEK, ANKARA İÇERİK –İş gönderme yöntemleri –Kullanıcı arayüz sunucularına bağlanma –Kullanıcı yetkilendirme –İşi tanımlama –Grid Dili: JDL –JDL Nitelikleri –Örnek JDL Dosyası –İş Gönderme I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

3 YEF @ TR-Grid Okulu, TAEK, ANKARA Gride İş Gönderme Yöntemleri –Konsol aracılığı ile; – Linux/Windows masaüstü bilgisayarlarınızdan SSH istemci programı – Kullanıcı arayüz sunucularına erişim –Web portalı yardımı ile: P-Grade uygulaması – Tarayıcı bir program – Java plug-in I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

4 YEF @ TR-Grid Okulu, TAEK, ANKARA Kullanıcı Arayüz Sunucularına Erişim –Kullanıcı arayüz sunucusuna SSH istemci programı ile bağlantının sağlanması: – Linux: Terminal, Windows: SSH istemcisi (putty, v.b.) – Sunucu Adı : lufer.ulakbim.gov.tr – Kullanıcı Adı: egitimxx – Kullanıcı Şifresi: xxxxxxxxx –.p12 uzantılı açık/kapalı anahtar ikilisinin ayrıştırılması I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

5 YEF @ TR-Grid Okulu, TAEK, ANKARA Kullanıcı Arayüz Sunucularına Erişim - II I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

6 YEF @ TR-Grid Okulu, TAEK, ANKARA Kullanıcı Arayüz Sunucularına Erişim - III –.globus dizinin kontrol edilmesi: $ ls -laR ~egitimxx/.globus I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

7 YEF @ TR-Grid Okulu, TAEK, ANKARA Kullanıcı Arayüz Sunucularına Erişim - IV $ ls –la is-gonderme I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

8 YEF @ TR-Grid Okulu, TAEK, ANKARA Geçici Sertifika Oluşturmak –Grid ortamında yetkilendirilmeler X.509 standardında sayısal sertifikalar ile yapılmaktadır. –X.509 sertifikaları aşağıdaki bilgileri içerir: – Kullanıcı açık anahtarı, – Kullanıcı hakkında bilgi, – Sertifika otoritesi bilgisi, – Geçerlilik süresi, – Sertifika otoritesinin imzası – Sertifikanızı incelemek için; $ grid-cert-info I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

9 YEF @ TR-Grid Okulu, TAEK, ANKARA Geçici Sertifika Oluşturmak - II I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

10 YEF @ TR-Grid Okulu, TAEK, ANKARA Geçici Sertifika Oluşturmak - III –Geçici olarak yetkilendirilmek için sertifika oluşturulması: $ voms-proxy-init –voms sgdemo I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

11 YEF @ TR-Grid Okulu, TAEK, ANKARA Geçici Sertifika Oluşturmak - IV –Oluşturulan geçici sertifika hakkında bilgi edinilmesi: $ voms-proxy-info –all –Oluşturulan geçici sertifikanın iptal edilmesi: $ voms-proxy-destroy I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

12 YEF @ TR-Grid Okulu, TAEK, ANKARA Kullanılabilen Kaynakların Listelenmesi –Herhangi bir sanal organizasyon için o an geçerli çalışılabilir kaynakları görüntülemek için: $ lcg-infosites --vo [option(s)] – sgdemo/trgridb sanal organizasyonuna bağlı sitelerdeki hesaplama elemanı(ce) hakkında bilgi almak için: $ lcg-infosites --vo sgdemo ce – sgdemo/trgridb sanal organizasyonuna bağlı sitelerdeki depolama elemanı(ce) hakkında bilgi almak için: $ lcg-infosites --vo sgdemo se – Sorgulanabilecek diğer özellikleri görmek için: $ lcg-info --list-attrs I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

13 YEF @ TR-Grid Okulu, TAEK, ANKARA İşin Gereksinimlerini Belirlemek –Bilmemiz gerekenler: – Hangi programlar gönderilecek? – Hangi veriye erişilecek? – Veri programla birlikte mi gönderilecek? – Herhangi bir işletim sistemi bağımlılığı var mı? – Herhangi bir kütüphane bağımlılığı var mı? – Gönderdiğimiz uygulama: – Bilinmeyen bir sistemde çalışabilmeli – Çalışma dizini dışında yer alacak şekilde sabit olarak belirlenmiş dizinler ve dosyalar içermemeli I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

14 YEF @ TR-Grid Okulu, TAEK, ANKARA Grid Dünyasının Dili: JDL –Job Description Language (JDL)‏ – Condor ClassAd dili standardında geliştirilmiştir. – Bir JDL dosyası niteliklerle oluşturulur: – = ; – Nitelikler temel olarak ikiye ayrılabilir: – İş nitelikleri: işin kendini tanımlar. – Kaynak nitelikleri: işe uygun kaynakları bulunmasını sağlar. –#, // veya /* */ ile JDL içine açıklama satırları yazılabilir. I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

15 YEF @ TR-Grid Okulu, TAEK, ANKARA JDL Dosyası –JDL parçalayıcının(parser) hatasız bir şekilde çözümleme yapması için gerekli nitelikler: – Tüm iş tanımlar köşeli parantezler içinde olmalıdır. Örnek: [ ] – Her tanım satırı noktalı virgül ile ayrılmalıdır. – JDL boşluk ve tab karakterlerine duyarlıdır. I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

16 YEF @ TR-Grid Okulu, TAEK, ANKARA JDL Nitelikleri –JobType – Normal (basit, seri iş), Interactive, MPICH, Checkpointable –Executable – Çalıştırılacak komut –Arguments – Komuta verilecek argümanlar –StdInput, StdOutput, StdError – Standart girdi, çıktı ve hata dosyaları –Environment – Çevre değişkenleri –InputSandbox – Kullanıcı arayüzünden çalışacağı siteye gönderilecek dosyalar –OutputSandbox – İş bitiminde alınacak dosyalar –Requirements – Gerekli kaynak nitelikleri –Rank – Bulunan kaynakların sıralanması I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

17 YEF @ TR-Grid Okulu, TAEK, ANKARA JDL Nitelikleri - II – Executable = – Çalıştırılacak programı göstermektedir. – Aynı dosya ismi InputSandbox niteliğinde de belirtilmelidir. – Özel karakterlere izin verilmez. Örnek: Executable = {“/opt/sw/sgdemo/test.sh”}; –StdOutput, StdError, StdInput = – Çıktı, hata ve giriş dosyalarını göstermektedir. – Aynı dosya isimleri OutputSandbox niteliğinde de belirtilmelidir. I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

18 YEF @ TR-Grid Okulu, TAEK, ANKARA JDL Nitelikleri - III –InputSandbox, OutputSandbox = – InputSandbox, çalıştırılacak işin ihtiyacı olan giriş dosyalarını göstermektedir. UI (User Interface) -> WN (Worker Node) – OutputSandbox, çalıştırılan işin çıktı dosyalarını göstermektedir. WN (Worker Node) -> UI (User Interface) InputSandbox'da gösterilen dosyaların toplam boyutu 20 MB'ı geçmemelidir. I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

19 YEF @ TR-Grid Okulu, TAEK, ANKARA JDL Nitelikleri - IV –Job Type – Normal (simple, sequential job), Interactive, MPICH, Checkpointable –Arguments – Komut satırı parametrelerini vermek için kullanılır. Örnek: Executable = “/bin/sh”; Örnek:Arguments = “Merhaba Grid Dünyası”; –Environment – Çevre değişkenlerinin tanımlanmasını sağlar. Örnek: Environment = “JAVABIN=/usr/local/java”; I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

20 YEF @ TR-Grid Okulu, TAEK, ANKARA JDL Nitelikleri - V –Requirements – Uygun kaynak koşullarının tanımlanmasını sağlar. Örnek: Requirements=other.GlueCEUniqueID == “se.ulakbim.gov.tr:2119/jobmanager-lcgpbs-sgdemo” –Rank – Requirements niteliğindeki koşullara uygun CE ler sıralanır. Örnek: Rank = other.GlueCEStateFreeCPUs; I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

21 YEF @ TR-Grid Okulu, TAEK, ANKARA JDL Nitelikleri - VI –InputData – Giriş (input) dosyalarını gösteren (LFN) Logical File Name veya (GUID) Global Unique Identifier belirtilir. Örnek: InputData = {“lfn:cmstestfile”, “guid:135b7b23-4a6a-11d7-87e7-9d101f8c8b70”}; –DataAccessProtocol – SE (Storage Element) ulaşmak için kullanılacak protokol ya da protokoller belirlenir. Örnek: DataAccessProtocol = {“file”,“gsiftp”}; –StorageElement – Çıkış (output) dosyalarını tutmak için depolama elemanı belirlenir. I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

22 YEF @ TR-Grid Okulu, TAEK, ANKARA Örnek JDL Dosyası Executable = "/bin/sh"; Arguments = "HelloWorld.sh"; Stdoutput = "stdoutput.txt"; StdError = "stderror.txt"; InputSandbox = {"HelloWorld.c","HelloWorld.sh"}; OutputSandbox = {"stdoutput.txt","stderror.txt"}; Requirements = (other.GlueHostOperatingSystemName == “linux"); Rank = other.GlueCEStateFreeCPUs; I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

23 YEF @ TR-Grid Okulu, TAEK, ANKARA İş Göndermeden Önce... –JDL dosyasında yer alan niteliklere göre, işin çalışabileceği siteleri görebilmek için: $ glite-wms-job-list-match –a –İşin belli bir sitede çalışması için Requirement satırı kullanılabilir: Requirements = other.GlueCEUniqueID == "ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs- sgdemo" I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

24 YEF @ TR-Grid Okulu, TAEK, ANKARA İş Göndermeden Önce - II I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

25 YEF @ TR-Grid Okulu, TAEK, ANKARA İş Göndermek ve İşin Durumunu İzlemek –İş göndermek için; glite-wms-job-submit –a [--vo ] [-o ] --vo Sanal organizasyon, geçici sertifika oluşturulurken sanal organizasyon tanımı yapıldı ise, kullanılmasına gerek yoktur. -o Oluşacak işNumarası'nın yazılması istenilen dosya ismi –İşin durumunu öğrenmek için; glite-wms-job-status –i (veya işNumarası)‏ -i İş gönderilirken verilen dosya ismi burada kullanılabilir. I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

26 YEF @ TR-Grid Okulu, TAEK, ANKARA Uygulama-I I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

27 YEF @ TR-Grid Okulu, TAEK, ANKARA Uygulama-I I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

28 YEF @ TR-Grid Okulu, TAEK, ANKARA İş Durumları Submitted – İş UI makinası aracılı ğ ı ile yollandı. I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

29 YEF @ TR-Grid Okulu, TAEK, ANKARA İş Durumları Waiting – İş kabul edildi ve WMS sunucusunda beklemede I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

30 YEF @ TR-Grid Okulu, TAEK, ANKARA İş Durumları Ready – İş WMS tarafında incelendi ve uygun CE sunucusuna gönderilmek için hazır I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

31 YEF @ TR-Grid Okulu, TAEK, ANKARA İş Durumları Scheduled – İş CE sunucusuna gönderildi ve kuyrukta bekliyor I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

32 YEF @ TR-Grid Okulu, TAEK, ANKARA İş Durumları Running – İş çalı ş maya ba ş ladı I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

33 YEF @ TR-Grid Okulu, TAEK, ANKARA İş Durumları Done – İş tamamlandı I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

34 YEF @ TR-Grid Okulu, TAEK, ANKARA İş Durumları Cleared – İş için “Çıktı Torbası” UI sunucusuna alındı veya zaman a ş ımından dolayı silindi I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

35 YEF @ TR-Grid Okulu, TAEK, ANKARA Diğer İş Komutları glite-wms-job-cancel –Belirtilen işi iptal eder. glite-wms-job-status –İş hakkında bilgi verir. glite-wms-job-output –İşin çıktı torbasını getirir. glite-wms-job-logging-info –İş hakkında detaylı bilgi verir, hata gidermek için yararlı bir komuttur. I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

36 YEF @ TR-Grid Okulu, TAEK, ANKARA Uygulama-I I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

37 YEF @ TR-Grid Okulu, TAEK, ANKARA Uygulama-I I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

38 YEF @ TR-Grid Okulu, TAEK, ANKARA Uygulama-II I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

39 YEF @ TR-Grid Okulu, TAEK, ANKARA Uygulama-II I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

40 YEF @ TR-Grid Okulu, TAEK, ANKARA Uygulama-II –glite-wms-job-submit –a -o id.txt HelloWorld.jdl –glite-wms-job-status -i id.txt –glite-wms-job-cancel -i id.txt –glite-wms-job-submit -o id.txt HelloWorld.jdl –glite-wms-job-status -i id.txt –glite-wms-job-status –all –glite-wms-job-output -i id.txt . I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

41 YEF @ TR-Grid Okulu, TAEK, ANKARA Uygulama-III I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara

42 YEF @ TR-Grid Okulu, TAEK, ANKARA http://www.grid.org.tr http://wiki.grid.org.tr grid-teknik@ulakbim.gov.tr I. Ulusal Yüksek Başarım ve Grid Konferansı, ODTÜ, Ankara