Kullanıcı Pratik Eğitimi Özgür Erbaş

... konulu sunumlar: "Kullanıcı Pratik Eğitimi Özgür Erbaş"— Sunum transkripti:

1 www.grid.org.tr Kullanıcı Pratik Eğitimi Özgür Erbaş ozgur@ulakbim.gov.tr

2 Kullanıcı Arayüzüne Erişim Kullanıcı arayüzüne ssh ile bağlanın - Putty - Kullanıcılar: egitim(1-50) - Sunucu: egitim-ui.ulakbim.gov.tr globus dizininin varlığını kontrol edin ls –laR.globus drwxr-xr-x 2 root root 4096 Aug 15 13:57. drwx------ 31 root root 4096 Feb 10 15:32.. -rw-r--r-- 1 root root 0 Mar 14 2006 usercert.pem -rw------- 1 root root 963 Mar 14 2006 userkey.pem Pratik eğitim için gerekli örnek dosyaları kullanıcı dizininize açın: cd ~ tar zxvf /home/egitim.tar.gz

3 Çalışabileceğiniz Kaynakları Görüntülemek Herhangi bir sanal organizasyon için o an geçerli çalışabileceğiniz kaynakları görüntülemek için: lcg-infosites --vo sgdemo sanal organizasyonunda çalışılabilecek işlemcileri görmek için: lcg-infosites --vo sgdemo ce sgdemo sanal organizasyonunda veri saklama alanını görmek için: lcg-infosites --vo sgdemo se lcg-infosites --vo sgdemo closeSE Sorgulanabilecek diğer özellikleri görmek için: lcg-info --list-attrs sgdemo sanal organizasyonu içinde MPI destekleyen kümelerin işlemci ve lcg-info –vo sgdemo --list-ce --query 'Tag=MPICH' --attrs 'FreeCPUs'

4 Kullanıcı Sertifikanız Bir X.509 sertifikası şu bilgileri içerir: Kullanıcı açık anahtarı; Kullanıcı hakkında bilgi; Sertifika otoritesi bilgisi; Geçerlilik süresi; Sertifika otoritesinin imzası Sertifikanızı incelemek için: grid-cert-info Açık Anahtar Subject: C=TR, O=TRGrid, OU=TUBITAK-ULAKBIM, CN=Onur Temizsoylu Issuer: C=TR, O=TRGrid, CN=TR- Grid CA Validity Not Before: Feb 5 10:05:58 2007 GMT Not Before: Feb 5 10:05:58 2007 GMT Not After : Feb 5 10:05:58 2008 GMT Not After : Feb 5 10:05:58 2008 GMT Sertifika Otoritesi İmzası

5 Proxy Oluşturmak Çalışmak için proxy oluşturun: voms-proxy-init --voms sgdemo Passphrase: keyforcert Oluşturduğunuz proxy hakkında bilgi edinin voms-proxy-info --all Oluşturduğunuz proxy’i yok etmek için voms-proxy-destroy

6 İşinizi Çalıştırmadan Önce Bilmeniz gerekenler: Hangi programlar gönderilecek? Hangi veriye erişilecek, veri program ile birlikte mi gidecek? Herhangi bir işletim sistemi, kütüphane bağımlılığı var mı? Gönderdiğiniz uygulama: Bilinmeyen bir sistemde çalışabilmeli Çalışma dizini dışında yer alacak şekilde sabit olarak belirlenmiş dizinler ve dosyalar içermemelidir.

7 Grid Dünyasının Dili - JDL Job Description Language (JDL) Condor ClassAd dili standardında geliştirilmiştir. Bir JDL dosyası niteliklerle oluşturulur: = ; Nitelikler temel olarak ikiye ayrılabilir: - İş nitelikleri, işin kendini tanımlar -Kaynak nitelikleri, işe uygun kaynakları bulunmasını sağlar. #, // veya /* */ ile JDL içine açıklama satırları yazılabilir.

8 JDL Dosyası Nitelikler, JDL parçalayıcının(parser) hatasız bir şekilde çözümleme yapması için... Tüm iş tanımlar köşeli parantezler içinde olmalıdır. Örnek: [ ] Her tanım satırı noktalı virgul ile ayrılmalıdır. JDL boşluk karakteri ve tablara duyarlıdır.

9 JDL Nitelikleri (1) JobType Normal (basit, seri iş), Interactive, MPICH, Checkpointable Executable – Çalıştırılacak komut Arguments – Komuta verilecek argümanlar StdInput, StdOutput, StdError – Standart girdi, çıktı ve hata dosyaları Environment – Çevre değişkenleri InputSandbox – Kullanıcı arayüzünden çalışacağı siteye gönderilecek dosyalar OutputSandbox – İş bitiminde alınacak dosyalar Requirements – Gerekli kaynak nitelikleri Rank – Bulunan kaynakların sıralanması

10 Akademik Bilişim 2007, Dumlupınar Üniversitesi10/32 JDL Nitelikleri (2) Executable = Çalıştırılacak programı göstermektedir. - Aynı dosya ismi InputSandbox da da belirtilmelidir. Özel karakterler izin verilmez.. ( Örnek: Executable = {“/opt/sw/sgdemo/test.sh”}; ) StdOutput, StdError, StdInput = Çıktı, hata ve giriş dosyaları - Aynı dosya isimleri OutputSandbox da da belirtilmelidir. Bu nitelik, etkileşimli işler için (interactive jobs) gerekli değildir.

11 Akademik Bilişim 2007, Dumlupınar Üniversitesi11/32 JDL Nitelikleri (3) InputSandbox, OutputSandbox = InputSandbox, çalıştırılacak işin ihtiyacı olan giriş dosyaları - UI (User Interface) den WN (Worker Node) OutputSandbox, Sonuç dosyaları - WN (Worker Node) dan UI (User Interface) InputSandbox da gösterilen dosyaların toplam boyutu 20 MB dan az olmalıdır.

12 Akademik Bilişim 2007, Dumlupınar Üniversitesi12/32 JDL Nitelikleri (4) Job Type Normal (simple, sequential job), Interactive, MPICH, Checkpointable, –Checkpointable, Interactive –Checkppointable, MPI MPICH ve NodeNumber - RB (Resource Broker) uygun CE leri seçmek için kullanır. Örnek: NodeNumber = 5; Arguments Komut satırı parametreleri vermek için kullanılır. Örnek: Executable = “/bin/sh”; Arguments = “Merhaba Grid Dünyası”; Environment Çevre ayarları listesini. Örnek: Environment = “JAVABIN=/usr/local/java”;)

13 Akademik Bilişim 2007, Dumlupınar Üniversitesi13/32 JDL Nitelikleri (5) Requirements Uygun kaynak koşulları Örnek: Requirements=other.GlueCEUniqueID == “adc006.cern.ch:2119/jobmanager-pbs-infinite” Rank Requirements niteliğindeki koşullara uygun CE ler sıralanır. Örnek: Rank = other.GlueCEStateFreeCPUs;

14 Akademik Bilişim 2007, Dumlupınar Üniversitesi14/32 JDL Nitelikleri (6) InputData Giriş(input) dosyalarını gösteren (LFN) Logical File Name veya (GUID) Global Unique Identifier belirtilir. Örnek: InputData = {“lfn:cmstestfile”,“guid:135b7b23-4a6a-11d7-87e7- 9d101f8c8b70”}; ) DataAccessProtocol SE(Storage Element) ulaşmak için kullanılacak Protokol yada protokoller Örnek: DataAccessProtocol = {“file”,“gsiftp”}; StorageElement Çıkış(output) dosyalarını tutmak için depolama elemanı

15 JDL Dosyası ornek.jdl [ Executable = "/bin/sh"; Arguments = "HelloWorld.sh"; Stdoutput = "stdoutput"; StdError = "stderror"; InputSandbox = {"HelloWorld.c","HelloWorld.sh"}; OutputSandbox = {"stdoutput","stderror"}; Requirements = (other. GlueHostOperatingSystemName == “linux"); Rank = other.GlueCEStateFreeCPUs; ]

16 İşi göndermeden önce JDL dosyasında yer alan niteliklere göre işin çalışabileceği siteleri görebilirsiniz. glite-job-list-match İşinizin belli bir sitede çalışması için Requirement satırı ekliyebilirsiniz. Requirements = other.GlueCEUniqueID == "ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-sgdemo";

17 İş Göndermek glite-job-submit [--vo ] [-o ] --vo Sanal organizasyon, proxy oluşturulurken tanımlandı ise gerek yoktur -o Oluşacak JobID bu dosyaya yazılır glite-job-status –i (veya jobId) -i İş gönderilirken verilen dosya ismi burada kullanılabilir

18 İş Göndermek glite-job-submit testJob.jdl **** Warning: UI_VOMS_OVERRIDE **** The Virtual Organisation name "dteam" you have specified with the UI conf file will be overriden by the default VO in your proxy credentials: "sgdemo" Selected Virtual Organisation name (from proxy certificate extension): sgdemo Connecting to host wms.ulakbim.gov.tr, port 7772 Logging to host wms.ulakbim.gov.tr, port 9002 ********************************************************************************************* JOB SUBMIT OUTCOME The job has been successfully submitted to the Network Server. Use glite-job-status command to check job current status. Your job identifier is: - https://wms.ulakbim.gov.tr:9000/2n33HIg63quJXLKgHG2m-A  JobID *********************************************************************************************

19 Diğer İş Komutları glite-job-cancel Belirtilen işi iptal eder glite-job-status İş hakkında bilgi verir glite-job-output İşin çıktı torbasını getirir glite-job-logging-info İş hakkında detaylı bilgi verir, hata gidermek için yararlı bir komuttur

20 Akademik Bilişim 2007, Dumlupınar Üniversitesi20/32 İş Durumları

21 Akademik Bilişim 2007, Dumlupınar Üniversitesi21/32 Submitted – İş UI makinası aracılı ğ ı ile yollandı. Job State Machine

22 Akademik Bilişim 2007, Dumlupınar Üniversitesi22/32 Waiting – İş kabul edildi ve WMS sunucusunda beklemede

23 Akademik Bilişim 2007, Dumlupınar Üniversitesi23/32 Ready – İş WMS tarafından incelendi ve uygun CE makinasına yollanmak için hazır.

24 Akademik Bilişim 2007, Dumlupınar Üniversitesi24/32 Scheduled - İş CE makinasına yolladı ve kuyrukta bekliyor.

25 Akademik Bilişim 2007, Dumlupınar Üniversitesi25/32 Running – İş çalı ş maya ba ş ladı

26 Akademik Bilişim 2007, Dumlupınar Üniversitesi26/32 Done – İş tamamlandı. Job State Machine

27 Akademik Bilişim 2007, Dumlupınar Üniversitesi27/32 Aborted- İş WMS tarafından iptal edildi.

28 Akademik Bilişim 2007, Dumlupınar Üniversitesi28/32 Cancelled – İş kullanıcını iste ğ i üzerine iptal edildi Job State Machine

29 Akademik Bilişim 2007, Dumlupınar Üniversitesi29/32 Cleared- İş için “Çıktı Torbası” UI makinasına alındı veya zaman a ş ımından dolayı silindi.