Enabling Grids for E-sciencE www.eu-egee.org CRAB ile TR-Grid Üzerinde Analiz Emrah AKKOYUN TÜBİTAK-ULAKBİM Mehmet Vergili Çukurova Üniversitesi.

... konulu sunumlar: "Enabling Grids for E-sciencE www.eu-egee.org CRAB ile TR-Grid Üzerinde Analiz Emrah AKKOYUN TÜBİTAK-ULAKBİM Mehmet Vergili Çukurova Üniversitesi."— Sunum transkripti:

1 Enabling Grids for E-sciencE www.eu-egee.org CRAB ile TR-Grid Üzerinde Analiz Emrah AKKOYUN TÜBİTAK-ULAKBİM Mehmet Vergili Çukurova Üniversitesi

2 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 2 TR T2 Durumu TR T2 merkezinin durumunun istatistiksel olarak özetlenmesi için aşağıda ki grafikler paylaşılmıştır. Bu grafikler, TR METU sitesine gelen test işlerinin sonuçlarının toplanmasıyla edinilmiştir. T1 merkezleri ile production veri kanalları ve transfer durumları örnek grafiklerde gösterilmiştir.

3 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 3 TR T2 Durumu – 7 TeV Veriler

4 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 4

5 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 5

6 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 6 TR T2 Durumu

7 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 7 TR T2 Durumu

8 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 8 Giriş Bu sunum CERN twiki sayfasinda yer alan rehber referans alinarak TR-Grid kaynaklari uzerinde CRAB araciligiyla nasil veri analizi yapilacagi amaciyla hazirlanmistir. https://twiki.cern.ch/twiki/bin/view/CMS/WorkBookCRABT utorial CERN wiki sayfasında yer alan analiz için gerekli olan güncel komut setlerinin TR-Grid üzerinde ki karşılıkları paylaşılacaktır.

9 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 9 Kullanıcı Hesabı ve Grid Sertfikası Kullanıcı arayüzü makinesi olan kefal.ulakbim.gov.tr üzerinde kullanıcı hesabı ve grid sertifikası http://www.grid.org.tr/uyelik/yonerge.uhtml – Üyelik başvuru formunun doldurulması: http://www.grid.org.tr/uyelik/uyelik.php – Kurumsal belgerin gönderilmesi – Statik IP adresi veya OpenVPN FNAL ve CERN IP blokları erişimine izin verilmiştir. IP kısıtlaması olmaksızın heryerden bağlanabilmek için OpenVPN – http://wiki.grid.org.tr/index.php/OpenVPN_Nas%C4 %B1l%3F http://wiki.grid.org.tr/index.php/OpenVPN_Nas%C4 %B1l%3F – Sertifika Başvurusu

10 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 10 Kullanıcı Hesabı ve Grid Sertfikası (2) Lxplus üzerinde hesabınız varsa ve TR-Grid üzerinde yeni çalışmaya başlayacaksanız – Kullanıcı arayuzu bilgisayarında yeni bir hesap açtırmanız –.globus dizinini bu hesaba kopyalamanız yeterlidir.

11 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 11 Sertifikanızın Yenilenmesi ve VO Kaydi grid-cert-info komutu ile sertifikanızın süresini sorgulayabilirsiniz. Süresi dolmuş sertifikalarınızı yenilemek için grid-teknik@ulakbim.gov.tr adresine e- posta atınız.grid-teknik@ulakbim.gov.tr Sertifikanızın CMS sanal organizasyonuna dahil edilmesi – İlk imzalandığında trgride sanal organizasyonuna (yerel) dahil edilir. voms-proxy-init –voms cms komutu ile proxy yaratabiliyorsaniz bu vo'ya dahilsiniz demektir. http://cmsdoc.cern.ch/cms/aprom/www/top/CMS_VO.html

12 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 12 SiteDB Kaydı Analiz sonrası üretmiş olacağınız bilgileri DBS üzerinden yayınlamak için SiteDB'ye kayıt https://twiki.cern.ch/twiki/bin/view/CMS/SiteDBForCRAB Hypernews kullanıcı adıyla SiteDB'ye giriş ve DN bilginizin girilmesi T* hesaplama merkezlerinin kaydı yanında, fizik grupları ve kişilerin rolleri tanımlaması yapılmıştır. İleri de bu bilgiler ışığında verinin nereye gideceği kararlaştırılacaktır.

13 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 13 Yüklü olan CMSSW Yazılımları VO-cms-CMSSW_2_2_13_offpatch1 VO-cms- CMSSW_2_2_6 VO-cms-CMSSW_2_2_9 VO-cms-CMSSW_3_1_4 VO-cms-CMSSW_3_1_6 VO-cms-CMSSW_3_2_5 VO-cms-CMSSW_3_2_8 VO-cms-CMSSW_3_3_1 VO-cms-CMSSW_3_3_3 VO-cms- CMSSW_3_3_3_TSG VO-cms-CMSSW_3_3_3_patch1 VO-cms- CMSSW_3_3_5 VO-cms-CMSSW_3_3_5_patch1 VO-cms- CMSSW_3_3_5_patch2 VO-cms-CMSSW_3_3_5_patch3 VO-cms- CMSSW_3_3_5_patch4 VO-cms-CMSSW_3_3_6 VO-cms- CMSSW_3_3_6_patch1 VO-cms-CMSSW_3_3_6_patch2 VO-cms- CMSSW_3_3_6_patch3 VO-cms-CMSSW_3_3_6_patch4 VO-cms- CMSSW_3_3_6_patch5 VO-cms-CMSSW_3_3_6_patch6 VO-cms- CMSSW_3_4_0 VO-cms-CMSSW_3_4_1 VO-cms-CMSSW_3_4_2 VO-cms-CMSSW_3_4_2_patch1 VO-cms- CMSSW_3_5_0 VO-cms-CMSSW_3_5_0_patch1 VO-cms- CMSSW_3_5_1 VO-cms-CMSSW_3_5_1_patch1 VO-cms- CMSSW_3_5_2 VO-cms-CMSSW_3_5_2_patch1 VO-cms- CMSSW_3_5_2_patch2 VO-cms-CMSSW_3_5_3 VO-cms-CMSSW_3_5_4 VO-cms-CMSSW_3_5_4_patch1 VO-cms- CMSSW_3_5_4_patch2 VO-cms-CMSSW_3_5_6 VO-cms- CMSSW_3_5_6_patch1 VO-cms-slc4_ia32_gcc345 VO-cms-slc5_ia32_gcc434

14 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 14 CMS Yazılımları (SL5 geçişi) WLCG yapısına dahil sitelerin büyük çoğunluğu üzerinde SL5 işletim sistemi olan 64 bitlik orta katmana sahip (glite3.2) yapıya geçmiştir. Hem 32 bit hem de 64 bitlik yazılımlar sitelerde kurulu durumda olup her ikisi de desteklenmektedir. CMSSW_3_4_* sonrasi 64 bitlik olan analiz yazilimlaridir. T2 METU, SL5 işletim sistemine geçmiş 32 ve 64 bitlik yazılımları beraber destekler durumdadır.

15 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 15 CMS Yazılımları Yeni CMSSW yazılımlarının kurulması merkezi otorite tarafından yapılmaktadır. İstediğiniz yazılım kurulu değilse kurulum için site yöneticisi ile irtibata geçilmektedir. 32 bitlik METU sitesinde yuklu olan yazilimlari gormek icin; – source /opt/exp_soft/cms/cmsset_default.sh – export SCRAM_ARCH=slc4_ia32_gcc345 – scram list 64 bitlik yuklu olan yazilimlari gormek icin; – source /opt/exp_soft/cms/cmsset_default.sh – export SCRAM_ARCH=slc5_ia32_gcc434 – scram list

16 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 16 Yüklü olan CRAB Araçları CRAB_2_6_3_patch_2 CRAB_2_6_5 CRAB_2_6_6 CRAB_2_7_0 CRAB_2_7_1_pre12 CRAB_2_7_1

17 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 17 CRAB Araçları Kullanıcı bu araçları kendi ev dizinine kolayca kurabileceği gibi ortak yere kurulmuş olan sürümü de kullanabilir. İstediğiniz CRAB sürümünün kullanıcı arayüzünde bulunmaması ve ortak yere kurulmasını istediğiniz durumda bizle irtibata geçmeniz gerekmektedir. /opt/exp_soft/cms/CRAB/ dizini altinda kurulu olan CRAB araclarini bulabilirsiniz.

18 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 18 Kullanıcı Arayüzü ssh @kefal.ulakbim.gov.tr ls -ls.globus izinleri asagidaki gibi olmalıdır. drwxr-xr-x 2 emrah trgridb 4096 Oct 2 2009. drwx-----x 96 emrah trgridb 12288 Apr 8 21:32.. -rw-r--r-- 1 akkoyun atlas 1701 Jun 1 2009 usercert.pem -r-------- 1 akkoyun atlas 1920 Jun 1 2009 userkey.pem Root gibi programlarla goruntu almak istediğinizde ssh -X parametresiyle bağlanmanız gerekmektedir.

19 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 19 Kullanıcı Arayüzü Kullanıcı arayüzü üzerinden lxplus hesabınıza /afs üzerinden erişebilirsiniz. ls -la /afs/cern.ch/user/a/akkoyun/ Kefal üzerinden lxplus hesabınıza dosya taşıyabilir, dosya alabilirsiniz. Bunun için kerberos bileti edinmelisiniz. kinit -5 akkoyun@CERN.CH klog akkoyun klist komutu ile biletinizin gecerlilik zamanını sorgulayabilirsiniz. Valid starting Expires Service principal 04/08/10 07:20:59 04/09/10 07:20:59 krbtgt/CERN.CH@CERN.CH

20 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 20 Çevre Değişkenlerinin Tanımlanması cms ile ilgili komut setlerine erisebilmek icin – source /opt/exp_soft/cms/cmsset_default.sh İstediğiniz CMSSW yazılımını kullanabilmek için – mkdir Tutorial – cd Tutorial – cmsrel CMSSW_2_2_13 – cd CMSSW_2_2_13/src/ – cmsenv Ortak alanda kurulu olan CRAB versiyonunu kullanmak icin; – source /opt/exp_soft/cms/CRAB/CRAB_2_6_5/crab.sh

21 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 21 Konfigürasyon Dosyası Wiki sayfasında belirtilen konfigürasyon dosyasi (tutorial.py) import FWCore.ParameterSet.Config as cms process = cms.Process('Tutorial') process.source = cms.Source("PoolSource", fileNames = cms.untracked.vstring()) process.maxEvents = cms.untracked.PSet( input = cms.untracked.int32(10) ) process.options = cms.untracked.PSet( wantSummary = cms.untracked.bool(True) ) process.output = cms.OutputModule("PoolOutputModule", outputCommands = cms.untracked.vstring("drop *", "keep recoTracks_*_*_*"), fileName = cms.untracked.string('out.root'), ) process.out_step = cms.EndPath(process.output)

22 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 22 Veri Seti Seçme (Senaryo) CMS'te gonderilen iş, veri setinin oldugu yere gider. Senaryo 1: Veri: yok, İş: Başka T2 merkezi – Kefal (kullanıcı arayüzü) üzerinden sadece CRAB kullanılarak işinizi yönetebilirsiniz. – Crab dosyasında METU sitesi depolama olarak belirtilerek gönderilen analiz işi başka sitede çalışsa bile sonuçların buraya yazdırılması sağlanabilir. (Örn:ce_white_list) Akademik ağa dahil olunduğundan analiz verileri hızlıca TR T2 merkezine hızlıca yazdırılabilir. Aynı ağ içerisinde olduğundan depolama elemanından kefal'e sonuçların alınması daha hızlı olacaktır.

23 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 23 Veri Seti Seçme (Senaryo) Senaryo 2: Veri: var, İş: TR T2 merkezi – Eğer çalışmak istediğiniz veri seti burada bulunuyorsa diğer sitelerde de bulunabileceği göz önünde bulundurulmalıdır. İşinizin TR T2'de çalışması için CRAB'da belirtilmelidir. – İşlerin analiz edilmesi ve lokale taşınması daha hızlı olacaktır. (Aynı ağ içerisinde) – Yönetimi TR-Grid ekibinde olduğundan çalışmanıza özel ihtiyaçlar daha hızlı karşılanabilir. – Ulusal kullanıcılara önceliklendirme yapılabilir. Aşağıda ki veri seti analiz için seçilebilir. – /QCDpt30/Summer08_IDEAL_V9_v4/GEN-SIM-RECO

24 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 24 Crab Dosyasının Hazırlanması Yardım dosyasına bakılıp parametreler hakkında fazlaca bilgi alınabilir. – crab -h Örnek konfigürasyon dosyası [CMSSW] total_number_of_events=100 number_of_jobs=10 pset=tutorial.py datasetpath=/QCDpt30/Summer08_IDEAL_V9_v4/GEN-SIM-RECO output_file=out.root

25 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 25 Crab Dosyasının Hazırlanması [USER] return_data=0 email= copy_data = 1 storage_element = T2_TR_METU publish_data = 1 publish_data_name = dbs_url_for_publication = http://cmssrv49.fnal.gov:8989/DBS209/servlet/DBSServlet [CRAB] scheduler=glite jobtype=cmssw

26 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 26 İşin Yaratılması ve Gönderilmesi Hazirlamiz oldugumuz isi yaratmak icin; – crab -create Bu komutu calistirdiktan sonra cikti ekranin da, uzerinde calistiginiz veri setinin ne kadar olay icerdigi, nerelerde bulundugu bilgisini bulabilirsiniz. Gondermek icin; – crab -submit

27 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 27 İşin Durumunun Sorgulanması CRAB ile işinizin durumunu sorgularken karşılaşmanız muhtemel aşağıda ki hatayı alabilirsiniz. – Aldiginiz hatanin son satiri: ImportError: No module named _glite_wmsui_LbWrapper Bu durumda aşağıda ki komutu çalıştırmanız gerekmektedir. – export PYTHONPATH=${PYTHONPATH}:${GLITE_LOCATION}/ lib Daha fazla bilgi için – https://twiki.cern.ch/twiki/bin/view/Main/LSSlc5UIhttps://twi ki.cern.ch/twiki/bin/view/Main/LSSlc5UI https://twiki.cern.ch/twiki/bin/view/Main/LSSlc5UIhttps://twi ki.cern.ch/twiki/bin/view/Main/LSSlc5UI İşin durumunu sorgulamak için – crab -status Web üzerinden iş numaranız ile sorgulama yapabilmek için aşağıdaki adres kullanılabilir. (Crab sunucusu kullanıldıysa) – http://crab1.ba.infn.it:8888/logginfo

28 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 28 İşlerin Sonuçlarının Alınması crab -getoutput komutu ile analiz esnasinda yapilan islerin kayitlarini tutan log dosyalarini edinebilirsiniz. Analiz sonrasi uretilen root dosyalari alınamaz, çünkü konfigurasyon dosyasinda sonuclarin dogrudan depaolama elemanina gonderileceği soylenmişti. Log dosyaları hatanın bulunmasında oldukça faydalıdır. İşinizin hata alması durumunda site yöneticisi ile bu log dosyalarını paylaşabilirsiniz.

29 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 29 İşlerin Sonuçlarının Alınması (2) Örnek: İşlerden birkaçının 60307 numaralı hata ile sonlanması (root dosyasının SE'ye kopyalanamaması) Hatanın gösterildiği log dosyası 2010-02-24 14:25:04.617448: Executed: lcg-cp --verbose --vo=cms -b -D srmv2 --srm-timeout 2400 -- sendreceive-timeout 2400 --connect-timeout 2400 --verbose file:///home/cms021/globus- tmp.alicegrid39.21032.0/https_3a_2f_2flb010.cnaf.infn.it_3a9000_2fJeUz8YVDseWW Rwr3H3BcPw/CMSSW_2_2_13/out_5.root srm://eymir.grid.metu.edu.tr:8446/srm/managerv2?SFN=/dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/ QCDpt30/emrahtestmetu/85ab15de603ef7cf9b5741fe5fa3c2df/out_5.root Done with exit code: 256 and output: Using grid catalog type: UNKNOWN Using grid catalog : (null) VO name: cms Checksum type: None Destination SE type: SRMv2 [SE][Mkdir][SRM_DUPLICATION_ERROR] srm://eymir.grid.metu.edu.tr:8446/srm/managerv2?SFN=/dpm/grid.metu.edu.tr/hom e/cms/store/user/akkoyun/QCDpt30/emraht estmetu/85ab15de603ef7cf9b5741fe5fa3c2df/out_5.root: File exists lcg_cp: File exists

30 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 30 TR T2 Merkezinde İş Koşturmak Bu örnekte ki işler, WLCG alt yapisinda bulunan herhangi bir T2 merkezinde calistirildi ve sonuclari METU sitesine gonderildi. Eger veri seti METU sitesinde bulunuyorsa (DBS uzerinden sorgulayabilirsiniz) asagidaki parametreleri crab.cfg dosyaniza ekleyerek isinizin burada dogrudan calismasini saglayabilirsiniz. – [GRID] – ce_white_list = cox01.grid.metu.edu.tr Çalışmak istediğiniz veri setini T2 TR merkezine taşımak için PhEDEx üzerinden istekte bulunmanız gerekecektir.

31 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 31 Analiz Sonuçlarının Lokale Taşınması SiteDB'de kayitli oldugum kullanici ismim akkoyun Dolayisiyla uretilen veri setleri asagidaki dizin altina kopyalanmistir. – /dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/ Analiz sonrasında üretilen dosyaları görebilmek icin asagida ki cevre degiskenlerinin tanımlanması gerekmektedir. – export DPM_HOST=eymir.grid.metu.edu.tr – export DPNS_HOST=eymir.grid.metu.edu.tr

32 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 32 Analiz Sonuçlarının Lokale Taşınması (2) Dizinin altında ki dosyaları sorgulamak için – rfdir /dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/ drwxrwxr-x 1 123 106 0 Feb 24 15:25 emrahtestmetu emrahtestmetu adinda klasorun yaratildigi görünüyor. Bu klasorun icerisinde ki root dosyalarini sorgualamak icin; – rfdir /dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/QCD pt30/emrahtestmetu/85ab15de603ef7cf9b5741fe5fa3c2df

33 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 33 Analiz Sonuçlarının Lokale Taşınması (3) – -rw-rw-r-- 1 123 106 1449819 Feb 24 15:31 out_1.root – -rw-rw-r-- 1 123 106 1436353 Feb 24 15:30 out_10.root – -rw-rw-r-- 1 123 106 1432600 Feb 24 15:31 out_2.root – -rw-rw-r-- 1 123 106 1446353 Feb 24 15:25 out_3.root – -rw-rw-r-- 1 123 106 1480660 Feb 24 15:25 out_4.root – -rw-rw-r-- 1 123 106 1437861 Feb 24 15:25 out_7.root – -rw-rw-r-- 1 123 106 1459832 Feb 24 15:31 out_8.root – -rw-rw-r-- 1 123 106 1459325 Feb 24 15:30 out_9.root Hata ile sonuclanmis olan 5 ve 6 disinda ki tum dosyalar depolama elemaninda yaratılmıştır. Ev dizinimde kopyasini alabilmek icin, – rfcp /dpm/grid.metu.edu.tr/home/cms/store/user/akk oyun/QCDpt30/emrahtestmetu/85ab15de603ef7 cf9b5741fe5fa3c2df/out_1.root ~emrah/

34 Enabling Grids for E-sciencE INFSO-RI-508833 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 34 Analiz Sonuçlarının Lokale Taşınması (4) Analiz verilerinin TR-Grid üzerinde saklanması 1.Ev Dizininde Saklanması  Yüksek performanslı disklerden oluşmuş yapıdır. O yüzden kullanıcının en fazla 10 GB bir disk kotası vardır.  Veri analiz edileceği zaman burada tutulmalıdır. (Küme) 2./depo1 dizininde tutulması  Verinizi lokal de saklamak veya root dosyası ile açmak için burada tutabilirsiniz. Kullanıcı adınız ile burada dizin yaratılmış durumdadır. Burada ki veriler silinmeyecektir.  Herhangi bir disk kotası kullanıcılar için tanımlanmamıştır. 3.Depaolama Elemanı  Ulusal kullanıcılar için depolama elemanı üzerinde bir alan ayrılarak analiz verilerinin burada tutulması sağlanabilir.