Enabling Grids for E-sciencE CRAB ile TR-Grid Üzerinde Analiz Emrah AKKOYUN TÜBİTAK-ULAKBİM Mehmet Vergili Çukurova Üniversitesi

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan TR T2 Durumu TR T2 merkezinin durumunun istatistiksel olarak özetlenmesi için aşağıda ki grafikler paylaşılmıştır. Bu grafikler, TR METU sitesine gelen test işlerinin sonuçlarının toplanmasıyla edinilmiştir. T1 merkezleri ile production veri kanalları ve transfer durumları örnek grafiklerde gösterilmiştir.

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan TR T2 Durumu – 7 TeV Veriler

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan TR T2 Durumu

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan TR T2 Durumu

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan Giriş Bu sunum CERN twiki sayfasinda yer alan rehber referans alinarak TR-Grid kaynaklari uzerinde CRAB araciligiyla nasil veri analizi yapilacagi amaciyla hazirlanmistir. utorial CERN wiki sayfasında yer alan analiz için gerekli olan güncel komut setlerinin TR-Grid üzerinde ki karşılıkları paylaşılacaktır.

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan Kullanıcı Hesabı ve Grid Sertfikası Kullanıcı arayüzü makinesi olan kefal.ulakbim.gov.tr üzerinde kullanıcı hesabı ve grid sertifikası – Üyelik başvuru formunun doldurulması: – Kurumsal belgerin gönderilmesi – Statik IP adresi veya OpenVPN FNAL ve CERN IP blokları erişimine izin verilmiştir. IP kısıtlaması olmaksızın heryerden bağlanabilmek için OpenVPN – %B1l%3F %B1l%3F – Sertifika Başvurusu

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan Kullanıcı Hesabı ve Grid Sertfikası (2) Lxplus üzerinde hesabınız varsa ve TR-Grid üzerinde yeni çalışmaya başlayacaksanız – Kullanıcı arayuzu bilgisayarında yeni bir hesap açtırmanız –.globus dizinini bu hesaba kopyalamanız yeterlidir.

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan Sertifikanızın Yenilenmesi ve VO Kaydi grid-cert-info komutu ile sertifikanızın süresini sorgulayabilirsiniz. Süresi dolmuş sertifikalarınızı yenilemek için adresine e- posta Sertifikanızın CMS sanal organizasyonuna dahil edilmesi – İlk imzalandığında trgride sanal organizasyonuna (yerel) dahil edilir. voms-proxy-init –voms cms komutu ile proxy yaratabiliyorsaniz bu vo'ya dahilsiniz demektir.

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan SiteDB Kaydı Analiz sonrası üretmiş olacağınız bilgileri DBS üzerinden yayınlamak için SiteDB'ye kayıt Hypernews kullanıcı adıyla SiteDB'ye giriş ve DN bilginizin girilmesi T* hesaplama merkezlerinin kaydı yanında, fizik grupları ve kişilerin rolleri tanımlaması yapılmıştır. İleri de bu bilgiler ışığında verinin nereye gideceği kararlaştırılacaktır.

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan Yüklü olan CMSSW Yazılımları VO-cms-CMSSW_2_2_13_offpatch1 VO-cms- CMSSW_2_2_6 VO-cms-CMSSW_2_2_9 VO-cms-CMSSW_3_1_4 VO-cms-CMSSW_3_1_6 VO-cms-CMSSW_3_2_5 VO-cms-CMSSW_3_2_8 VO-cms-CMSSW_3_3_1 VO-cms-CMSSW_3_3_3 VO-cms- CMSSW_3_3_3_TSG VO-cms-CMSSW_3_3_3_patch1 VO-cms- CMSSW_3_3_5 VO-cms-CMSSW_3_3_5_patch1 VO-cms- CMSSW_3_3_5_patch2 VO-cms-CMSSW_3_3_5_patch3 VO-cms- CMSSW_3_3_5_patch4 VO-cms-CMSSW_3_3_6 VO-cms- CMSSW_3_3_6_patch1 VO-cms-CMSSW_3_3_6_patch2 VO-cms- CMSSW_3_3_6_patch3 VO-cms-CMSSW_3_3_6_patch4 VO-cms- CMSSW_3_3_6_patch5 VO-cms-CMSSW_3_3_6_patch6 VO-cms- CMSSW_3_4_0 VO-cms-CMSSW_3_4_1 VO-cms-CMSSW_3_4_2 VO-cms-CMSSW_3_4_2_patch1 VO-cms- CMSSW_3_5_0 VO-cms-CMSSW_3_5_0_patch1 VO-cms- CMSSW_3_5_1 VO-cms-CMSSW_3_5_1_patch1 VO-cms- CMSSW_3_5_2 VO-cms-CMSSW_3_5_2_patch1 VO-cms- CMSSW_3_5_2_patch2 VO-cms-CMSSW_3_5_3 VO-cms-CMSSW_3_5_4 VO-cms-CMSSW_3_5_4_patch1 VO-cms- CMSSW_3_5_4_patch2 VO-cms-CMSSW_3_5_6 VO-cms- CMSSW_3_5_6_patch1 VO-cms-slc4_ia32_gcc345 VO-cms-slc5_ia32_gcc434

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan CMS Yazılımları (SL5 geçişi) WLCG yapısına dahil sitelerin büyük çoğunluğu üzerinde SL5 işletim sistemi olan 64 bitlik orta katmana sahip (glite3.2) yapıya geçmiştir. Hem 32 bit hem de 64 bitlik yazılımlar sitelerde kurulu durumda olup her ikisi de desteklenmektedir. CMSSW_3_4_* sonrasi 64 bitlik olan analiz yazilimlaridir. T2 METU, SL5 işletim sistemine geçmiş 32 ve 64 bitlik yazılımları beraber destekler durumdadır.

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan CMS Yazılımları Yeni CMSSW yazılımlarının kurulması merkezi otorite tarafından yapılmaktadır. İstediğiniz yazılım kurulu değilse kurulum için site yöneticisi ile irtibata geçilmektedir. 32 bitlik METU sitesinde yuklu olan yazilimlari gormek icin; – source /opt/exp_soft/cms/cmsset_default.sh – export SCRAM_ARCH=slc4_ia32_gcc345 – scram list 64 bitlik yuklu olan yazilimlari gormek icin; – source /opt/exp_soft/cms/cmsset_default.sh – export SCRAM_ARCH=slc5_ia32_gcc434 – scram list

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan Yüklü olan CRAB Araçları CRAB_2_6_3_patch_2 CRAB_2_6_5 CRAB_2_6_6 CRAB_2_7_0 CRAB_2_7_1_pre12 CRAB_2_7_1

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan CRAB Araçları Kullanıcı bu araçları kendi ev dizinine kolayca kurabileceği gibi ortak yere kurulmuş olan sürümü de kullanabilir. İstediğiniz CRAB sürümünün kullanıcı arayüzünde bulunmaması ve ortak yere kurulmasını istediğiniz durumda bizle irtibata geçmeniz gerekmektedir. /opt/exp_soft/cms/CRAB/ dizini altinda kurulu olan CRAB araclarini bulabilirsiniz.

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan Kullanıcı Arayüzü ls -ls.globus izinleri asagidaki gibi olmalıdır. drwxr-xr-x 2 emrah trgridb 4096 Oct drwx-----x 96 emrah trgridb Apr 8 21:32.. -rw-r--r-- 1 akkoyun atlas 1701 Jun usercert.pem -r akkoyun atlas 1920 Jun userkey.pem Root gibi programlarla goruntu almak istediğinizde ssh -X parametresiyle bağlanmanız gerekmektedir.

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan Kullanıcı Arayüzü Kullanıcı arayüzü üzerinden lxplus hesabınıza /afs üzerinden erişebilirsiniz. ls -la /afs/cern.ch/user/a/akkoyun/ Kefal üzerinden lxplus hesabınıza dosya taşıyabilir, dosya alabilirsiniz. Bunun için kerberos bileti edinmelisiniz. kinit -5 klog akkoyun klist komutu ile biletinizin gecerlilik zamanını sorgulayabilirsiniz. Valid starting Expires Service principal 04/08/10 07:20:59 04/09/10 07:20:59

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan Çevre Değişkenlerinin Tanımlanması cms ile ilgili komut setlerine erisebilmek icin – source /opt/exp_soft/cms/cmsset_default.sh İstediğiniz CMSSW yazılımını kullanabilmek için – mkdir Tutorial – cd Tutorial – cmsrel CMSSW_2_2_13 – cd CMSSW_2_2_13/src/ – cmsenv Ortak alanda kurulu olan CRAB versiyonunu kullanmak icin; – source /opt/exp_soft/cms/CRAB/CRAB_2_6_5/crab.sh

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan Konfigürasyon Dosyası Wiki sayfasında belirtilen konfigürasyon dosyasi (tutorial.py) import FWCore.ParameterSet.Config as cms process = cms.Process('Tutorial') process.source = cms.Source("PoolSource", fileNames = cms.untracked.vstring()) process.maxEvents = cms.untracked.PSet( input = cms.untracked.int32(10) ) process.options = cms.untracked.PSet( wantSummary = cms.untracked.bool(True) ) process.output = cms.OutputModule("PoolOutputModule", outputCommands = cms.untracked.vstring("drop *", "keep recoTracks_*_*_*"), fileName = cms.untracked.string('out.root'), ) process.out_step = cms.EndPath(process.output)

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan Veri Seti Seçme (Senaryo) CMS'te gonderilen iş, veri setinin oldugu yere gider. Senaryo 1: Veri: yok, İş: Başka T2 merkezi – Kefal (kullanıcı arayüzü) üzerinden sadece CRAB kullanılarak işinizi yönetebilirsiniz. – Crab dosyasında METU sitesi depolama olarak belirtilerek gönderilen analiz işi başka sitede çalışsa bile sonuçların buraya yazdırılması sağlanabilir. (Örn:ce_white_list) Akademik ağa dahil olunduğundan analiz verileri hızlıca TR T2 merkezine hızlıca yazdırılabilir. Aynı ağ içerisinde olduğundan depolama elemanından kefal'e sonuçların alınması daha hızlı olacaktır.

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan Veri Seti Seçme (Senaryo) Senaryo 2: Veri: var, İş: TR T2 merkezi – Eğer çalışmak istediğiniz veri seti burada bulunuyorsa diğer sitelerde de bulunabileceği göz önünde bulundurulmalıdır. İşinizin TR T2'de çalışması için CRAB'da belirtilmelidir. – İşlerin analiz edilmesi ve lokale taşınması daha hızlı olacaktır. (Aynı ağ içerisinde) – Yönetimi TR-Grid ekibinde olduğundan çalışmanıza özel ihtiyaçlar daha hızlı karşılanabilir. – Ulusal kullanıcılara önceliklendirme yapılabilir. Aşağıda ki veri seti analiz için seçilebilir. – /QCDpt30/Summer08_IDEAL_V9_v4/GEN-SIM-RECO

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan Crab Dosyasının Hazırlanması Yardım dosyasına bakılıp parametreler hakkında fazlaca bilgi alınabilir. – crab -h Örnek konfigürasyon dosyası [CMSSW] total_number_of_events=100 number_of_jobs=10 pset=tutorial.py datasetpath=/QCDpt30/Summer08_IDEAL_V9_v4/GEN-SIM-RECO output_file=out.root

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan Crab Dosyasının Hazırlanması [USER] return_data=0 = copy_data = 1 storage_element = T2_TR_METU publish_data = 1 publish_data_name = dbs_url_for_publication = [CRAB] scheduler=glite jobtype=cmssw

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan İşin Yaratılması ve Gönderilmesi Hazirlamiz oldugumuz isi yaratmak icin; – crab -create Bu komutu calistirdiktan sonra cikti ekranin da, uzerinde calistiginiz veri setinin ne kadar olay icerdigi, nerelerde bulundugu bilgisini bulabilirsiniz. Gondermek icin; – crab -submit

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan İşin Durumunun Sorgulanması CRAB ile işinizin durumunu sorgularken karşılaşmanız muhtemel aşağıda ki hatayı alabilirsiniz. – Aldiginiz hatanin son satiri: ImportError: No module named _glite_wmsui_LbWrapper Bu durumda aşağıda ki komutu çalıştırmanız gerekmektedir. – export PYTHONPATH=${PYTHONPATH}:${GLITE_LOCATION}/ lib Daha fazla bilgi için – ki.cern.ch/twiki/bin/view/Main/LSSlc5UI ki.cern.ch/twiki/bin/view/Main/LSSlc5UI İşin durumunu sorgulamak için – crab -status Web üzerinden iş numaranız ile sorgulama yapabilmek için aşağıdaki adres kullanılabilir. (Crab sunucusu kullanıldıysa) –

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan İşlerin Sonuçlarının Alınması crab -getoutput komutu ile analiz esnasinda yapilan islerin kayitlarini tutan log dosyalarini edinebilirsiniz. Analiz sonrasi uretilen root dosyalari alınamaz, çünkü konfigurasyon dosyasinda sonuclarin dogrudan depaolama elemanina gonderileceği soylenmişti. Log dosyaları hatanın bulunmasında oldukça faydalıdır. İşinizin hata alması durumunda site yöneticisi ile bu log dosyalarını paylaşabilirsiniz.

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan İşlerin Sonuçlarının Alınması (2) Örnek: İşlerden birkaçının numaralı hata ile sonlanması (root dosyasının SE'ye kopyalanamaması) Hatanın gösterildiği log dosyası :25: : Executed: lcg-cp --verbose --vo=cms -b -D srmv2 --srm-timeout sendreceive-timeout connect-timeout verbose file:///home/cms021/globus- tmp.alicegrid /https_3a_2f_2flb010.cnaf.infn.it_3a9000_2fJeUz8YVDseWW Rwr3H3BcPw/CMSSW_2_2_13/out_5.root srm://eymir.grid.metu.edu.tr:8446/srm/managerv2?SFN=/dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/ QCDpt30/emrahtestmetu/85ab15de603ef7cf9b5741fe5fa3c2df/out_5.root Done with exit code: 256 and output: Using grid catalog type: UNKNOWN Using grid catalog : (null) VO name: cms Checksum type: None Destination SE type: SRMv2 [SE][Mkdir][SRM_DUPLICATION_ERROR] srm://eymir.grid.metu.edu.tr:8446/srm/managerv2?SFN=/dpm/grid.metu.edu.tr/hom e/cms/store/user/akkoyun/QCDpt30/emraht estmetu/85ab15de603ef7cf9b5741fe5fa3c2df/out_5.root: File exists lcg_cp: File exists

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan TR T2 Merkezinde İş Koşturmak Bu örnekte ki işler, WLCG alt yapisinda bulunan herhangi bir T2 merkezinde calistirildi ve sonuclari METU sitesine gonderildi. Eger veri seti METU sitesinde bulunuyorsa (DBS uzerinden sorgulayabilirsiniz) asagidaki parametreleri crab.cfg dosyaniza ekleyerek isinizin burada dogrudan calismasini saglayabilirsiniz. – [GRID] – ce_white_list = cox01.grid.metu.edu.tr Çalışmak istediğiniz veri setini T2 TR merkezine taşımak için PhEDEx üzerinden istekte bulunmanız gerekecektir.

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan Analiz Sonuçlarının Lokale Taşınması SiteDB'de kayitli oldugum kullanici ismim akkoyun Dolayisiyla uretilen veri setleri asagidaki dizin altina kopyalanmistir. – /dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/ Analiz sonrasında üretilen dosyaları görebilmek icin asagida ki cevre degiskenlerinin tanımlanması gerekmektedir. – export DPM_HOST=eymir.grid.metu.edu.tr – export DPNS_HOST=eymir.grid.metu.edu.tr

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan Analiz Sonuçlarının Lokale Taşınması (2) Dizinin altında ki dosyaları sorgulamak için – rfdir /dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/ drwxrwxr-x Feb 24 15:25 emrahtestmetu emrahtestmetu adinda klasorun yaratildigi görünüyor. Bu klasorun icerisinde ki root dosyalarini sorgualamak icin; – rfdir /dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/QCD pt30/emrahtestmetu/85ab15de603ef7cf9b5741fe5fa3c2df

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan Analiz Sonuçlarının Lokale Taşınması (3) – -rw-rw-r Feb 24 15:31 out_1.root – -rw-rw-r Feb 24 15:30 out_10.root – -rw-rw-r Feb 24 15:31 out_2.root – -rw-rw-r Feb 24 15:25 out_3.root – -rw-rw-r Feb 24 15:25 out_4.root – -rw-rw-r Feb 24 15:25 out_7.root – -rw-rw-r Feb 24 15:31 out_8.root – -rw-rw-r Feb 24 15:30 out_9.root Hata ile sonuclanmis olan 5 ve 6 disinda ki tum dosyalar depolama elemaninda yaratılmıştır. Ev dizinimde kopyasini alabilmek icin, – rfcp /dpm/grid.metu.edu.tr/home/cms/store/user/akk oyun/QCDpt30/emrahtestmetu/85ab15de603ef7 cf9b5741fe5fa3c2df/out_1.root ~emrah/

Enabling Grids for E-sciencE INFSO-RI TR-Grid Üzerinde Atlas Analizi, 08 Nisan Analiz Sonuçlarının Lokale Taşınması (4) Analiz verilerinin TR-Grid üzerinde saklanması 1.Ev Dizininde Saklanması  Yüksek performanslı disklerden oluşmuş yapıdır. O yüzden kullanıcının en fazla 10 GB bir disk kotası vardır.  Veri analiz edileceği zaman burada tutulmalıdır. (Küme) 2./depo1 dizininde tutulması  Verinizi lokal de saklamak veya root dosyası ile açmak için burada tutabilirsiniz. Kullanıcı adınız ile burada dizin yaratılmış durumdadır. Burada ki veriler silinmeyecektir.  Herhangi bir disk kotası kullanıcılar için tanımlanmamıştır. 3.Depaolama Elemanı  Ulusal kullanıcılar için depolama elemanı üzerinde bir alan ayrılarak analiz verilerinin burada tutulması sağlanabilir.