EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org Grid Ortamında Veri Yönetimi Emrah AKKOYUN I. Ulusal Yüksek Başarım ve Grid Konferansı.

Slides:



Advertisements
Benzer bir sunumlar
Kabuk ve Kısayollar-I.
Advertisements

Kullanıcılar için EGEE ve TR-Grid araçları
TR-GRID Üzerinde Kandilli Sismik Veri Sunucusu
I. Ulusal Yüksek Başarım ve Grid Konferansı Deprem Merkezi Bulma Uygulamasının JDL İş Akışları ile Paralelleştirilmesi M.Yilmazer, R. Arikan, M. S. Geden,
gLite Grid Servisleri ve Güvenlik Aslı Zengin – Onur Temizsoylu –
SEE-Grid Eğitim Altyapısı. Pratik eğitimler SEE-Grid eğitim sanal organizasyonu (sgdemo) üzerinden verilecektir. Bu sanal organizasyona.
Grid Ortamında İş Gönderme I. Ulusal Yüksek Başarım ve Grid Konferansı Nisan 2009, ODTÜ, Ankara
2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA Peter Kacsuk’un sunumundan alıntılarla P-GRADE Portalı Cevat Şener Bilgisayar Mühendisliği Bölümü,
OKULU, 30 Nisan – 2 Mayıs 2008, ANKARA GRİD VERİ YÖNETİMİ OKULU 30 Nisan – 2 Mayıs 2008, Türkiye Atom Enerjisi Kurumu, Ankara.
Grid Ortamında İş Gönderme TR-Grid Okulu 30 Nisan 2008, TAEK, Ankara.
MS-DOS DESEM 2008 EMRE UNSAL – ÖZLEM AKTAŞ. İ ŞLET İ M S İ STEM İ Kavramı İ şletim sistemini, bir bilgisayar sisteminde kullanıcı ile iletişim kurarak,
WEB SAYFALARININ SUNUCUYA YERLEŞTİRİLMESİ Okutman İlyas KOÇ.
GLite Grid Servisleri Aslı Zengin – Onur Temizsoylu – /38.
TÜBİTAK ULAKBİM YÜKSEK BAŞARIMLI BİLGİ İŞLEM MERKEZİ TÜBİTAK ULAKBİM Küme Bilgisayar ve Grid Üzerine İş Gönderimi Onur Temizsoylu – Kürşad.
Bilgisayar Mühendisliği Bölümü Bilgi Servisleri (IS) GRID Kullanıcı Eğitimi Boğaziçi Üniversitesi 2007, İstanbul Emrah AKKOYUN.
Dağıtık Ortak Hafızalı Çoklu Mikroişlemcilere Sahip Optik Tabanlı Mimari Üzerinde Dizin Protokollerinin Başarım Çözümlemesi I. Ulusal Yüksek Başarım ve.
Grid Bilgi Sistemleri (Grid Information Systems) ‏ TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007) ‏ Hakan Bayındır.
Open Systems Interconnection
TR-GRID ULUSAL GRID OLUŞUMU GRID PROJELERİ TÜBİTAK ULAKBİM Ankara, Şubat 2007.
TR-Grid Servisleri I. Ulusal Yüksek Başarım ve Grid Konferansı Nisan 2009, ODTÜ, Ankara Bu sunum.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Küme Bilgisayarlar Onur Temizsoylu Grid ve.
EGEE GRID UYGULAMALARI Dr. Burcu Akcan TÜBİTAK ULAKBİM Ankara, Şubat 2007.
TR-GRID Servisleri ve Grid Güvenliği (Küme Bilgisayar ve Grid Mimarileri) Aslı Zengin Ankara, Nisan 2008 Bu sunum Bob Jones’un ve Christos.
PHP-Dosya ve Dizinler Internet Tabanlı Programlama Dr. Erman Yukselturk.
Grid Nedir? Cevat Şener BMB-ODTÜ
Grid Veri Yönetimi Aslı Zengin /38.
Grid Hesaplaması Özgür Erbaş GRID Kullanıcı Eğitimi Boğaziçi Üniversitesi 2007, İstanbul.
Grid İş Gönderme Emrah Akkoyun,
Küme Bilgisayarlarda PBS Kuyruk Sistemi
INFSO-RI Enabling Grids for E-sciencE TR-Grid Üzerinde Atlas Analizi Emrah AKKOYUN Yüksek Başarım ve Grid Hesaplama Merkezi, TÜBİTAK-ULAKBIM.
Grid Veri Yönetimi Emrah Akkoyun, Feyza Eryol,
Kabuk ve Kısayollar BİLGİSAYAR PROGRAMCILIĞI BÖLÜMÜ
Lınux Command arch:Makine mimarisi hakkinda bilgi verir. “uname -m” komutu ile ayni isleve sahiptir. cat [dosya]:Dosyalari ardarda siralayarak standart.
İnternet Teknolojisi Temel Kavramlar
Enabling Grids for E-sciencE CRAB ile TR-Grid Üzerinde Analiz Emrah AKKOYUN TÜBİTAK-ULAKBİM Mehmet Vergili Çukurova Üniversitesi.
Dosya İşlemleri BİLGİSAYAR PROGRAMCILIĞI BÖLÜMÜ
DOS İŞLETİM SİSTEMİ DOS işletim sistemini öğrenmek bilgisayarda bilginin nasıl depolandığını ve depolama ortamında düzenlenmenin hangi mantıkla yapıldığının.
Excel’de VBA programlama (Visual Basic Application) Ders 6
TR-GRID Servisleri ve Grid Güvenliği
9-10 Temmuz 2007, Tübitak Ulakbim, Ankara Peter Kacsuk’un sunumundan alıntılarla P-GRADE Portalı Birsen Omay
Kullanıcılar için EGEE ve TR-Grid araçları GRID Kullanıcı Eğitimi Boğaziçi Üniversitesi 2007, İstanbul Emrah AKKOYUN.
Yrd.Doç.Dr. Sevinç İlhan Omurca - OS Bölüm 12
PBS Betiği Hazırlama ve
TÜBİTAK ULAKBİM YÜKSEK BAŞARIMLI BİLGİ İŞLEM MERKEZİ Küme Bilgisayarlar ve GRID Servisleri Onur Temizsoylu TÜBİTAK ULAKBİM
Kullanıcı Pratik Eğitimi. Kullanıcı Arayüzüne Erişim Kullanıcı arayüzüne ssh ile bağlanın ssh –l egitim(1-20) somon.ulakbim.gov.tr.globus.
Grid Orta Katmanı ve İş Akışı TR ATLAS Gaziantep Grid Workshop Haziran, Gaziantep Üniversitesi.
Kullanıcı Pratik Eğitimi Özgür Erbaş
TR-Grid Altyapısında Çalışan Uygulamalar.
Dosya İzinleri Öğr. Gör. Mustafa SARIÖZ BİLGİSAYAR TEKNOLOJİLERİ VE PROGRAMLAMA BÖLÜMÜ BİLG 223 AĞ İŞLETİM SİSTEMLERİ DERSİ.
Dosya İşlemleri Öğr. Gör. Mustafa SARIÖZ BİLGİSAYAR TEKNOLOJİLERİ VE PROGRAMLAMA BÖLÜMÜ BİLG 223 AĞ İŞLETİM SİSTEMLERİ DERSİ.
Dosya İşlemleri Öğr. Gör. Mustafa SARIÖZ BİLGİSAYAR TEKNOLOJİLERİ VE PROGRAMLAMA BÖLÜMÜ BİLG 223 AĞ İŞLETİM SİSTEMLERİ DERSİ.
İnternet Teknolojisi Temel Kavramlar
Kabuk işlemleri.
Grid Site Kurulumu deployment/documentation/LCG2-Manual-Install/
Gaziantep Workshop, Haziran 2008, Gaziantep Üniversitesi GRİD VERİ YÖNETİMİ TR ATLAS Gaziantep Grid Workshop Haziran, Gaziantep Üniversitesi.
Grid Ortamında İş Gönderme Feyza Eryol, Emrah Akkoyun,
Chapter 11: Dosya Sistem Arayüzü
BMS-301 Kabuk Programlama Güz 2015 (2. Sunu) (Yrd. Doç. Dr. Deniz Dal)
Yardım Komutları Linux’ta komutlar hakkında yardım almak için aşağıdaki komutlar kullanılır : - man - info - whatis - apropos.
KIRKLARELİ ÜNİVERSİTESİ
BM-308 Paralel Programlamaya Giriş Bahar 2016 (1. Sunu) (Yrd. Doç. Dr. Deniz Dal)
B İ L İŞİ M S İ STEMLER İ GÜVENL İĞİ (2016) PROF. DR. ORHAN TORKUL ARŞ. GÖR. M. RAŞIT CESUR.
XML ve XML WEB SERVİSLERİ Volkan ALTINTAŞ. XML Bağımsız bir kuruluş olan W3C tarafından tasarlanmıştır. Herhangi bir kurumun tekelinde değildir. Kişilerin.
FTP Nedir ? Deniz Kaya FTP NEDİR ? Ftp (File Transfer Protocol), dosya gönderme protokolü manası gelir. Bir bilgisayardan bir başka bilgisayar.
Linux Komutları.
Paralel Programlamaya Giriş
FTP Server Eray Demir
Ocak, 2013 Akdeniz Üniversitesi
Uzm. Rıdvan YAYLA – Bilecik Üniversitesi Müh. Fak. Bilg. Müh. Bölümü
Amazon Web Servisleri ve Javascript Dilinin Birlikte Kullanımı
Sunum transkripti:

EGEE-II INFSO-RI Enabling Grids for E-sciencE Grid Ortamında Veri Yönetimi Emrah AKKOYUN I. Ulusal Yüksek Başarım ve Grid Konferansı Nisan 2009, ODTÜ KKM, Ankara

Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE Tutorial, Taipei, 1 May 2006 Motivasyon Grid Veri Yönetimi Nedir? –Depolama Elemanları gLite Orta Katmanı –Dosya Adları ve Kataloğu –LFC ve Komutları –LFC Komutları-Örnekler Dosya ve Replika Yönetimi –LCG ve Komutları –LCG Komutları-Örnekler –Diğer Komutlar 1. Kısım 2. Kısım İÇERİK

Enabling Grids for E-sciencE EGEE-II INFSO-RI Verilerin analiz edilebilmesi için gerekli hesaplama ve depolama ihtiyaçların gün geçtikçe artması Hesaplamalı Yüksek Enerji Fiziği  Devasa veriler üretiliyor  Uluslararası İş Birliği Örnek: Large Hadron Collider (LHC), CERN‏ Saniye de 40 Milyon çarpışma Yılda ~ 15 Petabyte (~15 Milyon GBytes)‏ Mont Blanc (4810 m)‏ Downtown Geneva Concorde (15 Km) ‏ Balloon (30 Km) ‏ CD stack with 1 year LHC data! (~ 20 Km) ‏ Mt. Blanc (4.8 Km) ‏ Motivasyon – Parçacık Fiziği

Enabling Grids for E-sciencE EGEE-II INFSO-RI Motivasyon – Parçacık Fiziği Hızlı, güvenilir ve sürekli veri transferi kanallarının kurulması (FNAL, PIC, FZK, CERN METU)‏

Enabling Grids for E-sciencE EGEE-II INFSO-RI Motivasyon – Sismoloji Verileri 2005 yılı sonrası tüm sismik verilerinin grid ortamına taşınması (waveform data)‏ 2008 yılı için; 253 istasyon, 1 saat de 253 yeni kayıt Toplam 253*24*365=2,216,280 kayıt Diğer ülkelerin kayıtları (Ermenistan, Gürcistan, Makedonya, Moldova,...)‏

Enabling Grids for E-sciencE EGEE-II INFSO-RI Motivasyon – Sismoloji Verileri

Enabling Grids for E-sciencE EGEE-II INFSO-RI Veri Yönetimi için 3 farklı temel servis bulunmaktadır. –Depolama (SE's): Dosyaların fiziksel olarak saklandığı yerdir.  Storage URL or SURL: srm://castorsc.grid.sinica.edu.tw/data/dteam/mytest.dat –Katalog: Dosyaların fiziksel isimleriyle kullanıcı tarafından tanımlanan mantıksal isimlerin eşleştirilmesini sağlar.  Logical File Name or LFN: lfn:/grid/dteam/mytest.dat –Veri Transferi: Dosyaların depolama elemanına taşınması/alınması, depolama elemanları arasında replikalarının oluşturulması  File Transfer Service or FTS  Transport URL or TURL: gsiftp://sc003.grid.sinica.edu.tw:2811/data/dteam/mytest.dat Temel Servisleri

Enabling Grids for E-sciencE EGEE-II INFSO-RI JDL (İş Tanımlama Dili) ile ancak 20 MB boyutundan küçük veriler gönderilebilir. Büyük boyutta dosyaların tutulduğu bilgisayara Depolama Elemanı (SE) denir. Depolama Elemanı, Hesaplama Elemanları(CE) ile neredeyse tüm sitelerde bulunur. Kullanıcılar gibi uygulamalar da veri isteğinde bulunup, veri üretebilirler. Kullandığı protokoller –GSIFTP: Depolama elemanı ve uygulamalar arasında güvenli, hızlı ve verimli dosya transferini sağlar. –RFIO & gsiDCap: Depolama elemanlarında depolanan dosyalara doğrudan uzaktan erişimi sağlarlar. Depolama Elamanı

Enabling Grids for E-sciencE EGEE-II INFSO-RI Grid ortamında 4 farklı tip depolama elemanı mevcuttur: –ClassicSE –CASTOR –dCache –LCG Disk Pool Manager Depolama Kaynak Yönetimi (SRM)‏ –Pratik kullanımı sağlar Depolama Elemanı

Enabling Grids for E-sciencE EGEE-II INFSO-RI Depolama Elemanı Client User/Application Grid Middleware SRM Castor dCache DPM

Enabling Grids for E-sciencE EGEE-II INFSO-RI Grid Unique IDentifier (GUID)‏ –Grid de bulunan her bir dosya mutlaka bir GUID ile belirtilir –Dosyanın tüm replikaları aynı GUID ile paylaştırılır –guid: guid:38ed3f60-c402-11d7-a6b0-f53ee5a37e1d Logical File Name (LFN)‏ –GUID’si belirli olan kullanıcının belirlediği takma isim –lfn:/grid/ / / lfn:/grid/sgdemo/deneme gLite Orta Katmanı Dosya Adları

Enabling Grids for E-sciencE EGEE-II INFSO-RI Storage URL(SURL) ya da Physical File Name(PFN)‏ –Dosyanın depolama elemanındaki gerçek alanına verilen isim (Dosyanın Grid'de fiziksel yerini tanımlar)‏ –Replika Yönetim Sistemi (RMS) tarafından dosyanın nerede tutulduğunu öğrenmek amacıyla kullanılır. –sfn:// / / sfn://se.ulakbim.gov.tr/data/trgridb/dosya1 Transport URL (TURL)‏ –Dosyanın depolama elemanında geçici olarak tutulduğu alan – :// / / gsiftp://se.ulakbim.gov.tr/data/trgirdb/dosya1 gLite Orta Katmanı Dosya Adları

Enabling Grids for E-sciencE EGEE-II INFSO-RI GUID, LFN ve SURL’ler arasında eşleştirmeyi sağlar Kayıt yaptırmış tüm dosyaların bilgisini tutar ve yayınlar Yerel ya da genel olarak servis verebilir Grid Dosyası: Fiziksel olarak depolama elemanında yer alan, ve mantıksal olarak LFC kaydı yapılmış dosyalardır. Dosya Kataloğu LCG File Catalogue - LFC Katalog SE

Enabling Grids for E-sciencE EGEE-II INFSO-RI gLite Dosya Kataloğu Kullanıcı Tanımlı Meta Veri Kullanıcı Meta Verisi lfn:/grid/itut/tut /user01/dm-file-user01 LFN lfn:/grid/itut/tut /user01/dm-file- user02 Sembolik Bağlantı lfn:/grid/itut/tut /user01/dm-file- user02 Sembolik Bağlantı lfn:/grid/itut/tut /user01/dm-file- user02 Sembolik Bağlantı “size”  “cksum_type  “MD5” “cksum”  “xxxxxx” Sistem Meta Verisi guid:7ae088c8-79b e4b-4a139fd418ec GUID srm://dcache01.lip.pt/pnfs/lip.pt/data/itut/tut /dm-file- user01 Replika srm://dcache01.lip.pt/pnfs/lip.pt/data/itut/tut /dm-file- user01 Replika srm://dcache01.lip.pt/pnfs/lip.pt/data/itut/tut /dm-file- user01 Replika

Enabling Grids for E-sciencE EGEE-II INFSO-RI Veri Yönetimini iki temel seviye altında özetlenebilir. –Fiziksel Seviye : Depolama Elemanı (SE)‏ –Mantıksal Seviye: Dosya Katalogu (LFC)‏ Depolama Elemanları verilerin fiziksel olarak tutulduğu bilgisayarlardır. LFN'ler dosyaların metadata bilgisi ile (Dosyanın gerçek ismi, boyutu, erişim izinleri, düzenlenme zamanı gibi) birlikte Kataloga kaydedilir. Böylece, kullanıcılara kendi masaüstü bilgisayarlarını kullanılıyormuş izlenimi verilmesi amaçlanır. ÖZET

Enabling Grids for E-sciencE EGEE-II INFSO-RI LFC Komutları LFC dosya ya da dizininin eklenmiş yorum bilgisini silerlfc-setcomment LFC dosya ya da dizininin erişim kontrol listesini tanımlarlfc-setacl LFC dosya ya da dizinini silerlfc-rm LFC dosya ya da dizininin dosya/dizin ismini değiştirirlfc-rename LFC dizin yaratırlfc-mkdir LFC’de dosya ve dizinleri listelerlfc-ls LFC dosya ya da dizinine sembolik Link yaratırlfc-ln LFC dosya ya da dizininin erişim kontrol listesini alırlfc-getacl Delete the comment associated with the file/directorylfc-delcomment LFC dosya ya da dizininin sahiplik bilgilerini değiştirirlfc-chown LFC dosya ya da dizininin erişim haklarını değiştirirlfc-chmod Grid Dosya Kataloğu Komut Seti

Enabling Grids for E-sciencE EGEE-II INFSO-RI Dosya katalogunun kullanılabilmesi için –Geçerli bir proxy sertifikasının oluşturulması gereklidir. –$LFC_CATALOG_TYPE, $LFC_HOST çevre değişkenlerinin tanımlanmış olması gerekmektedir: export LCG_CATALOG_TYPE=lfc export LFC_HOST=lfc.ulakbim.gov.tr –lfc-* komutları kullanılırken, Örnek: /grid/sgdemo/basarim09.txt LFC Komutları Kullanıcı Tanımlı DizinLFC Ad Uzayı LFC ağaç yapısına sahiptir. lfn:/grid/ /

Enabling Grids for E-sciencE EGEE-II INFSO-RI lfc-ls: Verilen bir dizindeki LFN’leri listeler /grid/ / LFC Komutları Örnek $ lfc-ls –l /grid/sgdemo/... -rw-rw-r Jun 21 09:39 tutor14 -rw-rw-r Jun 21 09:40 tutor16-mytxt -rw-rw-r Jun 21 09:36 uploadfile -rw-rw-r Jun 21 09:36 uploadfilelfn -rw-rw-r Jun 21 09:38 user.example -rw-rw-r Jun 21 09:38 user.example2...

Enabling Grids for E-sciencE EGEE-II INFSO-RI LFC Komutları Örnek $ lfc-ls –l /grid/sgdemo/user.example -rw-rw-r Jun 21 09:38 user.example –Çalışmak istediğiniz ev dizinini belirtirseniz, her zaman girmek zorunda kalmazsınız. $ export LFC_HOME=/grid/sgdemo/ $ lfc-ls –l user.example -rw-rw-r Jun 21 09:38 user.example

Enabling Grids for E-sciencE EGEE-II INFSO-RI lfc-ln –s dosya/dizin link_adı : Sembolik bağlantı oluşturur: $ lfc-ln -s user.example link_to_user lfc-mkdir : Dizin oluşturur. $ lfc-mkdir Ekim2007-user Oluşturulan dizini görmek için: $ lfc-ls -l –lfc-delcomment path LFC’deki bir dosya dizine ait açıklamayı siler LFC Komutları Örnek

Enabling Grids for E-sciencE EGEE-II INFSO-RI LFC Komutları Örnek lfc-setcomment $lfc-setcomment user.example “Merhaba” Eklediğimiz yorumu görmek için: $lfc-ls --comment user.example /grid/gilda/user.example Merhaba lfc-delcomment $lfc-delcomment user.example Sildiğiniz yorumu görmek için: $lfc-ls –l --comment user.example -rw-rw-r Jun 21 09:38 /grid/sgdemo/user.example

Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE Tutorial, Taipei, 1 May 2006 Grid Veri Yönetimi Nedir? –Depolama Elemanları gLite Orta Katmanı –Dosya Adları ve Kataloğu –LFC ve Komutları –LFC Komutları-Örnekler Dosya ve Replika Yönetimi –LCG ve Komutları –LCG Komutları-Örnekler 1. Kısım 2. Kısım İÇERİK

Enabling Grids for E-sciencE EGEE-II INFSO-RI LCG –Basit ve etkin dosya transfer yöntemidir. –Grid ortamına veri aktarımı ve grid ortamından veri alımı için kullanılır. –Aynı zamanda grid ortamında bulunan verilerin farklı depolama elemanlarında kopyasının alınmasını sağlar. Dosya ve Replika Yönetimi

Enabling Grids for E-sciencE EGEE-II INFSO-RI LCG Komutları Replika Yönetimi Verilen bir LFN, GUID ya da SURL’nin replikalarını listelerlcg-lr Verilen bir LFN ya da SURL’nin GUID’sini getirirlcg-lg Verilen bir LFN, GUID ya da SURL takma isimlerini listelerlcg-la SE’deki bir dosyanın LFC’deki kaydını silerlcg-uf SE’deki bir dosyayı LFC’ye kaydederlcg-rf Verilen bir GUID’nin LFC’deki takma ismini kaldırırlcg-ra Verilen bir GUID’ye LFC’de takma isim (alias) eklerlcg-aa Bir dosyayı bir SE’den başka bir SE’ye kopyalar ve LFC’ye kaydederlcg-rep SE’deki bir dosyayı siler (bir replika ya da tüm replikalar olabilir)‏lcg-del Lokalde ki bir dosyayı SE’ye kopyalar ve LFC’ye kaydeder (upload)‏lcg-cr Bir grid dosyasını yerel makinaya kopyalar (download)‏lcg-cp

Enabling Grids for E-sciencE EGEE-II INFSO-RI İlgili sanal organizasyonu (sgdemo) destekleyen depolama elemanlarını sorgulamak için; –lcg-infosites --vo sgdemo se LCG Komutları

Enabling Grids for E-sciencE EGEE-II INFSO-RI Çalışma değişkenlerinin tanımlanması; –Kullanılacak Bilgi Servisinin Tanımlanması  export LCG_GFAL_INFOSYS=bdii.ulakbim.gov.tr:2170 –Dahil olunan sanal organizasyon adı  export LCG_GFAL_VO=sgdemo –Kullanılacak depolama elemanı (default)‏  export VO_sgdemo_DEFAULT_SE=se.ulakbim.gov.tr LCG Komutları

Enabling Grids for E-sciencE EGEE-II INFSO-RI LCG Komutları lcg-cr: $lcg-cr -d se.ulakbim.gov.tr –l lfn:/grid/sgdemo/egitim.out -v --vo sgdemo file:/home/egitim20/egitim.outfile:/home/egitim20/egitim.out –sgdemo VO’sunun kullanıcısına ait –kullanıcı arayüzündeki /home/egitim20/egitim.out dosyasını –lfn:/grid/sgdemo/egitim.out LFC kaydı altında –se.ulakbim.gov.tr depolama elemanına –-v verbose özelliğini kullanarak kopyalar Komutun çıktısı –se.ulakbim.gov.tr’ye kopyalanan egitim.out dosyası için oluşturulmuş GUID geri döner: guid:5dfb82d2-c26a-444a-8c83-9d2c35d84d05

Enabling Grids for E-sciencE EGEE-II INFSO-RI Data movement: High level tools Dosyanın grid ortamına taşınması ve dosya katoluğuna kaydedilmesi lcg-cr -vo MyVO file://$PWD/text_file.txtfile://$PWD/text_file.txt -d se.destination lfn:/grid/MyVO/myDIR/myFILE LFC server SRM SE1 gridftp1 gridftp2 gridftp3 pool Bilgi sistemlerinden kullanılabilir depolama elemanı ve boyutları sorgulanabilir. Copy Register Veri seti meta bilgisi LFC ile sorgulanabilir

Enabling Grids for E-sciencE EGEE-II INFSO-RI LCG Komutları lcg-cp: $ lcg-cp -t 100 -v --vo sgdemo lfn:/grid/sgdemo/egitim.out file:///tmp/egitim.kopyafile:///tmp/egitim.kopya –sgdemo VO’sunun kullanıcısına ait, –LFC’de lfn:/grid/sgdemo/egitim.out ile kayıtlı dosyayı, –-t timeout 100 saniye olacak şekilde, – kullandığımız kullanıcı arayüz makinasında /tmp/ altına egitim.kopya olarak, –- v verbose modda kopyalar. Diğer komutlarda da olduğu gibi lfn yerine guid ya da sfn de kullanılabilir.

Enabling Grids for E-sciencE EGEE-II INFSO-RI LCG Komutları lcg-rep: $lcg-rep –d se02.grid.acad.bg -v --vo sgdemo guid:5dfb82d2-c26a- 444a-8c83-9d2c35d84d05 –sgdemo VO’sunun kullanıcısına ait, –guid:5dfb82d2-c26a-444a-8c83-9d2c35d84d05 ile saklanan dosyanın, –se02.grid.acad.bg isimli depolama elamanına replikasını oluşturur. Benzer şekilde aşağıda ki komutlarda aynı amaçla kullanılabilir. $lcg-rep –d se02.grid.acad.bg -v --vo sgdemo lfn:/grid/sgdemo/egitim.out $lcg-rep –d se02.grid.acad.bg -v --vo sgdemo sfn://se.ulakbim.gov.tr/storage3/sgdemo/generated/ /fileX

Enabling Grids for E-sciencE EGEE-II INFSO-RI LCG Komutları lcg-lr: $ lcg-lr --vo sgdemo lfn:/grid/sgdemo/egitim.out –sgdemo VO’sunun kullanıcısına ait, –LFC’de lfn:/grid/sgdemo/test.out takma ismi ile saklanan, –tüm replikaları listeler. Komutun çıktısı: sfn://se.ulakbim.gov.tr/storage3/sgdemo/generated/ /fileX sfn://se02.grid.acad.bg /storage/sgdemo/generated/ /fileY

Enabling Grids for E-sciencE EGEE-II INFSO-RI LCG Komutları lcg-lg: $ lcg-lg --vo sgdemo sfn://se.ulakbim.gov.tr/storage3/sgdemo/generated/ /fileX –sgdemo VO’sunun kullanıcısına ait, –SE’de lfn://se.ulakbim.gov.tr/storage3/sgdemo/generated/ /fileX ile saklanan dosyanın, –GUID’sini göster. $ lcg-lg --vo sgdemo lfn:/grid/sgdemo/egitim.out –sgdemo VO’sunun kullanıcısına ait, –LFC’de lfn:/grid/sgdemo/egitim.out ile kayıtlı dosyanın, –GUID’sini göster.

Enabling Grids for E-sciencE EGEE-II INFSO-RI LCG Komutları lcg-del: $ lcg-del -s se.ulakbim.gov.tr --vo sgdemo guid:91b89dfe-ff bad2- c538bfa28fac –sgdemo VO’sunun kullanıcısına ait, –91b89dfe-ff bad2-c538bfa28fac GUID’li grid dosyasının, –se.ulakbim.gov.tr’deki replikasını siler. $ lcg-del –a --vo sgdemo guid:91b89dfe-ff bad2-c538bfa28fac –sgdemo VO’sunun kullanıcısına ait, – 91b89dfe-ff bad2-c538bfa28fac –GUID’li grid dosyasının tüm replikalarını siler.

Enabling Grids for E-sciencE EGEE-II INFSO-RI LCG Komutları lcg-aa: $ lcg-aa --vo sgdemo guid:91b89dfe-ff bad2-c538bfa28fac lfn:/grid/sgdemo/yeni_alias –sgdemo VO’sunun kullanıcısına ait, –91b89dfe-ff bad2-c538bfa28fac GUID’li grid dosyası için, –LFC’de lfn:/grid/sgdemo/yeni_alias isimli yeni bir takma isim (alias) tanımlanmasını sağlar. lcg-la: Belirtilen GUID’ye ait bütün takma isimleri listeler. $lcg-la --vo sgdemo guid:91b89dfe-ff bad2-c538bfa28fac Komutun çıktısı: lfn:/grid/sgdemo/test.out (eski alias)‏ lfn:/grid/sgdemo/yeni_alias (eklenen yeni alias)‏

Enabling Grids for E-sciencE EGEE-II INFSO-RI LCG Komutları lcg-ra: $ lcg-ra --vo sgdemo guid:91b89dfe-ff bad2-c538bfa28fac lfn:/grid/sgdemo/test.out – sgdemo VO’sunun kullanıcısına ait, – 91b89dfe-ff bad2-c538bfa28fac GUID’li grid dosyası için, – LFC’deki lfn:/grid/sgdemo/test.out alias'ını siler. $lcg-la --vo sgdemo guid:91b89dfe-ff bad2-c538bfa28fac – Belirtilen GUID’ye ait bütün takma isimlerini listeler. – Komutun çıktısı: lfn:/grid/sgdemo/yeni_alias test.out takma ismi silindiği için artık listede görünmemektedir.

Enabling Grids for E-sciencE EGEE-II INFSO-RI Veri Yönetimi – Örnek Senaryo(1)‏ KaynakPaylaştırıcısıDepolama Elemanı 1 HesaplamaElemanı Input “sandbox” Input “sandbox” + Broker Info Output “sandbox” “Kullanıcı Arayüzü” Depolama Elemanı 2 İşin sonucunu SE’ye yazdır, replikasını oluştur. Max. 20MByte Veri Seti Bilgi LCG Dosya Katoloğu

Enabling Grids for E-sciencE EGEE-II INFSO-RI Veri Yönetimi – Örnek Senaryo(2)‏ KaynakPaylaştırıcıDepolama Elemanı 1 HesaplamaElemanı Input “sandbox” Input “sandbox” + Broker Info Output “sandbox” “Kullanıcı Arayüzü” Depolama Elemanı 2 SE üzerinde ki veri üzerinde analiz yap Max. 20MByte Veri Seti Bilgi LCG Dosya Kataloğu Veriye yakın yerde işi koştur

Enabling Grids for E-sciencE EGEE-II INFSO-RI YAPACAKLARIMIZ –Çalışma dizininin yaratılması –Lokal bilgisayardan SE'ye dosya kopyalanması –Grid ortamından lokal bilgisayara dosya taşınması –Grid ortamından dosyanın temizlenmesi Diğer Komutlar DEMO

Enabling Grids for E-sciencE EGEE-II INFSO-RI İleri Düzey Dosya Taşıma Senaryo: Grid ortamında bir SE'den diğerine verinin taşınması Disk pool Disk pool Gridftp serverN gridftp::STOR gridftp::RETR globus-url-copy gsiftp://gFTP1/.. gsiftp://gFTPn/.. SURL TURL Gridftp server2 Gridftp server3 Gridftp serverN-1 Gridftp server1 Dosyaya erişim için gerekli ön adın hatırlanması zordur SE1 SE2

Enabling Grids for E-sciencE EGEE-II INFSO-RI İleri Düzey Dosya Taşıma Senaryo: Dosyanın SE'den lokale taşınması Disk pool srmcp srm://srm1.source/.. file:////mydir/MYFLE Gridftp server2 Gridftp server3 Gridftp server1 SE1 SRM server Kullanıcıdan saklanır Kullanıcı etkileşir.

Enabling Grids for E-sciencE EGEE-II INFSO-RI DEMO Tüm olabilir FTS veri kanallarının listelenmesini sağlarglite-transfer-channel- list Tüm kullanıcıların gönderdiği işler sorgulanırglite-transfer-list Verilen iş numarası ile gönderilen iş iptal edilirglite-transfer-cancel Verilen İş numarası ile transferin durumu sorgulanırglite-transfer-status Transfer işinin gönderilmesi: Gönderici ve alıcı için SURL gerekiyorglite-transfer-submit FTS istemcisi

Enabling Grids for E-sciencE EGEE-II INFSO-RI TEŞEKKÜRLER TÜBİTAK-ULAKBİM Emrah AKKOYUN KAPANIŞ