TR-GRID ULUSAL GRID OLUŞUMU GRID PROJELERİ ve GRID UYGULAMALARI Ankara, Temmuz 2007.

... konulu sunumlar: "TR-GRID ULUSAL GRID OLUŞUMU GRID PROJELERİ ve GRID UYGULAMALARI Ankara, Temmuz 2007."— Sunum transkripti:

1 TR-GRID ULUSAL GRID OLUŞUMU GRID PROJELERİ ve GRID UYGULAMALARI Ankara, Temmuz 2007

2 ULUSAL GRID OLUŞUMU TR-GRID Hedefleri Grid çalışmaları ULAKBİM koordinasyonunda hesaplama kaynaklarının grid altyapısı altında toplanması amacı ile 2003 yılında TR-Grid Oluşumu adı altında başlatılmıştır.  Ulusal kullanıcı kitlesini bilgilendirmek  Bölgesel uygulamalar geliştirmek  Ulusal grid altyapısını kurmak  Uluslararası grid projelerine katılmak ...

3 ULUSAL GRID OLUŞUMU TR-Grid Ortakları Kasım 2006’da imzalanan ve 2 yıl geçerliliği olan TR-Grid UGO Anlaşması:  TÜBİTAK ULAKBİM  Bilkent Üniversitesi  Boğaziçi Üniversitesi  Çukurova Üniversitesi  Erciyes Üniversitesi  İstanbul Teknik Üniversitesi  Orta Doğu Teknik Üniversitesi  Pamukkale Üniversitesi

4 ULUSAL GRID OLUŞUMU TR-Grid Kapsamı:  TR-Grid Stratejisi  TR-Grid Site Politikası  TR-Grid Kullanıcı Politikası  Ortak Araştırma Birimi (JRU) ‏  Avrupa Grid Oluşumu (EGI) ‏  Eğitim ve Yaygınlaştırma  Genişleme  Atom Enerjisi Kurumu  Devlet Meteoroloji İşleri  Devlet Planlama Teşkilatı  Kandilli Rasathanesi ve Deprem Araştırma Enstitüsü

5 TR-GRID PROJELERİ TUGA (Türk Ulusal Grid Altyapısı):  TÜBİTAK TARAL Destekli Altyapı  1 M Euro Bütçe

6 TR-GRID PROJELERİ SEE-GRID (2004 - 2006) ‏ (S outh E astern E uropean GR id-enabled e I nfrastructure D evelopment):  TR-Grid test yatağının kurulması  Grid servislerinin ulusal ve bölgesel işletimi  Ulusal Grid Sertifika Otoritesinin akredite olması  Güney Doğu Avrupa Bölgesi için Grid Olanaklı Arama Motorunun geliştirilmesi – SE4SEE (Bilkent Üniversitesi) ‏  Bütçe: 127 K Euro (%80 AB desteği)‏

7 TR-GRID PROJELERİ SEE-GRID2 (2006-2008) ‏ (S outh E astern E uropean GR id-enabled e I nfrastructure D evelopment): Ana Yükleniciler:  GRNET, Yunanistan  CERN, İsviçre  MTA SZTAKI, Macaristan  IPP-BAS, Bulgaristan  ICI, Romanya  TÜBİTAK, Türkiye  ASA/INIMA, Arnavutluk  UoBL, Bosna Hersek  UKIM, Makedonya  UOB, Sırbistan  UoM Karadağ  RENEM Moldovya  RBI, Hırvatistan Alt Yükleniciler:  27 üniversite / araştırma merkezi

8 TR-GRID PROJELERİ SEE-GRID2 (2006-2008) ‏  Belirlenecek uygulamaların grid ortamına taşınması  Ulusal Grid Sertifika Otoritesinin işletilmesi  Uygulamların test edilmesi ve kullanıcı yardım masası desteği  Ulusal ve uluslarası eğitim ve çalıştaylar düzenlemek ve katılmak  Desteklenen Uygulamalar - SDA (Boğaziçi Üniversitesi) ‏ - GPiP (Bilkent – Koç Üniversiteleri) ‏ - GridAE (ODTÜ) ‏ - P-Grade Portal Geliştirme Desteği (ODTÜ) ‏  Bütçe: ~190K Euro (%100 AB desteği) ‏

9 TR-GRID PROJELERİ EUMEDGRID (2006-2008) ‏ (Empowering eScience Across the Mediterranean) ‏  INFN, İtalya (Koordinatör) ‏  CERN, İsviçre  CNRST, Fas  GARR, İtalya  CYNET, Kıbrıs Rum Kesimi  DANTE, İngiltere  EUN, Mısır  GRNET, Yunanistan  HIAST, Suriye  CERIST, Cezayir  MRSTDC, Tunus  TÜBİTAK, Türkiye  RED.ED, İspanya  Uo M, Malta

10 TR-GRID PROJELERİ EUMEDGRID (2006-2008) ‏  EUMEDGRID altyapısına katılım  Grid servislerinin kurulumu ve bölgesel  Bölgesel grid uygulaması geliştirmek - HuM2S (Boğaziçi Üniversitesi) ‏  SEE-Grid ve EGEE'de edinilen tecrübeyi Akdeniz Bölgesine taşımak  Bütçe: 74K Euro (%90 AB desteği) ‏

11 TR-GRID PROJELERİ EGEE ( E nabling G rids for E -Scien E ) ‏  EGEE, Avrupa Birliği tarafından desteklenen ve grid teknolojisindeki yeni gelişmelere dayalı olarak araştırmacılara kesintisiz hizmet veren bir grid servisidir. - 40 Ülkede 200 Site ~ 30 000 CPUs (7/24) ‏ - 5 PB Depolama - 10 000 iş/gün - 90 VOs

12 TR-GRID PROJELERİ EGEE Hedefleri  Yeni hesaplama kaynaklarını kabul edebilecek kararlı, dengeli ve güvenli bir grid ağı oluşturmak  Kullanıcılara güveli bir servis sağlayabilmek için sürekli geliştirilen ve bakımı yapılan bir grid ortakatmanı sağlamak  Bilimsel çalışma yapan kullanıcılar dışında endüstriden de yeni kullanıcılar bulmak  Federasyonlar: - CERN - İrlanda ve İngiltere - İtalya - Fransa - Almanya ve İsviçre - Rusya - Amerika - NRENs - Orta Avrupa - Kuzey Avrupa - Güney Doğu Avrupa - Güney Batı Avrupa

13 TR-GRID PROJELERİ EGEE2  2003 – Yüksek Enerji Fiziği, Biyoinformatik – 1K CPU, 10TB  Pilot Projeler: - LCG (Large Hadron Collider Computing Grid) ‏ - Biyomedical Grids  2007 – Jeofizik, Biyoçeşitlilik, Endüstri, Astronomi, Yer Bilimleri, Kimya, Nanoteknoloji, İklim Modelleme - 40K CPU, 5 PB  TÜBİTAK ULAKBİM’in Rolü: - Network Aktiviteleri (Eğitim, Yaygınlaştırma, Bilinçlendirme) ‏ - Servis Aktiviteleri (Grid servislerinin kurulması ve işletilmesi) ‏ - Bütçe: 360K Euro (%50 AB desteği) ‏

14 GRID UYGULAMALARI SETI@HomeSETI@Home (Searching Extraterrestrial Intelligence) ‏  226 Ülkede, 3.8 M Kullanıcı  1200 CPUs  38TF  Yüksek Heterojen (77 farklı CPU) ‏

15 EGEE Uygulama Ailesi EGEE GRID UYGULAMALARI  Simülasyon  Bulk Veri İşleme  Etkileşimli Uygulamalar  >20 Uygulama - Yüksek Enerji Fiziği (LHC, Tevatron, HERA,...) ‏ - Biyoloji (Biyomedikal, İlaç Araştırmaları, Tıbbi Görüntüleme) ‏ - Yer Bilimleri (Hidroloji, Çevre Kirliliği, İklim Modelleme, Jeofizik) ‏ - Hesaplamalı Kimya - Astrofizik (Planck, MAGIC) ‏ - Füzyon - Finans, Dijital Kütüphane - Nanoteknoloji  İş Akışı  Paralel Uygulamalar  Kalıtsal Uygulamalar

16 SİMÜLASYON EGEE GRID UYGULAMALARI  Örnek Uygulamalar - LHC Monte Carlo Simülasyonu - Füzyon Simülasyonu - WISDOM – Sıtma/Kuş Gribi  Özellikleri - CPU gücü - Çok sayıda bağımsız iş - Uzman kullanıcı - Küçük girdi / büyük çıktı  İhtiyaçlar - İş yönetim araçları - Minimal veri yönetimi

17 BULK VERİ İŞLEME EGEE GRID UYGULAMALARI  Örnek Uygulamalar - HEP veri işleme ve analizi - Yerküre gözlemleri ve veri işleme  Özellikleri - Dağıtık veri girişi - Çok miktarda veri  İhtiyaçlar - İş yönetim araçları - Karmaşık veri yönetimi - Meta veri servisleri

18 ETKİLEŞİMLİ UYGULAMALAR-I EGEE GRID UYGULAMALARI  Örnek Uygulamalar - Prototip çalışmaları - Grid operasyonlarının görsellenmesi  Özellikleri - Küçük ve lokal veri giriş çıkışı - CPU bağımsız - Kısa tepki zamanı (3-5 m) ‏  İhtiyaçlar - Anlık işe öncelik verecek iş yönetimi

19 ETKİLEŞİMLİ UYGULAMALAR-II EGEE GRID UYGULAMALARI  Örnek Uygulamalar - gPTM3D: Tıbbi görüntülerin etkileşimli analizi - GPS@: Web Portalları aracılığı ile biyoinformatik çalışmalar - GATE: Radyoterapi Planlaması - DILIGENT: Dijital Kütüphane - Volkan Sonifikasyonu  Özellikleri - Kısa tepki zamanı - CPU bağımlılığı - Bi-haber grid kullanıcıları :) ‏  İhtiyaçlar - Etkileşimli arayüz - Etik esaslar (gizlilik, kullanıcı hakları) ‏

20 PARALEL UYGULAMALAR EGEE GRID UYGULAMALARI  Örnek Uygulamalar - İklim Modelleme - Deprem Analizi - Hesaplamalı Kimya  Özellikleri - Etkileşimli iş - Paralel CPU kullanımı - MPI kütüphane kullanımı  İhtiyaçlar - MPI kaynaklarının esnek kullanımı - MPI optimizasyonu

21 KALITSAL UYGULAMALAR EGEE GRID UYGULAMALARI  Örnek Uygulamalar - Ticari kaynak kodları - JeoCluster: Jeofizik analiz yazılımları - FlexX: Moleküler yapıştırma yazılımları - Matematik yazılımları  Özellikleri - Lisans - Derlenebilirlik - MPI kütüphane kullanımı  İhtiyaçlar - Grid kurulumu ve sunucu lisansı - Şefaf veri erişimi

22 GENEL ve TEMEL GEREKSİNİMLER GRID UYGULAMALARI  Güvenlik - Servis ve veri erişim kontrolü - İhtiyaca bağlı şifreleme - Tutarlı erişim kontrolü  Sanal Organizasyon Yönetimi - Kullanıcıların, grupların ve rollerin yönetimi - İş önceliğinin kullanıcı, grup ve role göre değişimi - Kota yönetimi - Özel kaynak tanımlanması ve kontrollü erişim

23 TR-Grid UGO Destekli Grid Uygulamaları GRID UYGULAMALARI  Ulusal Destekli Uygulamalar - Eğitim Ontolojisi (AGMLAB, Güven Fidan) ‏  AB Destekli Uygulamalar - SE4SEE (BÜ, Prof. Cevdet Aykanat) ‏ - SDA (BOUN, Prof. Can Özturan) ‏ - G-PiP (BÜ, Prof. Cevdet Aykanat – KÜ, Dr. Atilla Gürsoy) ‏ - GridAE (ODTÜ, Dr. Erol Şahin ve Dr. Cevat Şener) ‏ - P-Grade Portalı (ODTÜ, Dr. Cevat Şener) ‏ - HuM2S (BOUN, Prof. Haluk Bingöl) ‏  YEF (ATLAS, CMS, LHCB) ‏  Bireysel kullanıcılar (MPI)  Paket Program Kullanıcıları (Gaussian, Gamess, NAMD, PWSCF, CPMD, Abinip, VASP, Amber…)

24 Eğitim Ontolojisi – AGMLAB TR-GRID UGO DESTEKLİ GRID UYGULAMALARI  Sayısal ortamda yeralan akademik ve bilimsel kaynakları, araştırmacılara arama motoru teknolojisi ile sunan bir akademik dijital kütüphane  TUGA kapsamında verilen destek ile http://bilgin.grid.org.tr Güven Fidan ve ekibi tarafından geliştirilmiştir.  AGMLAB http://www.bilgi.com geliştiricisi ve TR-Grid UGO’nun ilk endüstriyel iş ortağıdır.

25 SE4SEE (Search Engine for South East Europe) – Bilkent Üniversitesi TR-GRID UGO DESTEKLİ GRID UYGULAMALARI  Grid altyapısında çalışabilen isteğe bağlı, ülkeye özel, kategorik ve kişisel bir arama motorudur.  SEE-GRID kapsamında Prof. Cevdet Aykanat ve öğrencileri tarafından geliştirilmiştir.  http://se4see.grid.org.tr

26 SDA (TR-Grid Üzerinde Kandilli Sismik Veri Sunucusu) – Boğaziçi Üniversitesi TR-GRID UGO DESTEKLİ GRID UYGULAMALARI  Kandilli Rasathanesinin topladığı sismik verilerin grid üzerinde erişim ve hesaplama için sunulması  SEE-GRID2 kapsamında önerilmiş, SEE-GRID-SCI uygulaması olarak seçilen SDA Prof. Can Özturan, Kandilli Rasathanesinden M. Yılmazer ve öğrencileri tarafından geliştirilmektedir.

27 GPiP (Grid Protein – Protein Interaction Prediction) – BÜ- KÜ TR-GRID UGO DESTEKLİ GRID UYGULAMALARI  Protein veri bankalarında yer alan protein – protein etkileşmelerini tahmin eden grid olanaklı bir algoritmanın geliştirilmesi  SEE-GRID2 kapsamında Prof. Cevdet Aykanat, Dr. Atilla Gürsoy ve öğrencileri tarafından geliştirilmektedir.  RAD50 - DNA çift-sarmalı kırılma tamir proteini (1l8dB) ↔ BRCA1 – Göğüs kanseri hassasiyet proteini (1miuA) 1aq5AC yoluyla. Bu etkileşim literatürde doğrulanmıştır.

28 GridAE (Artificial Evolution) – ODTÜ TR-GRID UGO DESTEKLİ GRID UYGULAMALARI  Yapay Evrim uygulamaları için grid tabanlı bir altyapının geliştirlimesi amaçlanmıştır. GridAE evrimsel hesaplamaları grid üzerinde dağıtacak ve kullanıcıya şefaf bir arabirim sağlayacaktır.  Uygulama konusu olarak özerk robotlar için denetleyici geliştirme konusunda çalışılmaktadır.  SEE-GRID2 kapsamında desteklenen GridAE, Dr. Erol Şahin, Dr. Cevat Şener ve öğrencileri tarafından geliştirilmektedir.

29 P-GRADE Portalı – ODTÜ – MTA-SZTAKI TR-GRID UGO DESTEKLİ GRID UYGULAMALARI  P-GRADE portalı seri ya da paralel işlerden oluşan iş akışlarının tanımlanıp çalıştırılmasına, bu işlerin durumunun portal üzerinden takip edilmesine olanak veren bir grid portalıdır.  SEE-GRID2 kapsamında desteklenen P- Grade Portalı Prof. Peter Kascuk, Dr. Cevat Şener ve öğrencileri tarafından geliştirilmektedir.  http://www.grid.org.tr/servisler/pgrade/

30 HuM2S (Human Memory Modelling by Simulation) – Boğaziçi Üniversitesi TR-GRID UGO DESTEKLİ GRID UYGULAMALARI  İnsanlar arasındaki tavsiye etme ve sosyal baskı gibi etkileşimlere dayalı bir karmaşık sistemin insan belleğinde neden olduğu değişimlerin simüle edilmesi  EUMEDGRID kapsamında desteklenen HuM2S, Prof. Haluk Bingöl ve öğrencileri tarafından geliştirilmektedir.

31 SONUÇ TR-GRID ULUSAL GRID OLUŞUMU  Yeni projeler “FP7 (SEE-GRID-SCI, MEDIAN, EGEE3,...)”  Yeni “Grid Kullanıcıları”  Yetkin “Grid Sistem Yöneticileri”  Grid Eğitimleri ve Ulusal Grid Çalıştayına aktif katılım  Kamu ve Endüstri ortaklıkları .... İLGİNİZ İÇİN TEŞEKKÜR EDERİM www.grid.org.tr burcu@ulakbim.gov.tr grid@ulakbim.gov.tr