Www.grid.org.tr Grid Uygulamarı Bu sunum, Peter Kacsuk ve Gergely Sipos “Introduction to Grids and Grid applications” ve C. Loomis “Characteristic of Grid.

... konulu sunumlar: "Www.grid.org.tr Grid Uygulamarı Bu sunum, Peter Kacsuk ve Gergely Sipos “Introduction to Grids and Grid applications” ve C. Loomis “Characteristic of Grid."— Sunum transkripti:

1 www.grid.org.tr Grid Uygulamarı Bu sunum, Peter Kacsuk ve Gergely Sipos “Introduction to Grids and Grid applications” ve C. Loomis “Characteristic of Grid Applications” sunumlarından alıntılar ile oluşturulmuştur.

2 Ulusal Grid Çalıştayı, Ankara, 1 Mart 20072/32 Neden Grid? Araştırmacıların kompleks bir işte Hesaplama zamanını azaltmak için Büyük verilere ulaşmak için Özel ekipmanlara ulaşmak için Diğer kullanıcılarla çalışabilmek için çok sayıda kaynağa veya servise ihtiyacı vardır. Internet

3 Ulusal Grid Çalıştayı, Ankara, 1 Mart 20073/32 Masaüstü Gridi Internet Dinamik kaynak bağışlama Üniversite Sunucusu PC bağışlayan Uygulama

4 Ulusal Grid Çalıştayı, Ankara, 1 Mart 20074/32 SETI: Evrensel Masaüstü Gridi SETI@home 226 ülkede 4 milyon kullanıcı 1200 CPU sene/gün 38 TF 77 farklı işlemci tipi

5 Ulusal Grid Çalıştayı, Ankara, 1 Mart 20075/32 Kümeler ile Grid Internet Boş kaynakların 7/24 bağışlanması Enst1 Kullanıcı Enst2 Kullanıcı Bağışlayan ve kullanan

6 Ulusal Grid Çalıştayı, Ankara, 1 Mart 20076/32 En Büyük Çalışan Grid: EGEE Scale > 49 ülkede 224 site ~ 38.000 işlemci > 15 PB veri alanı > Günde onbinlerce çalışan iş > Yüzden fazla kayıtlı sanal organizasyon

7 Ulusal Grid Çalıştayı, Ankara, 1 Mart 20077/32 ~ 8 site, ~1000 CPU Geliştirilen grid uygulamaları, üniversiteler arası işbirlikleri, HPC kullanıcıları, LCG kullanıcıları TR-Grid

8 Ulusal Grid Çalıştayı, Ankara, 1 Mart 20078/32 TeraGrid NCSA: Compute IntensiveSDSC: Data IntensivePSC: Compute Intensive IA64 Pwr4 EV68 IA32 EV7 IA64 Sun 10 TF IA-64 128 large memory nodes 230 TB Disk Storage 3 PB Tape Storage GPFS and data mining 4 TF IA-64 DB2, Oracle Servers 500 TB Disk Storage 6 PB Tape Storage 1.1 TF Power4 6 TF EV68 71 TB Storage 0.3 TF EV7 shared-memory 150 TB Storage Server 1.25 TF IA-64 96 Viz nodes 20 TB Storage 0.4 TF IA-64 IA32 Datawulf 80 TB Storage Extensible Backplane Network LA Hub Chicago Hub IA32 Storage Server Disk Storage Cluster Shared Memory Visualization Cluster LEGEND 30 Gb/s IA64 30 Gb/s Sun ANL: VisualizationCaltech: Data collection analysis 40 Gb/s Backplane Router PSC integrated Q3 03

9 Ulusal Grid Çalıştayı, Ankara, 1 Mart 20079/32 Simülasyon Büyük hacimli veri işleme Gerçek zamanlı veya interaktif uygulamalar Workflow Paralel işler Eski (legacy) uygulamalar

10 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200710/32 Simülasyon Örnekler YEF Monte Carlo simülasyonları WISDOM— Kuş gribi araştırmaları Özellikleri İşler hesaplama ağırlıklıdır Bağımsız bir çok iş Genelde deneyimsiz kullanıcılar Küçük girdi; büyük çıktı Gereklilikler İş yığını işleme servisleri Yüksek hacimli verinin saklanması için veri yönetimi ATLAS ITER

11 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200711/32 Büyük Hacimli Veri İşleme Örnekler Yüksek boyutta ham data işleyen ve analiz eden YEF deneyleri Yer bilimcilerin veri analizleri Özellikleri Dağıtık girdi verisi Yüksek miktarda girdi ve çıktı verisi Gereklilikler İş yönetim araçları Daha gelişmiş veri yönetimi

12 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200712/32 Gerçek Zamanlı Uygulamalar Örnekler Yeni uygulama prototipleri Özellikleri Az miktarda girdi ve çıktı verisi Hesaplama miktarı fazla değil Hızlı tepki zamanı Gereklilikler Bu uygulamaların hızlı çalışmasına izin veren yapılandırmalar Bütün servisler uygulama ihtiyacına en kısa zamanda cevap vermeli

13 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200713/32 İnteraktif Uygulamalar Grid şu uygulamalara destek verir: gPTM3D: Tıbbi görüntülerin interaktif incelenmesi GPS@: Biyoinformatik web portalı GATE: Radyoterapi planlama DILIGENT: Dijital kütüphaneler Özellikleri Hızlı cevap verme: Genelde bir insan sonuç için bekliyordur Birçok hesaplama gücü isteyen iş Kullanıcı grid bilinçli değildir Gereklilikler Veri ve hesaplamayı portal veya başka bir uygulama ile uyumlu hale getirmek Arayüz ve grid arasında kullanıcı yetkilendirmesi

14 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200714/32 Workflow

15 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200715/32 Paralel İşler Örnekler İklim modelleme Deprem Analizi Hesaplamalı Kimya Özellikleri Birbirine bağlı haberleşen birçok proses Aynı anda birçok işlemci gerekli Genelde MPI kütüphanesi kullanılır Gereklilikler Kaynaklarda MPI veya benzeri bir haberleşme kütüphanesi olması

16 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200716/32 (Legacy) Uygulamalar Örnekler Ticari veya kapalı kaynak kodlu programlar Matlab, Mathematica, Ansys, Fluent, Gaussian Özellikleri Lisans gerektirirler Yeniden derlenmedikleri için grid uygun hale getirilemezler Gereklilikler Gride uygun lisans sunucuları Veriye saydam erişim

17 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200717/32 SE4SEE SDA G-PiP GridAE Hum2S P-Grade Portal Eğitim Ontolojisi YEF Grupları (ATLAS, CMS, LHCB) Kendi uygulamasını geliştiren kullanıcılar Paket program kullanıcıları (Gaussian, Gamess, NAMD, PWSCF, CPMD, Abinip, VASP, Amber…) TR-Grid Üzerinde Geliştirilen / Çalışan Uygulamalar

18 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200718/32 SE4SEE

19 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200719/32 (Backup) SE4SEE Web Portal

20 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200720/32 SDA

21 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200721/32 SDA

22 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200722/32 RAD50 - DNA double-strand break repair protein (1l8dB) ↔ BRCA1 - Breast cancer susceptibility protein (1miuA) via 1aq5AC Aytuna,A.S, Gursoy,A. Keskin,O., Bioinformatics 2005 Keşfedilen protein protein etkileşimi Bu etkileşim literatürde de doğrulandı G-PiP

23 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200723/32 EDG gLite GridAE-S GridAE-C Server-side Application Unit Client-side Application Unit Job Group Submission Web Interface GridAE-C Client-side Application Unit... GridAE

24 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200724/32 P-Grade Portal

25 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200725/32 İlk endüstriyel işbirliği projesi Internet içeriğini Türkçe için geliştirilmiş teknoloji ile sunan ilk arama motoru olan bilgi.com’u geliştiren AGMLAB ile işbirliği projesidir Bu projenin amacı, sayısal ortamda yeralan akademik ve bilimsel kaynakları, araştırmacılara arama motoru teknolojisi ile sunan bir akademik dijital kütüphane, oluşturmaktır. Araştırmacılar böylece, hem yerel hem de dünyada yeralan kaynaklara arama motoru üzerinden ulaşabileceklerdir. Projenin bir diğer amacı ise, dijital kütüphane sistemlerinde ve bilgi gridi oluşturma çalışmalarında kullanılacak gelişmiş bir ürünü, ortaya çıkarmaktır. Eğitim Ontolojisi