Www.grid.org.tr Uygulamaların Grid’e Aktarılması Bu sunum, Peter Kacsuk ve Gergely Sipos “Introduction to Grids and Grid applications” ve C. Loomis “Characteristic.

... konulu sunumlar: "Www.grid.org.tr Uygulamaların Grid’e Aktarılması Bu sunum, Peter Kacsuk ve Gergely Sipos “Introduction to Grids and Grid applications” ve C. Loomis “Characteristic."— Sunum transkripti:

1 www.grid.org.tr Uygulamaların Grid’e Aktarılması Bu sunum, Peter Kacsuk ve Gergely Sipos “Introduction to Grids and Grid applications” ve C. Loomis “Characteristic of Grid Applications” sunumlarından alıntılar ile oluşturulmuştur.

2 Akademik Bilişim 2007, Dumlupınar Üniversitesi2/32 Neden Grid? Araştırmacıların kompleks bir işte Hesaplama zamanını azaltmak için Büyük verilere ulaşmak için Özel ekipmanlara ulaşmak için Diğer kullanıcılarla çalışabilmek için çok sayıda kaynağa veya servise ihtiyacı vardır. Internet

3 Akademik Bilişim 2007, Dumlupınar Üniversitesi3/32 Yaygın Grid Kullanım Alanları Yüksek Performanslı Hesaplama (HPC) Tek başına kümelerin veya süperbilgisayarların erişebileceğinin ötesinde hesaplama gücü elde etmek Gereklilik: paralel hesaplama Yüksek Hacimli Hesaplama (HTC) Geniş alan ağları ile bağlı kaynakların boşta kalan zamanlarını kullanmak İşbirliği Birçok araştırmacı aynı anda bir problemin çözümü için çalışabilir

4 Akademik Bilişim 2007, Dumlupınar Üniversitesi4/32 Kaynak verenler = V Kaynağı kullananlar = K Bu ikisi arasındaki ilişki grid tipini tanımlar Eğer V ~ K => Generic Grid Eğer K >> V=> Utility Grid Eğer K Masaüstü Gridi

5 Akademik Bilişim 2007, Dumlupınar Üniversitesi5/32 Generic Grid Internet Kaynak Verenler ve Talep Edenler Enst1 Enst2 Enst4 Enst3

6 Akademik Bilişim 2007, Dumlupınar Üniversitesi6/32 Generic Grid Gönüllü Grid: Herkes kaynak verebilir Heterojen kaynak kullanılabilir, bu kaynaklar istendiğinde çıkarılabilir Paylaşan enstitü kullanıcılarının herhangi birisi işi için kullanabilir Kaynak veren ve kullananların sayısı yaklaşık olarak eşittir: V ~ K Örnekler: Globus Toolkit-2 grid yapıları Problemler: Sunucu ve istemci grid yazılımlarının kurulumu zordur Gönüllü grid yapıları güvenilir ve kararlı değildir

7 Akademik Bilişim 2007, Dumlupınar Üniversitesi7/32 Masaüstü Gridi Internet Dinamik kaynak bağışlama Üniversite Sunucusu PC bağışlayan Uygulama

8 Akademik Bilişim 2007, Dumlupınar Üniversitesi8/32 Masaüstü Gridi – Sunucu/İstemci Paralelleştirme Internet Sunucu İstemci-1 İstemci-2 İstemci-3 İstemci-N DG Server

9 Akademik Bilişim 2007, Dumlupınar Üniversitesi9/32 Masaüstü Gridi Herkes kaynak bağışlayabilir İstenildiğinde çıkarılan heterojen kaynaklar içerir Bir veya az sayıda proje bu kaynakları kullanır Kullanıcı ve kaynak verenlerin sayısı arasında asimetrik ilişki vardır K << V Avantajları: PC’lerin boş zamanlarını bağışlamak basit bir işlemdir

10 Akademik Bilişim 2007, Dumlupınar Üniversitesi10/32 SETI: Evrensel Masaüstü Gridi SETI@home 226 ülkede 4 milyon kullanıcı 1200 CPU sene/gün 38 TF 77 farklı işlemci tipi

11 Akademik Bilişim 2007, Dumlupınar Üniversitesi11/32 Utility Grid Internet Boş kaynakların 7/24 bağışlanması Enst1 Kullanıcı Enst2 Kullanıcı Bağışlayan ve kullanan

12 Akademik Bilişim 2007, Dumlupınar Üniversitesi12/32 Utility Grid Bağışlayan enstitüler 7/24 hizmet verecek yarı profesyonel enstitüler olmalıdır Genelde homojen kaynaklar vardır Herhangi birisi bu kaynakları araştırması için kullanabilir Kullanıcı ve kaynak sayısı arasında asimetrik ilişki vardır: K >> V Örnekler: EGEE, SEE-Grid, TR-Grid, TeraGrid

13 Akademik Bilişim 2007, Dumlupınar Üniversitesi13/32 En Büyük Çalışan Grid: EGEE Scale > 49 ülkede 224 site ~ 38.000 işlemci > 15 PB veri alanı > Günde onbinlerce çalışan iş > Yüzden fazla kayıtlı sanal organizasyon

14 Akademik Bilişim 2007, Dumlupınar Üniversitesi14/32 ~ 8 site, ~1000 CPUS Geliştirilen grid uygulamaları, üniversiteler arası işbirlikleri, HPC kullanıcıları, LCG kullanıcıları TR-Grid

15 Akademik Bilişim 2007, Dumlupınar Üniversitesi15/32 TeraGrid NCSA: Compute IntensiveSDSC: Data IntensivePSC: Compute Intensive IA64 Pwr4 EV68 IA32 EV7 IA64 Sun 10 TF IA-64 128 large memory nodes 230 TB Disk Storage 3 PB Tape Storage GPFS and data mining 4 TF IA-64 DB2, Oracle Servers 500 TB Disk Storage 6 PB Tape Storage 1.1 TF Power4 6 TF EV68 71 TB Storage 0.3 TF EV7 shared-memory 150 TB Storage Server 1.25 TF IA-64 96 Viz nodes 20 TB Storage 0.4 TF IA-64 IA32 Datawulf 80 TB Storage Extensible Backplane Network LA Hub Chicago Hub IA32 Storage Server Disk Storage Cluster Shared Memory Visualization Cluster LEGEND 30 Gb/s IA64 30 Gb/s Sun ANL: VisualizationCaltech: Data collection analysis 40 Gb/s Backplane Router PSC integrated Q3 03

16 Akademik Bilişim 2007, Dumlupınar Üniversitesi16/32 Tipik Grid Uygulamaları Hesaplama Yoğun İnteraktif Simülasyon (iklim modelleme) Büyük ölçekli simülasyon ve analiz (galaksi oluşumu, savaş alanı simülasyonu) Mühendislik (parametrik çalışmalar) Veri Yoğun Deneysel veri analizi (Yüksek Enerji Fiziği) Resim ve sensör analizi (astronomi, iklim çalışmaları) Dağıtık İşbirliği Çevrimiçi Enstrümanlar (mikroskoplar) Uzaktan görüntüleme (iklim çalışmaları, biyoloji) Bütün durumlar için problemler birden fazla enstitüden araştırmacıların kaynak, veri kullanımını ve işbirliğini gerektirir.

17 Akademik Bilişim 2007, Dumlupınar Üniversitesi17/32 Simülasyon Büyük hacimli veri işleme Gerçek zamanlı veya interaktif uygulamalar Workflow Paralel işler Eski (legacy) uygulamalar

18 Akademik Bilişim 2007, Dumlupınar Üniversitesi18/32 Simülasyon Örnekler YEF Monte Carlo simülasyonları WISDOM— Kuş gribi araştırmaları Özellikleri İşler hesaplama ağırlıklıdır Bağımsız bir çok iş Genelde deneyimsiz kullanıcılar Küçük girdi; büyük çıktı Gereklilikler İş yığını işleme servisleri Yüksek hacimli verinin saklanması için veri yönetimi ATLAS ITER

19 Akademik Bilişim 2007, Dumlupınar Üniversitesi19/32 Büyük Hacimli Veri İşleme Örnekler Yüksek boyutta ham data işleyen ve analiz eden YEF deneyleri Yer bilimcilerin veri analizleri Özellikleri Dağıtık girdi verisi Yüksek miktarda girdi ve çıktı verisi Gereklilikler İş yönetim araçları Daha gelişmiş veri yönetimi

20 Akademik Bilişim 2007, Dumlupınar Üniversitesi20/32 Gerçek Zamanlı Uygulamalar Örnekler Yeni uygulama prototipleri Ağ istatistik ve izleme uygulamaları Özellikleri Az miktarda girdi ve çıktı verisi Hesaplama miktarı fazla değil Hızlı tepki zamanı Gereklilikler Bu uygulamaların hızlı çalışmasına izin veren yapılandırmalar Bütün servisler uygulama ihtiyacına en kısa zamanda cevap vermeli

21 Akademik Bilişim 2007, Dumlupınar Üniversitesi21/32 İnteraktif Uygulamalar Grid şu uygulamalara destek verir: gPTM3D: Tıbbi görüntülerin interaktif incelenmesi GPS@: Biyoinformatik web portalı GATE: Radyoterapi planlama DILIGENT: Dijital kütüphaneler Özellikleri Hızlı cevap verme: Genelde bir insan sonuç için bekliyordur Birçok hesaplama gücü isteyen iş Kullanıcı grid bilinçli değildir Gereklilikler Veri ve hesaplamayı portal veya başka bir uygulama ile uyumlu hale getirmek Arayüz ve grid arasında kullanıcı yetkilendirmesi

22 Akademik Bilişim 2007, Dumlupınar Üniversitesi22/32 Workflow

23 Akademik Bilişim 2007, Dumlupınar Üniversitesi23/32 Paralel İşler Örnekler İklim modelleme Deprem Analizi Hesaplamalı Kimya Özellikleri Birbirine bağlı haberleşen birçok proses Aynı anda birçok işlemci gerekli Genelde MPI kütüphanesi kullanılır Gereklilikler Kaynaklarda MPI veya benzeri bir haberleşme kütüphanesi olması

24 Akademik Bilişim 2007, Dumlupınar Üniversitesi24/32 Eski (Legacy) Uygulamalar Örnekler Ticari veya kapalı kaynak kodlu programlar Matlab, Mathematica, Ansys, Fluent, Gaussian Özellikleri Lisans gerektirirler Yeniden derlenmedikleri için grid uygun hale getirilemezler Gereklilikler Gride uygun lisans sunucuları Veriye saydam erişim