Www.grid.org.tr TR-Grid Oluşumu (TR-Grid Altyapısı ve AB Projeleri)

... konulu sunumlar: "Www.grid.org.tr TR-Grid Oluşumu (TR-Grid Altyapısı ve AB Projeleri)"— Sunum transkripti:

1 www.grid.org.tr TR-Grid Oluşumu (TR-Grid Altyapısı ve AB Projeleri)

2 Grid nedir? Günümüzde TR-Grid altyapısı için Grid = “Kümelerin kümesi” Dev sanal süperbilgisayar + Paylaşım kültürü Coğrafi olarak dağıtık bulunan kaynakların bütünleştirilmesi Orta katman (“middleware”) denilen yazılım yardımı ile sağlanmaktadır. Globus  açık kaynak kod EDG, LCG, gLite  6.ÇP projelerinde geliştirildi, diğer birçok yazılımdan servisler içermektedir

3 Ulusal Grid Çalıştayı, Ankara, 1 Mart 20073/32 Grid: e-Bilim için bir temeldir Sensor Ağları Veriler Hesaplama Kaynakları Yazılımlar Araştırmacılar Cihazlar Grid Şekiller Ian Foster sunumundan alınmıştır.

4 Dev bir kaynak Bütün bir sistem gibi davranabilen dev bir kaynak topluluğu İşlemci gücü, Veri depolama alanı, Veritabanı, Uygulama, Cihaz (teleskop vb.), Araştırmacı, Deney, Proje, Kütüphane, … Ana unsur  İşbirliği! Kaynaklardan yararlanmak için, kaynak vermelisiniz!

5 Internet ve … Ağlar … Ağlar Internet

6 … Grid Küme … Küme Kümelerin Kümesi … Kümelerin Kümesi Grid

7 Grid : Yöntemler Gelişim Sürecinde 3 Yöntem “Dedicated Clusters” ile Grid –> EGEE Süperbilgisayarlar ile Grid –> Deisa Grid Altyapısı Masaüstü bilgisayarlar ile Grid –> @home Projeleri Sonuç

8 Ulusal Grid Çalıştayı, Ankara, 1 Mart 20078/32 SEE-GRID Güneydoğu Avrupa için grid altyapısı AVRUPA AKADEMİK AĞI GRID. ALTYAPISI e-Altyapılar EGEE 40000 işlemci, ~20PB depolama alanı, eğitim, 27 ülke, 71 üye, YEF, Biyoinformatik... (32 M € - CERN) GÉANT IPv6 destekli Avrupa Araştırma Ağı (93 M€ - DANTE) DEISA Gigabit bağlantılarla bağlı AB süperbilgisayarları grid altyapısı, >120 Tflop/s (2009 senesinde >1 Pflop/s) (€15M - CNRS). Günümüzde e-Altyapının stratejik yapı taşları

9 Avrupa Grid projeleri “Dedicated Clusters” ile Grid ~40K işlemci, ~20PB veri alanı, 32M€ AB Kaynağı Ana proje EGEE(-II) (Enabling Grids for E-sciencE) Desteklenen bölgesel projeler SEE-Grid (South-Eastern European Grid), EUMEDGRID (Akdeniz Ülkeleri), EU-ChinaGrid, BalticGrid, NorduGrid, EELA (Latin Amerika Ülkeleri), … Bağlantı kurulan Grid yapıları TeraGrid (US), …

10 Avrupa Grid projeleri Süperbilgisayarlar ile Grid DEISA (“Distributed European Infrastructure for Supercomputer Applications”)

11 Avrupa Grid oluşumu EGI (“European Grid Initiative”) Ulusal Grid oluşumları ile tamamlanacaktır: NGI 1 (National Grid Initiative 1 ) NGI 2 (National Grid Initiative 2 ) … NGI n (National Grid Initiative n ) Avrupa Grid oluşumuna katılmak için (projelerde yer almak, altyapıyı kullanmak, vb.), Ulusal Grid oluşumu içinde yeralmak gereklidir.

12 ULUSAL GRID OLUŞUMU Grid çalışmaları ULAKBİM koordinasyonunda hesaplama kaynaklarının grid altyapısı altında toplanması amacı ile 2003 yılında TR-Grid Oluşumu adı altında başlatılmıştır. Ulusal kullanıcı kitlesini bilgilendirmek Bölgesel uygulamalar geliştirmek Ulusal grid altyapısını kurmak Uluslararası grid projelerine katılmak... TR-Grid Ulusal Grid Oluşumu

13 Türkiye’den Grid Projelerine Katılım SEE-Grid (2004-2006) ULAKBİM, Bilkent Üniversitesi, Boğaziçi Üniversitesi, İstanbul Teknik Üniversitesi SEE-Grid-2 (2006-2008) ULAKBİM, Bilkent Üniversitesi, Koç Üniversitesi, Orta Doğu Teknik Üniversitesi, Boğaziçi Üniversitesi EUMEDGRID (2006-2008) ULAKBİM, Boğaziçi Üniversitesi EGEE-2 (2006-2008) ULAKBİM

14 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200714/32 2000 2001 2002 2003 2004 2005 2006 2007 2008 5. ÇP 6. ÇP Ulusal Altyapılar TEN 155 ağı GÉANT ve uluslararası bağlantılar Grid test yatakları DataGrid, CrossGrid, GridLab, GRIP, GRIA IPv6 testbeds IPv6 test yatakları 6NET, 6IX gibi GÉANT2 ve uluslararası bağlantılar Grid destekli altyapılar EGEE, DEISA, SEE-GRID IPv6 kullanımı Çerçeve Program Projeleri Grid destekli altyapılar EGEE2, SEE-GRID2 gibi Girişimler 7. ÇP Grid Araştırma Projeleri: GRIDCOORD, NEXTGRID, COREGRID, AKOGRIMO, SIMDAT gibi

15 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200715/32 Avrupa Grid Projeleri

16 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200716/32 EGEE Hedefler Yeni hesaplama kaynaklarını kabul edebilecek kararlı, dengeli ve güvenli bir grid ağı oluşturmak Kullanıcılara güveli bir servis sağlayabilmek için sürekli geliştirilen ve bakımı yapılan bir grid ortakatmanı sağlamak Bilimsel çalışma yapan kullanıcıların dışında endüstriden de yeni kullanıcılar bulmak ~30 M Euro AB destekli olmak üzere toplam 100M Euro

17 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200717/32 EGEE - 2 ULAKBİM'in ROLÜ Network Aktiviteleri NA2 – Ulusal ve uluslarası tanıtım ve işbirliği NA3 – Ulusal eğitim faaliyetleri Özel Servis Aktiviteleri SA1 – Grid altyapısı yönetim, destek, işletimi BÜTÇE Toplam: ~35M Euro TÜBİTAK: 360K Euro (%50 AB desteği)

18 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200718/32 SEE-GRID-2 ULAKBİM'in Rolü WP3 – Ulusal Grid Sertifika Otoritesinin işletilmesi, P- GRADE portal için geliştirme ve test desteği verilmesi WP4 – Belirlenecek uygulamaların grid ortamına taşınması, test edilmesi ve kullanıcı yardım masası desteği WP5 – Ulusal ve uluslarası eğitim ve çalıştaylar düzenlemek ve katılmak Proje başlamadan Türkiye’den toplam 6 proje başvurusu yapıldı. BÜTÇE Toplam: ~2M Euro TÜBİTAK Payı: ~190K Euro (%100 AB desteği)

19 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200719/32 EUMEDGRID (Empowering eScience Across the Mediterraen) EUMEDGRID, Akdeniz Bölgesinde bilimsel çalışmaları desteklemek için öncelikle EGEE ve diğer ilgili (Balkanlar, Kuzey Avrupa, Latin Amerika ve Uzak Doğu Asya) grid yapılarına enentegre olabilecek bir Akdeniz grid altyapısı kurulmasını amaçlamaktadır. ULAKBİM'in Rolü WP3 – Pilot test yatağı ve srvislerinin kurulumu ve bölgesel destek sağlanması WP4 – Bölgesel grid uygulaması geliştirmek WP5 – SEE-Grid ve EGEE'de edinilen tecrübeyi Akdeniz Bölgesine taşımak

20 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200720/32 EUMEDGRID BÜTÇE Toplam: ~2M Euro TÜBİTAK Payı: ~79K Euro (%90 AB desteği)

21 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200721/32 TR-Grid Sertifika Otoritesi Yrd. Doç. Dr. Erol Şahin Orta Doğu Teknik Üniversitesi Bilgisayar Mühendisliği ● Grid altyapılarında kullanıcıların çalışabilmesi ve sunucuların birbirleri ile güvenli konuşabilmesi için PKI sertifikalarına ihtiyaç vardır. ● Kendi kullanıcılarını yetkilendirebilmeleri için her ülkenin en az bir grid sertifika otoritesi olması beklenmektedir. ● Grid sertifika otoriteleri GridPMA tarafından onaylanır. EUGridPMA Avrupa içinde yetkilendirmeyi yapan organizasyondur. ● SEE-Grid proje ortakları arasında üçüncü sertifika otoritesini ULAKBİM yönetmektedir.

22 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200722/32 - TR-Grid Projeler - Yrd. Doç. Dr. Erol Şahin Orta Doğu Teknik Üniversitesi Bilgisayar Mühendisliği Proje Tipi20042005200620072008 Avrupa Birliği Projeleri11333 + 3 Planlanan TÜBİTAK Projeleri--111 Planlanan Toplam11443 + 4 Planlanan Personel Bütçe Tipi2004200520062007TOPLAM Avrupa Birliği Fonları30.000 €50.000 €200.000 € 480.000 € TÜBİTAK Fonları10.000 € 100.000 € 220.000 € Toplam40.000 € 60.000 € 300.000 € 700.000 € Donanım Bütçe Tipi20062007TOPLAM Avrupa Birliği Fonları-10.000 € TÜBİTAK Fonları500.000 €250.000 €750.000 € Toplam500.000 € 260.000 € 760.000 €

23 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200723/32 - TR-Grid Çalışanlar - Yrd. Doç. Dr. Erol Şahin Orta Doğu Teknik Üniversitesi Bilgisayar Mühendisliği Görevi2004200520062007 Proje Yöneticisi2233 Akademisyen3355 Proje Çalışanı2276 Doktora Öğrencisi5575 Toplam11 2219

24 TR-Grid Altyapısı TUGA projesi kapsamında yer alan üniversiteler Boğaziçi Üniversitesi Çukurova Üniversitesi Erciyes Üniversitesi İstanbul Teknik Üniversitesi Orta Doğu Teknik Üniversitesi Pamukkale Üniversitesi

25 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200725/32 - Yeni Altyapı - Yrd. Doç. Dr. Erol Şahin Orta Doğu Teknik Üniversitesi Bilgisayar Mühendisliği SİTEİSİMÇekirdekVeri AlanıTİPİ TÜBİTAK ULAKBİMTR-01-ULAKBIM1145 TbyteEGEE, SEE-GRID, EUMEDGRID Orta Doğu Teknik ÜniversitesiTR-03-METU30020 TbyteEGEE Erciyes ÜniversitesiTR-04-ERCIYES641 TbyteEGEE Boğaziçi ÜniversitesiTR-05-BOUN641 TbyteEGEE Pamukkale ÜniversitesiTR-07-PAMUKKALE641 TbyteEGEE Çukurova ÜniversitesiTR-08-CUKUROVA641 TbyteEGEE İstanbul Teknik ÜniversitesiTR-09-ITU641 TbyteEGEE TÜBİTAK ULAKBİMTR-10-ULAKBIM30020 TbyteEGEE TOTAL103450 Tbyte

26 TR-Grid Altyapısı TÜBİTAK ULAKBİM küme bilgisayarı üzerinde çalışan mevcut kullanıcıları ve yeni başvuran küme kullanıcılarının işlerine hızlı bir şekilde devam edebilmeleri için iki büyük küme kuruldu: TR-01-ULAKBIM – 114 işlemcili 2003 yılından beri hizmet veren ULAKBİM kümesi TR-03-METU – 312 çekirdekli, 24 Tbyte ham depolama alanına sahip ODTÜ kümesi TR-10-ULAKBIM – 300 çekirdekli 24 Tbyte ham depolama alanına sahip ULAKBİM kümesi Bütün kaynaklara yüksek performanslı erişim için iki site birbirine 20 Gbps hızda bağlandı Birçok paket programa, kütüphaneye ve derleyicilere bu kümelere bakan kullanıcı arayüzü makineleri ile kolayca ulaşmak mümkün

27 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200727/32 - Siteler - Yrd. Doç. Dr. Erol Şahin Orta Doğu Teknik Üniversitesi Bilgisayar Mühendisliği SiteGeçmişi TR-01-ULAKBIM Küme 2003 yılında kuruldu. 2005 başında EGEE altyapısına 16 işlemci ile dahil oldu. 2006 yılında bütün site EGEE altyapısına geçti. EGEE altyapısına geçene kadar 75 kullanıcı açıldı, 20.000 iş çalıştırıldı. EGEE altyapısında 90.000 iş çalıştırıldı. TR-02-BILKENT 2005 yılında Bilkent Üniversitesi tarafından sağlanan 10 PC ile kuruldu. SEE-GRID Projesi test yatağında onlarca kullanıcı ve birçok proje için hesaplama ve geliştirme hizmeti verdi. TR-03-METU 2005 yılında ODTÜ tarafından sağlanan 16 sunucu ve PC ile kuruldu. SEE-GRID ve TR-Grid altyapılarında hesaplama ve geliştirme için görev aldı. 2006 sonunda 312 çekirdekli TUGA projesi kümesi TR-03-METU olarak hizmet vermeye başladı. Yeni kümede iki ay içerisinde 10.000 iş çalıştı

28 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200728/32 - Siteler - Yrd. Doç. Dr. Erol Şahin Orta Doğu Teknik Üniversitesi Bilgisayar Mühendisliği SiteGeçmişi TR-04-ERCIYES Erciyes Üniversitesi tarafından sağlanan 8 PC ile 2006 yılında kuruldu. SEE-GRID ve TR-Grid altyapılarında hesaplama ve geliştirme için görev aldı. 2006 sonunda 64 çekirdekli TUGA projesi kümesi olarak hizmet vermeye başladı. Yeni kümede iki ay içinde 5700 iş çalıştı. TR-05-BOUN Boğaziçi Üniversitesi tarafından sağlanan 4 PC ile 2006 yılında kuruldu. SEE-GRID ve TR-Grid altyapılarında hesaplama ve geliştirme için görev aldı. EGEE ve TR-Grid altyapılarında yer almak için sertifikasyon bekliyor.

29 Ulusal Grid Çalıştayı, Ankara, 1 Mart 200729/32 - Siteler - Yrd. Doç. Dr. Erol Şahin Orta Doğu Teknik Üniversitesi Bilgisayar Mühendisliği SiteGeçmişi TR-06-SELCUK 2006 senesinde SEE-GRID ve TR-GRID yapılarında hizmet verdi. TR-07-PAMUKKALE 2007 başında TUGA projesi ile kuruldu. 64 çekirdeğe sahip TR-08-CUKUROVA 2007 başında TUGA projesi ile kuruldu. 64 çekirdeğe sahip Bir ay içerisinde 3.000 iş çalıştı. TR-10-ULAKBIM 300 çekirdekli yeni ULAKBİM kümesi 2006 sonunda kurulduktan sonra iki ay içerisinde 13.000 iş çalıştı. Bu işlerin büyük bir kısmı çok işlemcili

30 TR-Grid Kullanıcılar ULAKBİM ve ODTÜ’deki kullanıcı arayüzlerinde açılmış 105 kullanıcı hesabı vardır. 76 kullanıcı grid üzerinde iş koşturmak için TR-Grid sertifikası edinmiştir. Kullanıcıların bize bildirdiği 40 adet konferans yayını ve makale bulunmaktadır. 23 farklı üniversiteden kullanıcıya hizmet veriliyor.

31 TR-Grid Altyapısı