Yüksek Başarımlı Bilgi İşlem Kaynakları Burcu Akcan – Kürşad Yusuf Konuş - Onur Temizsoylu TÜBİTAK ULAKBİM Akademik Bilişim Gaziantep Üniversitesi, Şubat 2005

Yüksek Başarımlı Bilgi İşlem Kaynakları İÇERİK TÜBİTAK ULAKBİM Yüksek Başarımlı Bilgi İşlem Merkezi tanıtımı ve 2004 senesi değerlendirilmesi Türkiye’de yüksek performanslı hesaplama kaynakları Akademik “grid” yapıları SEE Grid Projesi Ulusal araştırma “Grid” yapısı İhtiyaçlar, engeller

Yüksek Başarımlı Bilgi İşlem Kaynakları TÜBİTAK ULAKBİM Yüksek Başarımlı Bilgi İşlem Merkezi TÜBİTAK ULAKBİM Yüksek Başarımlı Bilgi İşlem Merkezi kurulurken, ortak kullanım, profesyonel teknik destek verebilecek personelin tek bir noktada bulundurulması, yazılım lisanslarının tek bir sistem için alınması gibi ekonomik avantajları dışında benzer konularda çalışan araştırmacıların bir araya gelmesi de planlanmıştır. Türkiye’de bu merkezden yararlanmak isteyebilecek araştırmacıları tespit etmek, kurulması planlanan merkezde hizmet verecek paralel küme bilgisayarın donanım ve yazılım gereksinimlerini belirlemek için 2002 yılı sonunda TÜBİTAK tarafından üniversitelere anket niteliğinde bir form gönderilmiştir. TÜBİTAK tarafından yapılan anket sonucunda ortaya çıkan ciddi talebi karşılamak için 2003 senesi başlarında TÜBİTAK ULAKBİM’de Yüksek Başarımlı Bilgi İşlem Merkezi için çalışma başlatılmıştır. Fiyat/performans, garanti dışı bakım maliyetleri, ilerleyen senelerde uç bilgisayarların rahatlıkla masaüstü bilgisayar olarak kullanabileceği gibi avantajları yüzünden marka bağımsız 128 İşlemcili Linux küme bilgisayarı kurulması düşünülmüştür. 2003 Kasım ayında hizmet vermeye başlayan küme bilgisayarın klima, kablolama, anahtarlama cihazı gibi tüm altyapılar dahil maliyeti yaklaşık 180.000$ olmuştur. Sistemin HPL (“High Performance Linpack”) ile ölçülen performansı yaklaşık 203 Gflop/s değerindedir. Linux Küme bilgisayar sistemine Deniz adı verilmiştir.

Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları Linux Küme bilgisayar sisteminde: Paralel programlamların derlenmesi ve çalıştırılabilmesi için kullanılan PVM, LAM-MPI, MPICH ve MPICH2 yazılımları Intel ve Gnu derleyiciler ile ayrı ayrı derlenerek sisteme yüklenmiş, kullanıcıların performans tercihlerine göre istediklerini kullanabilmeleri sağlanmıştır. Sun Grid Engine kullanılarak kullanıcıların işlerinin dengeli dağıtılması sağlanmıştır. Kullanıcıların sistemde olmasını istedikleri serbest yazılımlar (Gamess gibi) ve/veya kütüphaneler tarafımızdan yüklenmiş, lisans gerektiren programların (Abinip, Gaussian gibi) kullanıcıların kendi dizinlerine kendi aldıkları lisansla yüklenmesine olanak verilmiştir. Küme bilgisayar sistemi ve merkez için bir kullanıcı politikası dökümanı oluşturulmuştur.

Yüksek Başarımlı Bilgi İşlem Kaynakları Merkez ilk senesinde: Türkiye’de paralel hesaplama, dağıtık hesaplama, grid teknolojileri gibi konularda çalışan araştırmacıları ortak bir noktada toplamıştır. Kurulmasında esas hedeflerden biri olan uluslarası rekabetçi araştırmalar, yayınlar yapılmasına destek olmuştur. Konusunda uluslararası projelere katılım için gerekli altyapıyı sağlamıştır. Merkezin 2005 yılı hedefleri arasında: UlakNet üzerindeki benzer Yüksek Performanslı Hesaplama Kaynakları ile ulusal akademik “grid” yapısının kurulumuna katkıda bulunmak, Hizmet kalitesini düşürmemek için hesaplama kaynaklarını (işlemci, RAM gibi) arttırmak, Edinilen tecrübeyi, bütün dünyada yüksek performanslı hesaplama eğilimi haline gelen küme bilgisayar sistemlerinin üniversitelerimizde ve araştırma kurumlarımızda kurulmasını sağlamak, vardır.

Kullanıcılarımız, Proje Ortaklarımız Yüksek Başarımlı Bilgi İşlem Kaynakları Yrd. Doç. Dr. Ceyhun Bulutay Bilkent Üniversitesi Fizik Bölümü Yrd. Doç. Dr. Cevat Şener Orta Doğu Teknik Üniversitesi Bilgisayar Mühendisliği Prof. Dr. Cevdet Aykanat Bilkent Üniversitesi Bilgisayar Mühendisliği Prof. Dr. Viktorya Aviyente Boğaziçi Üniversitesi Kimya Bölümü Doç. Dr. Nejat Bulut Koç Üniversitesi Fizik Bölümü (Tohoku Üniversitesi – Japonya) Kullanıcılarımız, Proje Ortaklarımız Yrd. Doç. Dr. Oğuz Gülseren Bilkent Üniversitesi Fizik Bölümü Doç. Dr. Can Özturan Boğaziçi Üniversitesi Bilgisayar Mühendisliği Yrd. Doç. Dr. Sami Sözüer İzmir Yüksek Teknoloji Enstitüsü Fizik Bölümü Yrd. Doç. Dr. Erol Şahin Orta Doğu Teknik Üniversitesi Bilgisayar Mühendisliği Prof. Dr. Nevin Selçuk Orta Doğu Teknik Üniversitesi Kimya Mühendisliği Prof. Dr. Salim Çıracı Bilkent Üniversitesi Fizik Bölümü

Yüksek Başarımlı Bilgi İşlem Kaynakları Bilkent Üniversitesi Bilgisayar Mühendisliği Bölümü Paralel ve Dağıtık Hesaplama Araştırma Grubu Prof. Dr. Cevdet Aykanat ve grubu merkezimizde paralel-veri web örümceği, hiper çizge bölümleme konularında çalışmaktadır. Grup, son on sene içerisinde üç tip dağıtık hafızalı paralel sistemde araştırma ve geliştirme yapmıştır. Türkiye’nin ilk Linux küme bilgisayar sistemlerinden birisini halen kullanan grup, 48 işlemcili yeni bir küme bilgisayar sistemini kurmaktadır. Yeni sistem ile merkezimizin küme bilgisayar sistemi, gigabit ethernet ile birleştirilecek her iki sistemde UlakNet omurgasına gigabit ethernet ile ulaşacaktır. Grubun Deniz sistemini de kullandığı makalesi “IEEE Transactions on Parallel and Distributed Systems” dergisinde yayınlanacaktır.

Yüksek Başarımlı Bilgi İşlem Kaynakları Bilkent Üniversitesi Fizik Bölümü Nanobilim Grubu Prof. Dr. Salim Çıracı ve grubu, karbon nanotüpler, silikon, karbon ve metal elementlerinden oluşan atom tellerinin fiziksel özelliklerinin bilgisayar simulasyonları yardımıyla incelenmesi için Deniz sistemini aktif olarak kullanmaktadır. Grubun merkezimizde hesaplamalarını gerçekleştirdiği “Physical Review B”, “Physical Review Letters”, “Applied Physics Letters” dergilerinde yayınlanmış ve yayınlanacak altı yayını vardır. Grup ayda ortalama 600’den fazla iş göndermektedir. Toplam işlemci çalışma zamanı on seneden fazladır. Galium nanotel enerji bandı hesaplamaları

Yüksek Başarımlı Bilgi İşlem Kaynakları Koç Üniversitesi Fizik Bölümü Doç. Dr. Nejat Bulut Doç. Dr. Nejat Bulut Linux küme bilgisayarda 2003 Aralık ayından beri çalışmaktadır. Çalışmalarında Hubbard modelinde süperiletkenlik olup olmadığını araştırmaktadır. PVM kullanarak Koç Üniversitesi’ndeki 8 işlemcili Linux küme bilgisayar sistemi ile geliştirdiği kodu Deniz sisteminin ilk aylarında aynı anda 80’den fazla işlemcide çalışmıştır. “Journal of Physics and Chemistry of Solids” ve “Physical Review B” dergilerinde yayınlanması için sunduğu, hesaplamalarını merkezimizde yaptığı makaleleri alanında merkezin hedeflediği rekabetçi çalışmalara örnektir.

Yüksek Başarımlı Bilgi İşlem Kaynakları Boğaziçi Üniversitesi Kimya Bölümü Hesaplamalı Kimya Araştırma Grubu Orta Doğu Teknik Üniversitesi Bilgisayar Mühendisliği Bölümü Kovan Araştırma Laboratuvarı Prof. Dr. Viktorya Aviyente ve grubu ile 2004 Ağustos ayında çalışılmaya başlanmıştır. Gaussian programını kullanan grup çalışanları, altı ay içerisinde sistemde 500’den fazla iş çalıştırmıştır. Kovan Araştırma Laboratuarı, doğadan esinlenmiş akıllı sistemlerin sentezini çalışmak için kurulmuştur. Grup, ”Paralel genetik algoritmayla robot kontrol programı evrimleştirilmesi ve robot simülasyonu” konulu projesi ile Deniz sisteminde çalışmaktadır. KOVAN tarafından geliştirilen PES (Paralel Evrim Sistemi) yazılımı başarım ölçümlerini bir dizi bilgisayara dağıtabilmektedir. PES, TÜBİTAK ULAKBİM'deki küme bilgisayar sistemine kurulmuş ve çalışmalarında 100 kata yakın (tek bir PC'de 3-4 gün süren deneyler, sistem üzerinde 1-2 saate inmiştir) bir hızlandırma sağlamıştır.

Yüksek Başarımlı Bilgi İşlem Kaynakları Merkezimizin Diğer Kullanıcıları ODTÜ Kimya Mühendisliği’nden Prof. Dr. Nevin Selçuk ve grubu, “Türbülanslı akışkanların doğrudan sayısal simülasyonu”, İzmir Yüksek Teknoloji Enstitüsü’nden Yrd. Doç. Dr. Sami Sözüer, “Fotonik kristal optik fiberler”, İzmir Yüksek Teknoloji Enstitüsü’nden Yrd. Doç. Dr. Gürcan Aral, “Paralel Moleküler Dinamik yöntemi kullanarak Alüminyum metalinin değişik oksijen molekül yogunluğu ile bu metalin (Al) oksitlenmesini kinetik ve yapısal olarak incelenmesi”, ODTÜ Bilgisayar Mühendisliği’nden Yrd. Doç. Dr. Cevat Şener, Macaristan ile ortak “P-Grade yazılımının yük dengeleme modülünün geliştirilmesi”, Niğde Üniversitesi Fizik Bölümü’nden Yrd. Doç. Dr. Orhan Dönmez, “Einstein ve Relativistik Hidrodinamik Denklemlerin sayısal çözümü”, Mustafa Kemal Üniversitesi İnşaat Mühendisliği’nden M. Cemal Genes, “Akışkan-Yapı Etkileşimi, Yapı-Zemin Etkileşimi”, Hacettepe Üniversitesi Fizik Mühendisliği’nden Recep Eryiğit “Yarı-iletken malzemelerin band yapılarının hesaplanması”, Bilkent Üniversitesi Fizik Bölümü’nden Yrd. Doç. Dr. Ceyhun Bulutay, “Silisyum ve Germanyum nano-örgulerin optoelektronik özellikleri için temel ilkelere dayalı hesaplanması”, konularında çalışmaktadırlar.

Yüksek Başarımlı Bilgi İşlem Kaynakları Üniversitelerimiz ve araştırma kurumlarımızın bünyesinde birçok yüksek başarımlı sistem vardır. Örnekler: İstanbul Teknik Üniversitesi Bilişim Enstitüsü İleri Mühendislik Teknolojileri Mükemmeliyet Merkezi: 32 İşlemci ve 64 Gbyte belleğe sahip Sun Fire 12K sistemi, 24 İşlemci ve 48 Gbyte belleğe sahip Sun Cluster Bilkent Üniversitesi Bilgisayar Mühendisliği Bölümü: 32 İşlemcili Intel PIII Linux küme bilgisayar sistemi (Borg) 48 İşlemcili Intel PIV Linux küme bilgisayar sistemi Boğaziçi Üniversitesi Bilgisayar Mühendisliği Bölümü: 32 İşlemcili Intel PII, PIII Linux küme bilgisayar sistemi (ASMA) Orta Doğu Teknik Üniversitesi Bilgi İşlemi: 9 İşlemcili Intel PIII Linux küme bilgisayar sistemi (Magellan) Orta Doğu Teknik Üniversitesi Havacılık Mühendisliği: 20 İşlemcili Intel PIII Linux küme bilgisayar sistemi Koç Üniversitesi Mühendislik Fakültesi 32 İşlemcili Intel PIV Linux küme bilgisayar sistemi Gebze Yüksek Teknoloji Enstitüsü 8 İşlemcili Intel PIII Linux küme bilgisayar sistemi

Yüksek Başarımlı Bilgi İşlem Kaynakları Küme bilgisayar sistemleri yüksek başarımlı hesaplamada son beş senenin trendidir. Çoğu üniversitelerimiz, şu an fiyat/performans olarak en uygun hesaplama sistemi olarak küme bilgisayarları tercih etmiştir. Birçok araştırmacımız, açık kaynak kodlu işletim sistemleri üzerinde PVM, MPI kütüphaneleri kullanarak kendi programlarını geliştirmişlerdir. Yüksek performanslı hesaplama kaynaklarına sahip olmak kolaydır. Esas ihtiyaç olan uygun programlardır. Rekabetçi ve bölgeye uygun içeride geliştirilmiş yazılımlar bir gerektir.

Yüksek Başarımlı Bilgi İşlem Kaynakları Ağ ve bilgisayar teknolojileri evrimi * Sputnik 1960 1970 1975 1980 1985 1990 1995 2000 * ARPANET * Email * Ethernet * TCP/IP * IETF * Internet Era * WWW Era * Mosaic * XML * PC Clusters Crays MPPs Mainframes * HTML * W3C P2P Grids XEROX PARC worm COMPUTING NETWORKING * Web Services Minicomputers PCs WS Clusters PDAs Workstations HTC

? Yüksek Başarımlı Bilgi İşlem Kaynakları Masaüstü 2100 ? 2100 Masaüstü SMP veya Süper Bilgisayarlar Lokal Küme Bilgisayar Kampüs Dağıtık Küme Bilgisayar/Grid Evrensel Grid! Global Grid

Yüksek Başarımlı Bilgi İşlem Kaynakları “Grid” Nedir? Rajkumar Buyya’nın tanımı ile: Grid, coğrafi olarak dağıtılmış bağımsız kaynakların çalışma anında dinamik olarak uygunluğuna, kapasitesine, performansına ve kullanıcının servis kalitesi ihtiyaçlarına göre paylaşılmasını, seçilmesini ve birleştirilmesini sağlayan paralel ve dağıtık sistem çeşididir. Küme bilgisayarlar ve “Grid” yapıları kaynakların yönetimi konusunda ayrılırlar: Küme bilgisayarlarda bütün kaynaklar tek bir merkezi kaynak yöneticisi (“Resource Manager”) tarafından yönetilirler. Bütün kaynaklar, tek ve bütün bir sistem oluşturmak için birlikte çalışırlar. “Grid” yapılarında her bir kaynak grubunun kendi kaynak yöneticisi vardır ve tek bir sistem görünümü vermek amaç değildir. Kaynaklar birden fazla birime, kuruma, ülkeye, gezegene (!) dağıtılabilir. Örneklemek gerekirse: Lokal bir küme bilgisayara kurulmuş “Sun Grid Engine” yazılımı, güçlü ve kaliteli bir grid kaynağı olarak gözükse de bütün kullanıcı istekleri, sistem kaynakları üzerinde merkezi kontrola sahip olduğu için “Grid” değildir. WWW coğarfi olarak dağıtık, bağımsız kaynaklara genel amaçlı protokollerle bağlanılmayı sağlasa da henüz bu kaynakların koordineli ve kaliteli kullanımına izin vermediği için bir “Grid” sayılamaz.

Yüksek Başarımlı Bilgi İşlem Kaynakları Akademik Dünyada “Grid” Projeleri - TeraGrid Teragrid, NSF önderliğinde kurulan 20 Teraflop hesaplama gücüne sahip bütün ülke çapında 40Gbps bir omurga ile yayılan 100 Milyon $ üstü bir bütçeye sahip projedir.

Yüksek Başarımlı Bilgi İşlem Kaynakları Akademik Dünyada “Grid” Projeleri - EGEE EGEE (“Enabling Grids for E-Science in Europe”) projesi 30 Milyon Euro bütçesi Avrupa Birliğinden gelen, 27 ülkeden uzmanları bir araya getirerek akademik ve ticari dünyadan araştırmacıların büyük hesaplama kaynaklarına coğrafi yerlerinden bağımsız ulaşmasını amaçlamaktadır. Toplam dört senelik bir programın ilk iki senelik etabı olarak 1 Nisan 2004 tarihinde başlayan proje başlangıçta iki pilot disiplin seçmiştir: Senede petabytelarca gerçek ve simülasyon verisinin işleneceği parçacık fiziği projesi (LHC), Gen veri madenciliği, hastane tıbbi veritabanları gibi konuları içeren biyomedikal projeleri. İlk iki senede toplam 3000 araştırmacı ve 5 disipline ulaşmayı hedeflemektedir. EGEE altyapısı Avrupa Birliği araştırma ağı Geant üzerinde kurulmuştur. Datagrid, INFN Grid, Nordugrid gibi yapılardan geliştirilmiştir. Proje, global “Grid” altyapısını oluşturmak için Amerika ve Asya’daki “Grid”ler ile birlikte çalışabilirlik sunar.

Yüksek Başarımlı Bilgi İşlem Kaynakları

Yüksek Başarımlı Bilgi İşlem Kaynakları Akademik Dünyada “Grid” Projeleri - SEE Grid Türkiye’nin de içinde bulunduğu SEE Grid (“South Eastern European GRid-enabled eInfrastructure Development”) projesi: Güney Doğu Avrupa'da Grid, eBilim ve eAltyapı alanlarında insan ağı yaratmak, Güney Doğu Avrupa'da Pan-Avrupa Grid çabalarına destek olmak, Grid geliştirme hakkında bölgedeki farkındalığını teşvik etmek, amaçları ile başlatılmıştır. Geant ve SEEREN tarafından sağlanan altyapılar projede kullanılacaktır. Bilkent Üniversitesi, Boğaziçi Üniversitesi ve İstanbul Teknik Üniversitesi TÜBİTAK liderliğinde projeye katılmışlardır. SEE-Grid Projesi'nde bölgesel uygulama yazılımını geliştirmekle sorumlu Türkiye'nin rolü büyüktür. SEE Grid 2005 Mayıs ayında başlayan bir 6. Çerçeve Program Projesidir.

Yüksek Başarımlı Bilgi İşlem Kaynakları SEE Grid Bölgesel Uygulaması SE4SEE SE4SEE (“Search Engine for South-Eastern Europe”), Bilkent Üniversitesi tarafından geliştirilmektedir. Uygulama temel olarak üç safhadan oluşacaktır: Güney Doğu Avrupa ülkelerinin web sayfalarının “Grid” uyumlu örümcek ile taranması ve indirilmesi, İndirilen sayfaların kategorize edilmesi, Sınıflanan içerik için bir arayüz hazırlanması. SE4SEE yazılımının başlıca hedefi, kategori tabanlı, kullanıcı dostu bir arayüzle proje ülkelerinin web sayfalarına erişim sağlamaktır. Projenin son ve temel hedefi ise bölge ülkelerine ait bir bilgi tabanı hazırlayarak bilgi yayılımını ve sosyokültürel bütünleşmeyi sağlamaktır.

Yüksek Başarımlı Bilgi İşlem Kaynakları SEE Grid Bölgesel Uygulaması SE4SEE Türkiye’nin de içinde bulunduğu SEE Grid (“South Eastern European GRid-enabled eInfrastructure Development”) projesi: Güney Doğu Avrupa'da Grid, eBilim ve eAltyapı alanlarında insan ağı yaratmak, Güney Doğu Avrupa'da Pan-Avrupa Grid çabalarına destek olmak, Grid geliştirme hakkında bölgedeki farkındalığını teşvik etmek, amaçları ile başlatılmıştır.

Yüksek Başarımlı Bilgi İşlem Kaynakları SEE Grid Test Yatağı Türkiye’deki “Grid” test yatağı TÜBİTAK-ULAKBİM, Bilkent Üniversitesi ve Boğaziçi Üniversitesi’ndeki bilgisayar ve ağ kaynakları ile oluşturulmuştur.