KÜMELİ İŞLEM - BEOWULF Hande DOĞAN - Ersin ER Danışman: Kerem ERZURUMLU Hacettepe Üniversitesi Bilgisayar Bilimleri ve Mühendisliği Bölümü

İÇERİK Bilgisayar Sistemlerinin ve Bilgisayar Ağlarının Gelişimi Paralel, Dağıtık ve Kümeli İşlem ve Avantajları-Dezavanatajları Beowulf Nedir? Ayırt edici özellikler Gerekli ve ek donanım ve yazılım bileşenleri, seçim kıstasları ve sistem kurulumu Şematik ve gerçek sistem görünümleri (örnek) Sistem başarımı Bir uygulama örneği Mevcut uygulama alanları, bugünü ve yarını 01.01.2019

Bilgisayar Sistemlerinin ve Bilgisayar Ağlarının Gelişimi Bilgisayar sistemlerinin geliştirilme amaçları Veri işleme Hesaplama Bilgisayar ağlarının geliştirilme amaçları Veri paylaşımı İşlem gücünün arttırılması 01.01.2019

Paralel, Dağıtık ve Kümeli İşlem Paralel İşlem Dağıtık İşlem Beowulf Kümeli İşlem 01.01.2019

Paralel İşlem Öncesi Tek iş düzeni Çok iş düzeni Aynı anda tek bir işin işletime alınabildiği sistemler Örnek: MS-DOS (+ tek işleyici) Çok iş düzeni Aynı anda birden çok işin işletime alınabildiği sistemler Örnek: UNIX v NT + tek işleyici 01.01.2019

Paralel İşlem Eş anlı çalıştırılabilecek işlerin ayrı işleyiciler üzerinde çalıştırılması (aynı bilgisayar üzerinde ya da farklı bilgisayarlar üzerinde) Örnek: UNIX v NT + birden çok işleyici 01.01.2019

Dağıtık İşlem Eş anlı çalıştırılabilecek işlerin ayrı bilgisayar sistemleri üzerinde ileti gönderimi ile paralel olarak çalıştırılması Örnek: Birden çok UNIX v NT sistemi + her sistemde bir ya da daha fazla işleyici + ileti gönderimi ile iletişim 01.01.2019

Kümeli İşlem - 1 Birden fazla bilgisayar sisteminin paralel ve dağıtık işlem özelliklerini de kullanarak tek bir bilgisayar sistemi gibi işlemesidir. Dağıtık işlemden, kullanıcıya tek bir sistem kullanıyor gibi görünmesi ile ayrılır; paralel işlem özelliklerini ise doğası gereği içerir. Kümeli işlemde, paralel ve dağıtık işlemde olduğu gibi özel donanım ve işletim yazılımı gereksinimleri yanında, sisteme sunulacak işlerin de doğaları gereği ve yapıları itibariyle bu tür işletime uygun olmaları gerekir. 01.01.2019

Kümeli İşlem - 2 Kümeli sistem, kullanıcıya tek bir sistem gibi görünse de kümedeki diğer sistemler de tüm kullanıcıların kullanımına açıktır. Kümeli işlem, üye sistemlerin dış dünyaya (küme dışına) açık olması sebebiyle, genellikle üye sistemlerin işlem yükünün az olduğu zamanlarda (geceleri, haftasonları) yapılır. Örnek: Bir yerel ağa bağlı NT iş istasyonları kümesi 01.01.2019

Kümeli İşlem - Avantajları-Dezavantajları Yüksek işlem gücü, başarım ve çıktı Çökmelere karşı etkili koruma Kolay genişletilebilme Dezavantajları Sınırlı uygulama yazılımı Ağ iletişimi kaynaklı sorunlar Veri bütünlüğünün bozulması Gerçekleştirim karmaşıklığı Güvenlik problemleri 01.01.2019

Beowulf - Nedir? İngiliz edebiyatında, ilk epik eserin kahramanıdır ... ??? :) 1994 yılında Thomas Sterling ve Donald Becker tarafından, NASA bünyesinde geliştirilen, yüksek başarım-düşük maliyet kıstaslarına dayalı bir süper-bilgisayar sistemidir. Peki ya ilişkisi? Hikâyedeki kahraman düşmanlarını alt ederek bir çok başarı kazanmış ve bir çok kimseyi özgürlüğüne kavuşturmuştur. Beowulf sistemi de diğer benzer sistemlere göre üstünlükler göstermiş ve kıstas aldığı unsurlardaki yüksek başarısı ile bilgisayar sistemlerinin geleceği için bir çığır açmıştır. 01.01.2019

Beowulf - Ayırt edici özellikler Kümeli sistemlerde de olduğu/olabileceği gibi, bir Beowulf sistemi, bir ana sunucu bilgisayar, uygun sayıda uç bilgisayar ve gerekirse uygun sayıda ara sunucu bilgisayardan oluşur. Uç bilgisayarlarda ekran, fare, klavye gibi birimler genellikle bulunmaz. Uç bilgisayarlar dış dünyaya kapalıdır. Sistem kullanıcı için tek bir bilgisayar gibidir, sistem içi iletişim alt yapısı kullanıcıdan tamamen soyutlanmıştır. Tüm bunların sonucu olarak, Beowulf, düşük maliyetli, çok bilgisayarlı yapısı kullanıcıdan soyutlanmış, yüksek başarımlı bir süper-bilgisayar sistemidir. 01.01.2019

Beowulf - Bileşen seçimi kıstasları Maliyetlerinin mümkün olduğunca düşük olmalı. Mümkünse birden fazla üretici tarafından desteklenmeli. Sisteme kurulacak işletim sistemi bu bileşenleri destekler olmalı. 01.01.2019

Beowulf - Gerekli donanım bileşenleri Ana sunucu bilgisayar Temel bileşenlere ek olarak, ekran, klavye, fare, cd-rom ve disket sürücü gibi bileşenler ve iki adet Ethernet kartı (birisi sistem içi, diğeri dış dünyaya hizmet için) n adet uç bilgisayar Temel bileşenlere ek olarak disket sürücü (ikincil bellek birimi olarak ve sistemi başlatmak için) ve Ethernet kartı Ethernet anahtarı 01.01.2019

Beowulf - Ek donanım bileşenleri Dağıtık paralel işleme ek olarak, merkezi paralel işlem için sunucu ve uç bilgisayarlar için ikinci işleyici (ve bunu destekleyen anakart) Uç bilgisayarlar için sabit disk gibi ikincil bellek birimleri Uç bilgisayarlara da giriş yapılabilmesi için (kurulum ve bakım amaçlı) ekran, fare, klavye gibi birimler için anahtar 01.01.2019

Beowulf - Gerekli yazılım bileşenleri - 1 İşletim Sistemi : Linux tamamen ücretsizdir. gelişmiş görev, bellek, kütük ve ağ yönetimi sağlar. gelişmiş kütüphaneler ve program geliştirme araçları sağlar. grafik arayüzü sunar. en güvenilir işletim sistemlerinden birisidir. Windows 2000 (Cluster) ve Sun Solaris de isteğe bağlı olarak kullanılabilecek işletim sistemleridir. 01.01.2019

Beowulf - Gerekli yazılım bileşenleri - 2 Paralel işletim ortamının kurulumunu sağlayan özel yazılım(lar) PVM (Parallel Virtual Machine) MPI (Message Passing Interface) Paralel programlamaya olanak sağlayan kütüphaneler ve derleyiciler İş yönetici, görev zamanlayıcı PBS (Portable Batch System) Sistem izleme yazılımı Mosixview 01.01.2019

Beowulf - Sistem kurulumu - 1 Bilgisayarların her birinin kendi içindeki donanımsal kurulumları gerçekleştirildikten sonra, tüm bilgisayarlardan çıkan ağ kabloları Ethernet anahtarına bağlanır. Eğer varsa, fare, klavye, ekran gibi birimlerin anahtarlarından da tüm bilgisayarlara bağlantı yapılır. 01.01.2019

Beowulf - Sistem kurulumu - 2 Sunucu bilgisayarın işletim sistemi kurulur. Uç bilgisayarlar sabit disk içermiyorsa, hepsini başlatabilecek bir başlatma disketi oluşturulur. Uç bilgisayarlar sabit disk içeriyorsa bilgisayarlardan birisine işletim sistemi kurulur ve diğer bilgisayarların kurulumu bu bilgisayardan kopyalama ile gerçekleştirilir. Bazı ayarlar ile uçlar arasındaki farklılaşma sağlanır. İşletim sistemi alt yapısı kullanılarak, sistem içi ve sistem dışı ağ ayarları yapılır. Kümeli sisteme özel, paralel ortam, iş yönetimi, sistem izleme yazılımları kurulur ve ayarlar yapılır. 01.01.2019

Beowulf - Şematik sistem görünümü (örnek) Pentium III 500 Mhz 128 Mb RAM 10 Girişli Ethernet Anahtarı Pentium III 1233 Mhz 256 Mb RAM 10.0.0.0 10.0.0.1 10.0.0.2 10.0.0.3 10.0.0.4 10.0.0.5 Sistem içi özel ip adresi 193.140.236.6 Sunucu bilgisayar Uç bilgisayarlar Dış dünyaya bağlantı 01.01.2019

Beowulf - Gerçek sistem görünümü (örnek) Loki http://loki-www.lanl.gov/ 01.01.2019

Beowulf - Sistem başarımı Yüksek başarım elde edilebilmesi için kümeye uygun sayıda bilgisayar eklenmelidir, çünkü çok karmaşık bir ağ yapısına sahip olan kümede, bilgisayarlar veri işlemeden çok ağ iletişimi ile meşgul olabilirler. Sunucu ve uç bilgisayarlarda birden fazla işleyici kullanılmasıyla (genellikle iki tane) yüksek bir başarım/maliyet oranı sağlanır, çünkü merkezi paralel işlemde mesajlaşma ağ üzerindekinden çok daha hızlı olur. Özellikle Linux gibi bir işletim sisteminde çok fazla ağ ayarı ve ayar seçeneği bulunduğu için yapılacak doğru ayarlar sistem başarımını büyük ölçüde yükseltebilir. 01.01.2019

Beowulf - Bir uygulama örneği // belirli bir aralıktaki sayilarin // kareleri toplamını hesaplayan program bilgisayar = SUNUCU bilgisayar mı UÇ bilgisayar mı? for sayi = aralık_başlangıcım to aralık_sonum sonuç = sonuç + kare_hesapla(sayi) if bilgisayar == UÇ SUNUCU'ya sonucumu gönder else if bilgisayar == SUNUCU gelen_sonuçlar = uçlardan gelen sonuçlarını al sonuç = sonuç + gelen_sonuçlar 01.01.2019

Beowulf - Mevcut uygulama alanları, bugünü ve yarını Bilimsel ve mühendislik araştırmaları (üniversiteler, devlet ve endüstri) Bilgisayar Bilimleri Modelleme ve Simülasyon Bugünü ve yarını Donanım fiyatları düştükçe ve boyutları küçükdükçe kümeli sistemlerin kullanımı artacaktır. Microsoft ve Redhat gibi işletim sistemi geliştiren firmalar kümeli sistemlere özel sürümler veya ek yazılımlar geliştirmektedirler (Windows 2000 Cluster ve Redhat Linux Cluster). Uygulama yazılımı (özellikle veri tabanı sistemleri) geliştiren firmalar (Oracle vb.) kümeli sistemler üzerinde çalışabilecek özel sürümler geliştirmektedirler. 01.01.2019

KÜMELİ İŞLEM - BEOWULF Hande DOĞAN Ersin ER Hacettepe Üniversitesi b9920196@cs.hacettepe.edu.tr Ersin ER b9920235@cs.hacettepe.edu.tr Hacettepe Üniversitesi Bilgisayar Bilimleri ve Mühendisliği Bölümü