KÜMELİ İŞLEM - BEOWULF Hande DOĞAN - Ersin ER

... konulu sunumlar: "KÜMELİ İŞLEM - BEOWULF Hande DOĞAN - Ersin ER"— Sunum transkripti:

1 KÜMELİ İŞLEM - BEOWULF Hande DOĞAN - Ersin ER
Danışman: Kerem ERZURUMLU Hacettepe Üniversitesi Bilgisayar Bilimleri ve Mühendisliği Bölümü

2 İÇERİK Bilgisayar Sistemlerinin ve Bilgisayar Ağlarının Gelişimi
Paralel, Dağıtık ve Kümeli İşlem ve Avantajları-Dezavanatajları Beowulf Nedir? Ayırt edici özellikler Gerekli ve ek donanım ve yazılım bileşenleri, seçim kıstasları ve sistem kurulumu Şematik ve gerçek sistem görünümleri (örnek) Sistem başarımı Bir uygulama örneği Mevcut uygulama alanları, bugünü ve yarını

3 Bilgisayar Sistemlerinin ve Bilgisayar Ağlarının Gelişimi
Bilgisayar sistemlerinin geliştirilme amaçları Veri işleme Hesaplama Bilgisayar ağlarının geliştirilme amaçları Veri paylaşımı İşlem gücünün arttırılması

4 Paralel, Dağıtık ve Kümeli İşlem
Paralel İşlem Dağıtık İşlem Beowulf Kümeli İşlem

5 Paralel İşlem Öncesi Tek iş düzeni Çok iş düzeni
Aynı anda tek bir işin işletime alınabildiği sistemler Örnek: MS-DOS (+ tek işleyici) Çok iş düzeni Aynı anda birden çok işin işletime alınabildiği sistemler Örnek: UNIX v NT + tek işleyici

6 Paralel İşlem Eş anlı çalıştırılabilecek işlerin ayrı işleyiciler üzerinde çalıştırılması (aynı bilgisayar üzerinde ya da farklı bilgisayarlar üzerinde) Örnek: UNIX v NT + birden çok işleyici

7 Dağıtık İşlem Eş anlı çalıştırılabilecek işlerin ayrı bilgisayar sistemleri üzerinde ileti gönderimi ile paralel olarak çalıştırılması Örnek: Birden çok UNIX v NT sistemi + her sistemde bir ya da daha fazla işleyici + ileti gönderimi ile iletişim

8 Kümeli İşlem - 1 Birden fazla bilgisayar sisteminin paralel ve dağıtık işlem özelliklerini de kullanarak tek bir bilgisayar sistemi gibi işlemesidir. Dağıtık işlemden, kullanıcıya tek bir sistem kullanıyor gibi görünmesi ile ayrılır; paralel işlem özelliklerini ise doğası gereği içerir. Kümeli işlemde, paralel ve dağıtık işlemde olduğu gibi özel donanım ve işletim yazılımı gereksinimleri yanında, sisteme sunulacak işlerin de doğaları gereği ve yapıları itibariyle bu tür işletime uygun olmaları gerekir.

9 Kümeli İşlem - 2 Kümeli sistem, kullanıcıya tek bir sistem gibi görünse de kümedeki diğer sistemler de tüm kullanıcıların kullanımına açıktır. Kümeli işlem, üye sistemlerin dış dünyaya (küme dışına) açık olması sebebiyle, genellikle üye sistemlerin işlem yükünün az olduğu zamanlarda (geceleri, haftasonları) yapılır. Örnek: Bir yerel ağa bağlı NT iş istasyonları kümesi

10 Kümeli İşlem - Avantajları-Dezavantajları
Yüksek işlem gücü, başarım ve çıktı Çökmelere karşı etkili koruma Kolay genişletilebilme Dezavantajları Sınırlı uygulama yazılımı Ağ iletişimi kaynaklı sorunlar Veri bütünlüğünün bozulması Gerçekleştirim karmaşıklığı Güvenlik problemleri

11 Beowulf - Nedir? İngiliz edebiyatında, ilk epik eserin kahramanıdır ... ??? :) 1994 yılında Thomas Sterling ve Donald Becker tarafından, NASA bünyesinde geliştirilen, yüksek başarım-düşük maliyet kıstaslarına dayalı bir süper-bilgisayar sistemidir. Peki ya ilişkisi? Hikâyedeki kahraman düşmanlarını alt ederek bir çok başarı kazanmış ve bir çok kimseyi özgürlüğüne kavuşturmuştur. Beowulf sistemi de diğer benzer sistemlere göre üstünlükler göstermiş ve kıstas aldığı unsurlardaki yüksek başarısı ile bilgisayar sistemlerinin geleceği için bir çığır açmıştır.

12 Beowulf - Ayırt edici özellikler
Kümeli sistemlerde de olduğu/olabileceği gibi, bir Beowulf sistemi, bir ana sunucu bilgisayar, uygun sayıda uç bilgisayar ve gerekirse uygun sayıda ara sunucu bilgisayardan oluşur. Uç bilgisayarlarda ekran, fare, klavye gibi birimler genellikle bulunmaz. Uç bilgisayarlar dış dünyaya kapalıdır. Sistem kullanıcı için tek bir bilgisayar gibidir, sistem içi iletişim alt yapısı kullanıcıdan tamamen soyutlanmıştır. Tüm bunların sonucu olarak, Beowulf, düşük maliyetli, çok bilgisayarlı yapısı kullanıcıdan soyutlanmış, yüksek başarımlı bir süper-bilgisayar sistemidir.

13 Beowulf - Bileşen seçimi kıstasları
Maliyetlerinin mümkün olduğunca düşük olmalı. Mümkünse birden fazla üretici tarafından desteklenmeli. Sisteme kurulacak işletim sistemi bu bileşenleri destekler olmalı.

14 Beowulf - Gerekli donanım bileşenleri
Ana sunucu bilgisayar Temel bileşenlere ek olarak, ekran, klavye, fare, cd-rom ve disket sürücü gibi bileşenler ve iki adet Ethernet kartı (birisi sistem içi, diğeri dış dünyaya hizmet için) n adet uç bilgisayar Temel bileşenlere ek olarak disket sürücü (ikincil bellek birimi olarak ve sistemi başlatmak için) ve Ethernet kartı Ethernet anahtarı

15 Beowulf - Ek donanım bileşenleri
Dağıtık paralel işleme ek olarak, merkezi paralel işlem için sunucu ve uç bilgisayarlar için ikinci işleyici (ve bunu destekleyen anakart) Uç bilgisayarlar için sabit disk gibi ikincil bellek birimleri Uç bilgisayarlara da giriş yapılabilmesi için (kurulum ve bakım amaçlı) ekran, fare, klavye gibi birimler için anahtar

16 Beowulf - Gerekli yazılım bileşenleri - 1
İşletim Sistemi : Linux tamamen ücretsizdir. gelişmiş görev, bellek, kütük ve ağ yönetimi sağlar. gelişmiş kütüphaneler ve program geliştirme araçları sağlar. grafik arayüzü sunar. en güvenilir işletim sistemlerinden birisidir. Windows 2000 (Cluster) ve Sun Solaris de isteğe bağlı olarak kullanılabilecek işletim sistemleridir.

17 Beowulf - Gerekli yazılım bileşenleri - 2
Paralel işletim ortamının kurulumunu sağlayan özel yazılım(lar) PVM (Parallel Virtual Machine) MPI (Message Passing Interface) Paralel programlamaya olanak sağlayan kütüphaneler ve derleyiciler İş yönetici, görev zamanlayıcı PBS (Portable Batch System) Sistem izleme yazılımı Mosixview

18 Beowulf - Sistem kurulumu - 1
Bilgisayarların her birinin kendi içindeki donanımsal kurulumları gerçekleştirildikten sonra, tüm bilgisayarlardan çıkan ağ kabloları Ethernet anahtarına bağlanır. Eğer varsa, fare, klavye, ekran gibi birimlerin anahtarlarından da tüm bilgisayarlara bağlantı yapılır.

19 Beowulf - Sistem kurulumu - 2
Sunucu bilgisayarın işletim sistemi kurulur. Uç bilgisayarlar sabit disk içermiyorsa, hepsini başlatabilecek bir başlatma disketi oluşturulur. Uç bilgisayarlar sabit disk içeriyorsa bilgisayarlardan birisine işletim sistemi kurulur ve diğer bilgisayarların kurulumu bu bilgisayardan kopyalama ile gerçekleştirilir. Bazı ayarlar ile uçlar arasındaki farklılaşma sağlanır. İşletim sistemi alt yapısı kullanılarak, sistem içi ve sistem dışı ağ ayarları yapılır. Kümeli sisteme özel, paralel ortam, iş yönetimi, sistem izleme yazılımları kurulur ve ayarlar yapılır.

20 Beowulf - Şematik sistem görünümü (örnek)
Pentium III 500 Mhz 128 Mb RAM 10 Girişli Ethernet Anahtarı Pentium III 1233 Mhz 256 Mb RAM Sistem içi özel ip adresi Sunucu bilgisayar Uç bilgisayarlar Dış dünyaya bağlantı

21 Beowulf - Gerçek sistem görünümü (örnek)
Loki

22 Beowulf - Sistem başarımı
Yüksek başarım elde edilebilmesi için kümeye uygun sayıda bilgisayar eklenmelidir, çünkü çok karmaşık bir ağ yapısına sahip olan kümede, bilgisayarlar veri işlemeden çok ağ iletişimi ile meşgul olabilirler. Sunucu ve uç bilgisayarlarda birden fazla işleyici kullanılmasıyla (genellikle iki tane) yüksek bir başarım/maliyet oranı sağlanır, çünkü merkezi paralel işlemde mesajlaşma ağ üzerindekinden çok daha hızlı olur. Özellikle Linux gibi bir işletim sisteminde çok fazla ağ ayarı ve ayar seçeneği bulunduğu için yapılacak doğru ayarlar sistem başarımını büyük ölçüde yükseltebilir.

23 Beowulf - Bir uygulama örneği
// belirli bir aralıktaki sayilarin // kareleri toplamını hesaplayan program bilgisayar = SUNUCU bilgisayar mı UÇ bilgisayar mı? for sayi = aralık_başlangıcım to aralık_sonum sonuç = sonuç + kare_hesapla(sayi) if bilgisayar == UÇ SUNUCU'ya sonucumu gönder else if bilgisayar == SUNUCU gelen_sonuçlar = uçlardan gelen sonuçlarını al sonuç = sonuç + gelen_sonuçlar

24 Beowulf - Mevcut uygulama alanları, bugünü ve yarını
Bilimsel ve mühendislik araştırmaları (üniversiteler, devlet ve endüstri) Bilgisayar Bilimleri Modelleme ve Simülasyon Bugünü ve yarını Donanım fiyatları düştükçe ve boyutları küçükdükçe kümeli sistemlerin kullanımı artacaktır. Microsoft ve Redhat gibi işletim sistemi geliştiren firmalar kümeli sistemlere özel sürümler veya ek yazılımlar geliştirmektedirler (Windows 2000 Cluster ve Redhat Linux Cluster). Uygulama yazılımı (özellikle veri tabanı sistemleri) geliştiren firmalar (Oracle vb.) kümeli sistemler üzerinde çalışabilecek özel sürümler geliştirmektedirler.

25 KÜMELİ İŞLEM - BEOWULF Hande DOĞAN Ersin ER Hacettepe Üniversitesi
Ersin ER Hacettepe Üniversitesi Bilgisayar Bilimleri ve Mühendisliği Bölümü