Grid Ortamında Sistem Kurulumu Küme Sistemlerinin Kurulumu ve Hazırlanması Hakan Bayındır

Bölüm I Giriş Grid ortamında yaygın olarak kullanılan işletim sistemleri nelerdir? Neden Scientific Linux? Scientific Linux Kurulum Metodları Geleneksel Yöntemler (İnteraktif Kurulum) Dezavantajları Gelişmiş Yöntemler (Kickstart Kurulum Sistemi) Avantajları

Grid Ortamındaki İşletim Sistemleri Günümüzde bir çok grid ortamında RedHat Enterprise Linux (RHEL) uyumlu işletim sistemleri kullanılmaktadır. Bu dağıtımların en populeri şu anda “Scientific Linux” dur. Grid üzerinde Scientific Linux dışında farklı dağıtımlar kullanmak mümkün olmasına rağmen, bunların kullanımı önerilmemektedir.

Neden Scientific Linux? Tamamen bilimsel kurumlar tarafından (CERN, Fermilab) geliştirilen, bilimsel amaçlı bir Linux dağıtımıdır. Şu anda kullandığımız orta katman yazılımları (LCG / gLite) bu dağıtım üzerinde çalışmak üzere tasarlanmıştır. Homojen bir çalışma ortamı sağladığı için, sorunlar çabuk farkedilmekte, hızla çözülmektedir. RHEL tabanlı bir dağıtım olduğu için güncel bir işletim sistemidir.

Scientific Linux Yükleme Yolları Geleneksel Yöntemler Scientific Linux, diğer Linux dağıtımları gibi CD üzerinden interaktif olarak kurulabilmektedir. Bu yöntem ile sistemi adım adım konfigüre etmenize olanak sağlar. İstediğiniz paketleri kurabilir, en ideal konfigürasyona erişebilirsiniz. Bu yöntem birden çok bilgisayara aynı konfigürasyonun kurulması gerektiği durumlarda ise çok zaman kaybına neden olmakta ve pratikliğini yitirmektedir. Bu nedenlerden dolayı RedHat tarafından kickstart sistemi geliştirilmiştir.

Scientific Linux Yükleme Yolları Toplu Kurulum – Genel Bakış RedHat Enteprise Linux (RHEL), KickStart (KS) denilen otomatikleştirilmiş kurulum yöntemine sahiptir. RHEL tabanlı bütün dağıtımlar bu özelliği miras almaktadırlar. KickStart, kullanıcının uç bilgisayarlar ile ilgilenmeden bir çok bilgisayara aynı ya da farklı konfigürasyonu hızlı bir şekilde kurmasını sağlayan, merkezi kontrollü bir kurulum yönetim sistemidir.

Scientific Linux Yükleme Yolları Toplu Kurulum – Neden KickStart, tek bir bilgisayar kullanarak yüzlerce bilgisayarı homojen ya da heterojen bir konfigurasyon ile kurabilir, acil durumda yeniden kurabilir veya güncelleyebilir. KickStart ile çalışırken, uç makinelerle hiç bir şekilde ilgilenmeniz gerekmez. KickStart ile kurulan sistemler, birden çok işletim sistemini destekleyebilir. KickStart ile kurulacak sistemleri en ince ayrıntısına kadar konfigüre edebilir, sistemi kurduktan sonra yeniden ayarlamak ile uğraşmayabilirsiniz.

Scientific Linux Yükleme Yolları Toplu Kurulum – Avantajlar Bütün grid sitelerinde homojen bir konfigürasyon ve çalışma ortamı yaratmak Bütün sitelerde homojen bir ortam olduğu için çıkabilecek sorun sayısının azaltılması ve olası sorunların çözümlerinin standardize edilmesi. Sitelerden her hangi birinde sistemin yeniden yapılandırılmasını gerektiren bir sorun olduğu zaman, bu kurulum ve yapılandırma süresinin minimize edilmesi. Bütün bu işlemlerin makine başına gitmeden yapılabilmesi.

Scientific Linux Yükleme Yolları Toplu Kurulum – Yöntem TR-Grid altyapısındaki bütün siteler KickStart sistemi ile kurulup konfigüre edilmektedir. Her sitenin hesaplama elemanında (CE) kurulu olan bir KickStart sistemi, sitenin acil durumda yeniden yapılandırılabilmesi için hazır tutulmaktadır. Her site, daha önceden belirlenmiş olan standart bir konfigürasyon ile kurulur. Böylece bütün sitelerde homojen bir yapı hakimdir. Bu KickStart sistemini barındıran CE ler de başka bir kickstart sistemi ile kurulduğu için, bu bilgisayarlar arasında da homojen bir yapı vardır.

Bölüm II PXE ile Sistem Kurulumu PXE üzerinden KickStart ile sistem kurulumu için gerekenler. DHCP TFTP NFS PXE Apache Web Sunucusu KickStart dosyası ve RHEL KickStart Kernel PXE üzerinden KickStart ile sistem kurulumu nasıl çalışıyor? KS sisteminin kurulması ve konfigüre edilmesi.

Kurulum İçin Gerekenler DHCP Sunucusu DHCP sunucusu, bilgisayarlara IP dağıtmakla ve IP verdiği bilgisayarı TFTP sunucusuna yönlendirmekle yükümlüdür. CE elemanları üzerinde kurulacak DHCP sunucusu sadece grid bilgisayarlarının IP ihtiyaçlarını karşılamak ve kurulum sırasında ağ ayarlarının yapılması için kullanılmalıdır. Linux sistemerde bu hizmet dhcpd paketi tarafından sağlanmaktadır. KickStart uygulamasında DHCP sunucusu statik IP dağıtmak için kullanılır.

Kurulum İçin Gerekenler TFTP Sunucusu TFTP (Trivial File Transfer Protocol) sunucusu, kurulumun başlaması için gerekli olan başlangıç dosyalarını tutar ve bu dosyaları istekte bulunan bilgisayara gönderir. TFTP sunucusu, FTPnin aksine, herhangi bir kullanıcı adı veya şifre koruması sağlamaz. Ufak dosyaların istenen bilgisayarlara hızlıca aktarılmasında kullanılır. Scientific Linux'da bu servis tftp-server paketi tarafından sağlanır.

Kurulum İçin Gerekenler NFS Paylaşımları KickStart, işletim sistemini CD, HTTP, FTP ve NFS üzerinden kurabilmektedir. TR-Grid altyapısındaki kickstart yapılandırmaları NFS paylaşımları üzerinden kurulmaktadırlar. NFS, hızı, esnekliği ve dosya sistemine entegre olabilmesi nedeni ile diğer yöntemlerden çok daha avantajlıdır. NFS araçları aynı zamanda bir çok Linux dağıtımında entegre olarak geldiğinden dolayı ekstra paket kurulumu gerektirmez ve konfigüre edilmesi oldukça kolaydır.

Kurulum İçin Gerekenler PXE Ortamı Pre eXecution Environment (PXE), Intel tarafından geliştirilmiş olan ve ethernet kartlarından bilgisayarların boot edilmesini sağlayan gömülü bir sistemdir. PXE, iletişimini oturmuş protokoller ile yaptığından dolayı platform ve işletim sistemi bağımsızdır, standartları destekleyen her sunucu ile kullanılabilir. PXE, DHCP ye IP sorgusu yaptıktan sonra DHCP den aldığı direktifler doğrultusunda TFTP sunucusundan aldığı dosyaları çalıştırır ve kontrolü çalışan programa bırakır.

Kurulum İçin Gerekenler Apache Web Sunucusu Apache Web sunucusu normalde gerekli bir servis olmamasına rağmen, sistem kurulumlarını çok kolaylaştırdığından dolayı, kurulum sırasında kullanılması tavsiye edilir. Normalde PXE kurulum metodu, kurulum bittikten sonra kurulum sunucusuna haber vermediğinden dolayı kurulum devamlı olarak baştan başlar. Apache üzerinde çalıştırılan ufak bir perl dosyası ile, sunucu üzerindeki PXE konfigürasyonu değiştirilerek kurulumun baştan başlaması önlenir. Böylece kurulum tamamen otomatik ve “ayarla ve unut” (set & forget) bir yapıya kavuşur.

Kurulum İçin Gerekenler Kickstart Dosyası ve RHEL Kickstart Kernel KickStart, otomatik kurulumu tamamlayabilmek için bir adet konfigürasyon dosyasına ve özel bir çekirdeğe ihtiyaç duyar. Konfigürasyon dosyası sistemin nasıl kurulacağı ile ilgili bilgileri saklar. KS Kernel, sistemi açmak için gerekli minimum desteği sağlayacak ve KickStart kurulumunu destekleyecek şekilde derlenmiştir ve RHEL ve uyumlu dağıtımlarda dağıtım medyası içerisinde gelmektedir. Bu çekirdek sistemi açtıktan sonra verilen parametrelere göre sistemi konfigüre eder ve istenen adımları gerçekleştirir.

Sistem Nasıl Çalışıyor? Adım Adım Sistemin Çalışması I Bilgisayar açıldıktan sonra PXE ROM'u yüklenir ve DHCP sunucusu aramaya başlar. DHCP sunucusu bu isteği aldığı zaman o ağ kartı için yazılmış olan ayarları, TFTP sunucusunu ve alması gereken dosyaların listesini kendisine gönderir. PXE ROM, pxelinux programını çeker ve çalıştırır. pxelinux programı, kendi IP adresine ait olan konfigürasyon dosyasını TFTP üzerinden alır. Daha sonra pxelinux konfigürasyon dosyasında belirtilen dosyayı çeker, çalıştırır ve kontrolü ona verir.

Sistem Nasıl Çalışıyor? Adım Adım Sistemin Çalışması II Pxelinux, RHEL'nin network boot için hazırlanmış olan çekirdeğini çekip kontrolü ona bıraktıktan sonra bu çekirdek minimal bir Linux işletim sistemi başlatır. Bu işletim sistemi donanımları ayarlar, verilen parametrelere göre KickStart dosyasını çeker, bu dosyada belirtilen kurulum noktasına bağlanır ve sistemi bu kickStart dosyasında belirtildiği gibi kurar. Kurulum sonunda uç sistem, kurulum sunucusu üzerindeki Apache Web sunucusuna bağlanarak kurulumu bitirdiğini bildirir ve sistemi baştan başlatır.

Sistem Konfigürasyonu DHCP Sunucusu /etc/dhcpd.conf deny unknown-clients; not authoritative; option domain-name-servers 193.140.83.251, 193.140.83.252; option dhcp-max-message-size 2048; use-host-decl-names on; next-server 192.168.1.1; subnet 192.168.1.0 netmask 255.255.255.0 { option domain-name "ulakbim.gov.tr"; option broadcast-address 192.168.0.255; option routers 192.168.1.1; allow bootp; allow booting; host egitim-ui {filename "pxelinux.0"; hardware ethernet 00:0A:5E:4C:E4:C3; fixed-address 192.168.1.2;} }

Sistem Konfigürasyonu TFTP Sunucusu I Servis, tftp-server paketi tarafından sağlanır ve varsayılan olarak kapalıdır. TFTP sunucusu, varsayılan dizin olarak “/tftpboot” dizinini kullanır. PXE sisteminin boot edeceği çekirdek ve ilk RAM sürücüsü görüntüsü (initrd.img) buraya konur. PXE sisteminin konfigürasyon klasörü olan pxelinux.cfg de /tftpboot altında durmaktadır.

Sistem Konfigürasyonu TFTP Sunucusu II /etc/inetd.d/tftp service tftp { socket_type = dgram protocol = udp wait = yes user = root server = /usr/sbin/in.tftpd server_args = -s /tftpboot disable = no per_source = 11 cps = 100 2 flags = Ipv4 }

Sistem Konfigürasyonu NFS Paylaşımları /etc/exports altından ayarlanır. KS sistemi, export edilen klasörün altında “SL” klasörü bulunduğunu ve bu klasörün içeriği ile oynanmadığını varsayar. Bu klasör, kurulum CD lerinde mevcuttur. NFS ile klasör export ederken exportun “read only” olmasına ve sadece erişimin olması gereken IP lerin erişim hakkının olduğuna dikkat edilmelidir. /software/SL.308/installationTree *(ro)

Sistem Konfigürasyonu Apache Web Sunucusu /etc/apache2/sites-enabled/default ScriptAlias /cgi-bin/ /usr/lib/cgi-bin/ <Directory "/usr/lib/cgi-bin"> AllowOverride None Options ExecCGI -MultiViews +SymLinksIfOwnerMatch Order allow,deny Allow from all </Directory>

Sistem Konfigürasyonu KickStart Dosyası ve KickStart Kernel I KickStart konfigürasyon dosyası ve KickStart Kernel, bütün kurulum sisteminin belkemiğini oluşturur. KickStart Kernel, Kurulum medyası üzerinde önceden hazırlanmış olarak gelir ve iki dosyadan oluşur. “vmlinuz” çekirdek görüntüsü iken, “initrd.img” bu çekirdeğin ihtiyaç duyacağı dosyaları barındıran bir dosya sistemi görüntüsüdür. Çekirdeğin kendisi ve dosya sistemi görüntüsü, TFTP ile aktarılacağı için bu dosyalar /tftpboot altına konur. Kickstart dosyasının ise NFS ile export ettiğiniz dizinde durması gerekmektedir.

Sistem Konfigürasyonu KickStart Dosyası ve KickStart Kernel II Kickstart dosyası, SL kurulum sisteminin ihtiyaç duyacağı bütün parametreleri içinde blulunduran, okuması ve yazması kolay bir konfigürasyon dosyasıdır. Kickstart, sistem için hızlı konfigürasyon seçenekleri sunmasına rağmen, tekli paket seçimlerine izin verdiği ve sizin yazacağınız scriptleri çalıştırabildiği için, sistemi istediğiniz noktaya kadar özelleştirmenize ve otomatik olarak izin vermektedir. Bu dosya ile ilgili ayrıntılı dökümana bu adresden ulaşılabilir.

Sistem Konfigürasyonu PXE Ortam Konfigürasyonu I PXE, kurulacak sistemin ethernet kartının, DHCP den IP alması ile başlayan ve pxelinux programının Linux çekirdeğini çekip açmasına kadar var olan ve sistemin açılmasını sağlayan bir çalışma ortamıdır. PXE ortamı, uç sistemlerde bir ayar gerektirmemesine rağmen, pxelinux sisteminin düzgün çalışabilmesi için tftp sunucusu altında belli dizinlerin ve dosyaların bulunması şarttır.

Sistem Konfigürasyonu PXE Ortam Konfigürasyonu II Bu dosyalar: /tftpboot/pxelinux.0 /tftpboot/pxelinux.cfg /tftpboot/pxelinux.cfg/<hexIP> şeklindedir. Pxelinux programı, TFTP sunucusunda kendi IP'sinin hexadecimal karşılığı olan dosyayı arar ve bulamazsa son karakterini düşürür. C10A80001 C10A8000 C10A80 C10A8 gibi.

Sistem Konfigürasyonu PXE Ortam Konfigürasyonu III Eğer bu şekilde hiç bir dosya bulunamaz ise en son “0” ve “default” dosyalarına bakılır. Bu şekilde olan dosya arama düzeni, farklı IP blokları için farklı KS kurulumlarına izin verir. Hangi IP'nin hangi ayarlarla kurulduğunu unutmamak için bu dosyalara okunaklı isimler verip, bunları IP dosyalarına sembolik olarak bağlayabilirsiniz.

Sistem Konfigürasyonu PXE Ortam Konfigürasyonu IV pxelinux konfigürasyon dosyası, grub sistem yükleyicisi dosyalarını andıran bir yapıya sahiptir. default linux serial 0 38400 n8 label linux kernel vmlinuz.305 append initrd=initrd.img.305 network ks=nfs:193.255.89.2:/home/sl305/ks.cfg ip=dhcp

Bölüm III Kurulum Sonrası Yapılandırma Sistem güncellemeleri Gereksiz sistem servislerinin kapatılması Java kurulumu lam ve postfix paketlerinin kaldırılması Orta katman paket depolarının sisteme eklenmesi DNS ayarlarının kontrol edilmesi NTP servisinin ayarlanması YAIM kurulumu

Kurulum Sonrası Yapılandırma Sistem Güncelleştirmeleri I Linux, açık kaynak kodlu ve durmadan geliştirilen bir işletim sistemi olduğundan dolayı, çok fazla sıklıkla güncellenmektedir. Bu güncellemeler performans ve güvenlik sorunlarını çözmekte, sistem kararlılığını arttırmakta ve yeni donanıma destek vermektedir. Bu nedenlerden dolayı sistemlerin kurulduğu anda güncellenmesi önemlidir. İşletim sisteminin paket depoları sistem kurulduğunda ayarlı olarak gelmektedir.

Kurulum Sonrası Yapılandırma Sistem Güncelleştirmeleri II İşletim sistemini güncellemek için sırası ile yum update yum -y upgrade yazılmalıdır. İlk komut yeni paket listelerini alacak, ikincisi ise güncellenmesi gereken paketleri güncelleyecektir. Sistemin ilk toplu güncellenmesi yum ile yapıldıktan sonra bundan sonraki güncellemeler apt-get ile yapılabilir.

Kurulum Sonrası Yapılandırma Java Kurulumu - I Grid ortamında kullanılan orta katman yazılımlarının bir bölümü Java sanal makinesine ihtiyaç duymaktadır. Bu yazılımlar Java'nın şu ana kadar en çok test edilmiş sürümü olan 1.4.2 ile uyumlu olacak şekilde geliştirilmiş ve bu sürüm ile test edilmektedirler. Bu nedenden dolayı grid ortamındaki bilgisayarlara Java 1.4.2 kurulmaktadır. Java 1.4.2'nin son sürümünü bu adresden alabilirsiniz. (son kararlı sürüm: jdk1.4.2_13)

Kurulum Sonrası Yapılandırma Java Kurulumu - II Kurulumun daha pratik olması için, rpm.bin uzantılı olan rpm dağıtımını indiriyoruz. İndirdiğimiz paketi uygun bir yere koyduktan sonra chmod a+x j2sdk-1_4_2_13-linux-i586-rpm.bin ./j2sdk-1_4_2_13-linux-i586-rpm.bin rpm -ivh j2sdk-1_4_2_13-linux-i586.rpm komutları ile önce çalıştırılabilir hale getirip, paketi açıp (bize bir lisans anlaşması kabul ettirecektir) daha sonra da kuruyoruz.

Kurulum Sonrası Yapılandırma Java Kurulumu - III Java paketini kurduktan sonra /etc/profile dosyasının içine java'nın değişkenlerini yazarak ve export ederek diğer programların java'yı bulabilmeleri sağlanır. export JAVA_LOCATION=/usr/java/j2sdk1.4.2_13 export JAVA_LIBDIR=$JAVA_LOCATION/lib export JNI_LIBDIR=$JAVA_LIBDIR export JVM_LIBDIR=$JAVA_LIBDIR PATH=$JAVA_LOCATION/bin:$PATH

Kurulum Sonrası Yapılandırma Lam ve Postfix'in Kaldırılması CE ve WN makinelerine kurulan paketlerin, lam ve postfix paketi ile çakıştıkları bilinmektedir. Bu nedenden dolayı CE ve WN uç bilgisayarlarındaki lam ve postfix paketlerinin sistemden kaldırılması tavsite edilmektedir. Paketleri kaldırmak için; rpm -e lam rpm -e postfix komutları kullanılabilir.

Kurulum Sonrası Yapılandırma Orta Katman Paket Depolarının Yapılandırılması I Orta katman yazılımları, işletim sistemini güncelleyen ve dağıtan ekipten farklı bir ekip tarafından geliştirildiği ve güncellendiği için, bu yazılımlar ile ilgili paketler farklı paket depolarında durmaktadırlar. Orta katman yazılımı kurulmadan evvel, bu paket depoları sisteme eklenmelidir. Orta katman yazılımı, paketlerin indirilip güncellenmesi için apt-get paket sistemini kullanır.

Kurulum Sonrası Yapılandırma Orta Katman Paket Depolarının Yapılandırılması II apt-get sisteminin paket depoları, /etc/apt/sources.list.d/ dizini altında durmaktadır. Bu dizin altında, 3 adet dosya yaratılmalıdır. Bu dosyalar lcg-ca.list //grid sertifikaları paket deposu lcg.list //lcg ve gLite paket deposu sl.list //scientific linux paket deposu (genelde kurulumla beraber yaratılır)

Kurulum Sonrası Yapılandırma Orta Katman Paket Depolarının Yapılandırılması III lcg-ca.list dosyasının içerisinde rpm http://linuxsoft.cern.ch/ LCG-CAs/current production lcg.list dosyasının içerisinde rpm http://glitesoft.cern.ch/EGEE/gLite/APT/R3.0/ rhel30 externals Release3.0 updates sl.list dosyasının içerisinde ise #rpm ftp://ftp.scientificlinux.org//linux/scientific/ 308/i386/apt-rpm os updates contrib rpm ftp://ftp.ulak.net.tr/ScientificLinux 308/i386/apt-rpm os updates contrib Satırlarının bulunması gereklidir.

Kurulum Sonrası Yapılandırma Sistem Ağ ve DNS ayarlarının kontrol edilmesi Orta katman yazılımları için ağ bağlantısının ve makine isimlerinin sağlıklı olması çok büyük önem taşımaktadır. Bu nedenden dolayı bütün makineler, isim.alanadi olarak isimlerini bilmek zorundadırlar. Bilgisayarin kendisini dogru olarak çözebildiğini ve adını doğru olarak yayınladığını test etmek için hostname -f komutunu kullanabiliriz. Eğer makineAdi.alanadi.uzanti şeklinde bir cevap alamıyorsak, gerekli dosyalardan bunun düzeltilerek sistemin yeniden başlatılması gerekmektedir.

Kurulum Sonrası Yapılandırma NTP Servisi ile Saat Senkronizasyonu I Grid üzerindeki bütün veri transferleri güvenli olması açısından SSL sertifikaları ile şifrelenerek yapılmaktadır. SSL sertifikasının en büyük özelliklerinden biri, bir son kullanma tarihinin yanında, bir ilk kullanma tarihi de içermesi; böylece sertifika geçerliliğini ileri bir tarihle sınırlamak yerine bir zaman zarfı içerisine sıkıştırmasıdır. Bu nedenden dolayı, grid üzerindeki bütün bilgisayarların saatlerinin senkronize olması gerekmektedir. Bu gerekliliği ise NTP servisi üstlenmektedir.

Kurulum Sonrası Yapılandırma NTP Servisi ile Saat Senkronizasyonu II NTP servisleri, scientific linux üzerinde ntp paketi ile sağlanmaktadır. Bu paketi kurmak için apt-get install ntp komutumu kullanabilirsiniz. NTP kurulduktan sonra, saati nereden alacağı ile ilgili konfigürasyonun yapılması gereklidir. Bu konfigürasyon /etc/ntp.conf /etc/ntp/step-tickers dosyaları üzerinden yapılabilir.

Kurulum Sonrası Yapılandırma NTP Servisi ile Saat Senkronizasyonu III /etc/ntp.conf dosyasının içerisine restrict 127.0.0.1 restrict 193.140.83.32 mask 255.255.255.255 nomodify notrap noquery server 193.140.83.32 server 127.127.1.0 # local clock fudge 127.127.1.0 stratum 10 /etc/ntp/step-tickers dosyası içerisine ise #saat sunucusunun IP adresi 193.140.83.32 eklenir.

Kurulum Sonrası Yapılandırma YAIM Kurulumu YAIM, gLite ve LCG'nin kurulumunda ve konfigürasyonunda yardımcı olan bir scriptler bütünüdür. Sistem yöneticisine dosya şablonları, otomatik kurulum sistemleri gibi yardımcı programları sağlar. YAIM'in son sürümünü http://grid-deployment.web.cern.ch/grid- deployment/gis/yaim/ adresinden çekebilirsiniz. YAIM paketinin gün itibari ile son sürümü 3.0.0-34 dür. Paketi indirdikten sonra rpm -ivh <paket adi> ile kurabilirsiniz.

Teşekkürler Teşekkürler