TR-GRID Üzerinde Kandilli Sismik Veri Sunucusu

Slides:



Advertisements
Benzer bir sunumlar
VERİTABANI YÖNETİM SİSTEMLERİ
Advertisements

Bölüm 6 IP Adresleme ve Yönlendirme
Copyright 2007 Thomson Corporation 1 ISI Web of Knowledge EndNote ® Web 2.0.
I. Ulusal Yüksek Başarım ve Grid Konferansı Deprem Merkezi Bulma Uygulamasının JDL İş Akışları ile Paralelleştirilmesi M.Yilmazer, R. Arikan, M. S. Geden,
Tutarlı Bir Katalog için Otorite Kontrolü
TEMEL AĞ TANIMLARI.
1 Ocak 1989 – 31 Aralık 2004 Güneş Tutulmaları (3)
WEB SERVİCE İDRİS YÜRÜK MAHMUT KAYA.
SEE-Grid Eğitim Altyapısı. Pratik eğitimler SEE-Grid eğitim sanal organizasyonu (sgdemo) üzerinden verilecektir. Bu sanal organizasyona.
Filezilla Client & Server
HTTP’yi (istemci tarafı) kendi kendinize deneyin
İnternet’in Tarihi Gelişimi
DERSLERDE ÖĞRETİM TEKNOLOJİLERİNİN KULLANIMI İLE İLGİLİ ÖĞRENCİ BEKLENTİLERİ: ODTÜ ÖRNEKLEMİ Nergis A. Gürel Köybaşı, Öğretim Teknolojileri Destek Ofisi,
İNTERNET.
İNTERNET VE İLETİŞİM.
Mobil Kütüphane Uygulamaları ve Özellikleri
Ünite 12 INTERNET’İN ALT YAPISI
VERİTABANLARININ ETKİN KULLANIM TEKNİKLERİ
Örnek Kampüs Uygulamaları ODTÜ Ulaknet Sistem Yönetim Konferansı - Güvenlik.
Didem AYDAN 20 Kasım 2009 Ankara YAŞAM BİLİMLERİ VERİ TABANI.
KÜTÜPHANELERDE HALKLA İLİŞKİLER ve PAZARLAMA ANKARA ÜNİVERSİTESİ KÜTÜPHANESİ ÖRNEĞİ Tuna CAN & E.Erdal AYDIN
Çevre ve Orman Bakanlığı Bilgi İşlem Dairesi Başkanlığı
Proxy-DNS Nedir?.
Bilgisayar Mühendisliği Bölümü Bilgi Servisleri (IS) GRID Kullanıcı Eğitimi Boğaziçi Üniversitesi 2007, İstanbul Emrah AKKOYUN.
DOVECOT İLE IMAP VE POP3 SERVER KURULUMU
E-İçerik Arama, Bulma ve Seçme
Kadir SÜTÇÜ MEB Öğretim Görevlisi (Emekli - 59) www
SOME-Bus Mimarisi Üzerinde Mesaj Geçişi Protokolünün Başarımını Artırmaya Yönelik Bir Algoritma Çiğdem İNAN, M. Fatih AKAY Çukurova Üniversitesi Bilgisayar.
The SEE-GRID initiative is co-funded by the European Commission under the FP6 Research Infrastructures contract no SE4SEE A Grid-Enabled Search.
TR-GRID ULUSAL GRID OLUŞUMU GRID PROJELERİ TÜBİTAK ULAKBİM Ankara, Şubat 2007.
TR-Grid Servisleri I. Ulusal Yüksek Başarım ve Grid Konferansı Nisan 2009, ODTÜ, Ankara Bu sunum.
Bölüm 1 Ağlar ve Verİ İletİşİmİ
Grid Hesaplaması Özgür Erbaş GRID Kullanıcı Eğitimi Boğaziçi Üniversitesi 2007, İstanbul.
Açık Dergi Sistemleri orçun madran. Open Journal Systems (OJS) Web 2.0 Teknolojileri ve Uygulamaları Çalıştayı, Ankara - 4 Aralık
İşletim Sistemleri Hazırlayan Hakan YİĞİT.
Bilgiye Ulaşma ve Biçimlendirme
Küme Bilgisayarlarda PBS Kuyruk Sistemi
HALK KÜTÜPHANELERİ SOSYAL AĞLARDA HALK KÜTÜPHANELERİNE ERİŞİM.
TOPLAMA İŞLEMİNDE VERİLMEYEN TOPLANANI BULMA.
Slide 1 Web 2.0 Teknolojileri ve Uygulamaları Çalıştayı, 4 Aralık 2009, Ankara Web 2.0, Semantik Web ve Kütüphanelerin Geleceği Yaşar Tonta ve Umut Al.
2 ve 1’in toplamı 3 eder..
İnternet Teknolojisi Temel Kavramlar
Gnutella Ağ ve Protokol Sistemi
ODTÜ Bilgisayar Mühendisliği
U Y A R I Takibeden slaytlarda anlatılan internet explorer / proxy ayarları yapıldıktan sonra ancak KHÜ Bilgi Merkezi tarafından izin verilen web sayfalarına.
Proxy ayarını yapmak ne işe yarar?
Orçun Madran. Wikipedia Web 2.0 ve Sosyal Ağlar, İstanbul - 12 Aralık
Quest Atlantis Dünya Üzerine Yayılmış Çok-Kullanıcılı Çevrim-İçi Eğitsel Bir Bilgisayar Oyununun Teknik Yapısı.
TR-Grid Altyapısında Çalışan Uygulamalar.
İNTERNET TARAYICI (WEB BROWSER) PROGRAMLARI
SLAYT 1BBY220 OCLC WorldCat Yaşar Tonta Hacettepe Üniversitesi yunus.hacettepe.edu.tr/~tonta/ BBY220 Bilgi Erişim İlkeleri.
Boğaziçi Üniversitesi Web Site Tasarım Çalışması
İçerik EndNote Hakkında… EndNote Kurulumu
Adnan TUTCAN Web 2.0 Nedir ? Toplulukları bir araya getiren, standart tasarım anlayışına yepyeni bir boyut kazandıran, daha dinamik özelliklere.
E-ÖĞRENME SİSTEMİNİN HİZMET İÇİ EĞİTİMDE KULLANILMASI VE E-ÖĞRENME SİTELERİNİN KULLANIM KOLAYLIĞI AÇISINDAN İNCELENMESİ Yasemin BOY Yaşar ARSLAN Doç. Dr.
BTÖ 306 Bilgisayar Ağlarına Giriş Dr. Şirin Karadeniz Çelebi Uluyol.
WEB SUNUCU LOGLARININ WEB MADENCİLİĞİ YÖNTEMLERİ İLE ANALİZİ
Bilgi ve İletişim Teknolojisi
İNTERNET VE BİLGİSAYAR AĞLARI
KIRKLARELİ ÜNİVERSİTESİ
Web Teknolojileri Hafta İçerik  Hosting (Barındırma)  Domain (Alan Adı)  Ücretli Hosting ve Domain Siteleri  Ücretsiz Hosting ve Domain Siteleri.
Metadata, z39.50, FRBR, ve RDA. Ders içeriği Web kaynakları ve web kaynaklarında kimlikleme Derin web – Yüzeysel web Arama Motorları Metadata Kopya Kataloglama.
Dünyanın bilgisine açılan pencere...
DOMAIN SERVER DOMAIN NEDIR ?
Dünyanın bilgisine açılan pencere...
Amazon Web Servisleri ve Javascript Dilinin Birlikte Kullanımı
Yrd. Doç. Dr. Abdullah BAYKAL Konuşmacı : Cengiz Coşkun
BİLİŞİM TEKNOLOJİLERİ VE YAZILIM DERSİ
WİNDOWS SÜRÜMLERİ ARASINDAKİ FARKLILIKLAR
Dünya Üzerine Yayılmış Çok-Kullanıcılı Çevrim-İçi Eğitsel
Sunum transkripti:

TR-GRID Üzerinde Kandilli Sismik Veri Sunucusu D. Unat, A. S. Balkır, E. Şenay, C. Özturan Bilgisayar Müh. Bölümü Boğaziçi Universitesi M. Yılmazer Kandilli Rasathanesi ve Deprem Araştırma Enstitüsü, Boğaziçi Üniversitesi

Türkiye’deki Sismik Veri Toplama İstasyonları 2

Verilerle İlgili Bilgiler Veriler takriben 100 istasyondan toplanmaktadır Veriler ziplenmiş SAC dosyası formatında tutulmaktadır Veriler her saat başı Kandilli’deki veri deposuna aktarılmaktadır Veriler Kandilli web sunucusundan erişilebilmektedir Her saat başı bir istasyondan aktarılan ziplenmiş SAC dosyası büyüklüğü takriben 20K-580K arasında değişebilir Bir ayda toplanan veri büyüklüğü takriben: 32 GB 10 senelik veri büyüklüğü takriben : 3.8 TB 3

Proje Motivasyonu Bu büyüklükteki verilerin web üzerinden yerel bilgisayara indirilmesi ve işlenmesi kolay/pratik değil Milyonlarca dosyanın web üzerinden sunulması pratik değil Grid üzerinde hem veri hemde hesaplama gücü bu verilerin/dosyaların işlenmesini çok kolaylaştırır. Grid Veri + Yüksek Hesaplama Gücü Web sunucusu indir Kullanıcı bilgisayarı 4

Proje Bileşenleri Bileşen Statü 1. Tr-Grid Kandilli Sismik Veri Deposu (otomatik olarak SAC dosyalarının Kandilli web sunucusundan tr-grid’e yansıtılması) tamamlandı 2. C++ SAC Dosya İteratörleri ( birçok SAC dosyası üzerinden yüksek seviyede iterasyon sağlayan programlama araçları) Devam ediyor 3. Örnek uygulama (verileri kullanan bir uygulama) 5

1.Tr-Grid Kandilli Sismik Veri Deposu Veri yansıtıcı programı Perl dilinde ve LWP paketini kullanarak geliştirildi Cron ile saat başı çalıştırılıyor Kandilli web sitesindeki: http://barbar.koeri.boun.edu.tr/sismo/zKDRS/zzTRlogin.asp veri se.ulakbim.gov.tr veri deposuna yansıtılmaktadır ve lfc.ulakbim.gov.tr dosya kataloğuna kayıt edilmektedir. LFC_HOME yeri: /grid/trgrid/kandilli/barbar.koeri.boun.edu.tr/wData/ 6

1.Tr-Grid Kandilli Sismik Veri Deposu Çıkabilen Problemler Kandilli tarafında olabilen problemler: Bazı istasyonlar zamanında verilerini göndermeyebilir Veri web sayfasına yüklenmemiştir Kandilli web sayfasının geçici olarak çalışmaması Özel durumlarda gecikmeler (örneğin tatil günleri vs.) Tr-Grid tarafında olabilen problemler: Proxy sertifikasının yaratılması başarılı olmayabilir Sunucu kapalı olabilir Ağ kullanımı yoğunluğundan dolayı kopya ve kayıt yapmada zaman aşımına uğramak Bu problemleri çözmek için İndirme sorunu yaşayan dosyaların listesi tut Uygun zamanlarda bu dosyaları tekrar indir 7

2. C++ SAC Dosya İteratörleri (devam ediyor) Yüzbinlerce SAC dosyası bulunuyor Bu dosyalara erişmek ve dosyalar üzerinde iterasyon yapmak için yüksek seviyeli programlama arayüzüne ihtiyaç vardır esenay@levrek:~$ lfc-ls -l /grid/trgridd/kandilli/barbar.koeri.boun.edu.tr/wData/2006/04/11/23 -rw-rw-r-- 1 103 110 256478 Apr 12 2006 2006041123.AKS.SHZ.KO.zip -rw-rw-r-- 1 103 110 158038 Apr 12 2006 2006041123.ALT.SHZ.KO.zip ....... ....... -rw-rw-r-- 1 103 110 17984 Apr 12 2006 2006041123.YOZ.SHZ.KO.zip Dosya erişimlerini ve iterasyonlarını kolaylaştırmak için C++ sınıfları ve iteratörleri tanımlanacaktır. Üzerinde iterasyon yapılan dosyalara erişimi hızlandırmak için boru hattı teknikleri (pipelining) kullanılacaktır 8

2. C++ SAC Dosya İteratörleri (devam ediyor) İstasyon, yıl, ay, gün, saat üzerine iterasyon yapma Örnek: #include <kandilli> ..... Kandilli K ; KandilliStation station ; for(station = K.begin() ; station != K.end() : station++ ) { ....... } 9

2. C++ SAC Dosya İteratörleri (devam ediyor) Çok-sicim (multi-thread) ve boru hattı (pipelining) kullanılarak İterasyon yapılacak dosyalara erişimin hızlandırılması Çok sicimli döngü Orijinal döngü Dosya indir Dosyayı işle Dosya indir Dosyayı işle 10

2. C++ SAC Dosya İteratörleri (devam ediyor) Boru hatlı (pipelined) dosya erişimi Dosya1 indir Dosya1 işle Dosya2 indir Dosya3 indir Dosya2 işle Dosya4 indir Dosya3 işle Dosya5 indir Dosya4 işle Dosya5 işle iterasyon başlangıcı 1 2 3 4 5 iterasyonlar 11

3. Örnek Uygulama (devam ediyor) Saat başı gelen verilerden deprem merkezini bulma uygulaması Çıkan sonuçların Google Maps’ta gösterilmesi 12

3. Örnek Uygulama (devam ediyor) İstasyon bilgilerinin Google Maps’ta gösterilmesi 13

3. Örnek Uygulama (devam ediyor) Otomatik bulunan depremlerin web arayüzü ile sorgulanması 14

3. Örnek Uygulama (devam ediyor) Google Maps’ta sorgulanan aralıklardaki depremlerin gösterilmesi 15

Kaynakça Didem Unat, Developing Grid-Enabled Applications for Kandilli Observatory and Earthquake Research Institute on TR-Grid. Senior Project Report, Dept. of Computer Eng. Boğaziçi University, 2006. E. Şenay, A. S. Balkır Developing Kandilli Earthquake Analysis Application on TR-GRID, Senior Project Report, Dept. of Computer Eng. Boğaziçi University, 2006-07 (in progress). 16