Veri Tabanı Yönetim Sistemleri 1 Ders 13 Veri Ambarı & OLAP Yrd. Doç. Dr. Altan MESUT Trakya Üniversitesi Bilgisayar Mühendisliği Bölümü

Veri Ambarı Nedir? Veri ambarı, bir işletmenin ya da kuruluşun değişik birimleri tarafından toplanan bilgilerden değerli olanlarının, gelecekte analiz işlemlerinde kullanılması amacıyla işletimsel sistem veritabanından farklı bir ortamda birleştirilmesinden oluşan büyük çaplı bir veri deposudur. Bir veri ambarı ilgili veriyi kolay, hızlı ve doğru biçimde analiz etmek için gerekli işlemleri yerine getirir. Veri ambarı kullanıldığında, günlük işletimsel görevlerle yeterince meşgul olan veritabanı kullanılmadan, analiz işlemleri farklı bir ortamda yapılır.

Veri Ambarı Mimarisi

ETL (Extract-Transform-Load) (Çıkarım-Dönüştürme-Yükleme) Veri çıkarımı, veri ambarının kullandığı kaynaklardan (veri tabanı ve/veya diğer kaynaklar) veri elde etme işlemidir. Kaynaklardan çıkarılan veri genellikle geçici dosyalara yüklenir. Dönüştürme aşamasında ise, elde edilen verilerdeki fazlalıklar atılır (veri temizleme) ve her veri sorgulamalarda kullanılabilecek uygun veri türüne dönüştürülür. Yükleme, dönüştürülen verinin veri ambarına aktarılması işlemidir.

Metadata Türleri Teknik Metadata: Sistem adminleri ve ambar tasarımını yapan kullanıcılar için gerekli geliştirme ve bakım işlemleri ile ilgili verilerdir. İşletimsel veri tabanlarından ambara dönüşüm için kullanılan algoritmalar, veri temizleme ve düzeltimi için kullanılan kurallar, erişim hakları, vs. İş Metadata: Kullanıcıların veri ambarında saklanılan bilginin perspektifini anlamasına yardımcı olacak bilgileri içerir Sorgu, rapor, web sayfası, resim, video, vs.

Veri Madenciliği Nedir? Veri madenciliği, veri ambarları üzerinde AI (yapay zeka), istatistiksel ve matematiksel teknikleri kullanarak, saklanılan büyük miktarlardaki veriler üzerinden, anlamlı yeni ilişkiler, desenler ve eğilimler keşfetme işlemidir.

Veri Madenciliğinin Kullanım Amaçlarından Bazıları: Stratejik Analiz: Bir KDS (Karar Destek Sistemi) olmasından dolayı Finansal Analiz: Maliyetlerin azaltılması dolayısıyla rekabet avantajının sağlanması Satış analizi ve trendler üzerine odaklanmak Müşterilerin gizli kalmış satın alma eğilimlerini tespit etmek İşler arasında ilişkilerin belirlenebilmesi Müşteri ihtiyaçlarına çabuk cevap verebilme (Etkin CRM)

OLAP (On-Line Analytical Processing) OLAP araçları, hızlı gözden geçirim, özetleme ve veri analizi için tasarlanmış, çok boyutlu veri tabanı motorunda verinin çok boyutlu gösterimine olanak sunan araçlardır. OLAP araçları ile; En çok kâr getiren müşterilerim kimlerdir? (Bayi ve perakendeci bazında.) En kârlı ürünlerim nelerdir? Hangi işletme ya da mağazamda, en çok hangi saat ve günlerde hareketlilik olmaktadır? gibi sorular hızlı bir şekilde cevaplanabilmektedir.

Veri Ambarı (OLAP) Veri Tabanı (OLTP) Off-Line çalışır Veri değişiminden çok sorgulama yapılır Eski veriler saklandığı için veri miktarı çok Üst yönetim ve analistler kullanır (Kullanıcı sayısı az) Veri madenciliği gibi uzun ve karmaşık süreçler sonucunda analizler yapılabilir Veri Tabanı (OLTP) On-Line çalışır Veri değişimi işlemleri yoğunluktadır (DML) Güncel veriler saklandığı için veri miktarı daha az Veriye ulaşmak ve değiştirmek isteyen her kullanıcıya hitap eder (Kullanıcı sayısı çok) Sorgularla istenilen sonuçlara anında ulaşılır

Veri ambarı yerine veri tabanı (işletimsel sistem) kullanılırsa … İşletimsel sistemlerde sürekli değişen veri “karar verme işlemi” için uygun değildir. İşletimsel sistemlerde kompleks bir sorgu yapılacaksa, bir çok tablodan veri toplanması gereklidir. İşletimsel sistemlerde sadece işlemsel veriler saklanılır. Geçmişe yönelik veri saklanılmaz. Organizasyondaki farklı uygulamalar, farklı teknolojiler ve ortamlar kullanabilmektedir. Böyle sistemlerde veri analiz ve sorgulaması, verinin yeri ve ortak bir formata dönüşüm işlemlerini içerdiğinden zor olabilir.

Veri Pazarları (Data Marts) Birleşik verilerin tutulduğu veri ambarına ilave olarak kullanılan veri deposu olarak tanımlanabilir. Veri pazarı, belirli kullanıcı grubu için yaratılan veri bölümüdür. Veri pazarı, normalize edilmemiş, özetlenmiş, toplanılmış veri topluluğu olabilir.

Veri Ambarı ile Veri Pazarı Arasındaki Farklar Veri pazarı sadece bir özne alana veya sadece bir grup kullanıcı üzerine odaklanır. Bir organizasyon sadece bir veri ambarına sahip olur, fakat bir çok veri pazarı içerebilir. Veri pazarları veri ambarlarının aksine, işletimsel veri kaynakları bilgisine sahip değildir. Çünkü veri pazarları, veri ambarlarının aksine daha az bilgi içerirler bu nedenle kullanıcılar için çok daha çabuk ve kolayca anlaşılabilirler.

Veri Ambarı İçin Kullanılan Modelleme Teknikleri Veritabanı tasarımında kullanılan E-R modeli iki boyutlu olup, tüm varlıklara eşitmiş gözü ile bakılır. Veri ambarları için çok boyutlu perspektifi gerçekleyebilecek yeni modelleme teknikleri keşfedilmiştir: Yıldız (Star) Kar Tanesi (Snowflake) Karma (Mixed)

Yıldız (Star) Modeli Gerçek tablosu, temel iş ölçümlerini içeren niteliklerden oluşur. Bir gerçek tablo, o tabloya ait spesifik nitelikler ve boyut tablolarıyla ilişkili yabancı anahtarları içermektedir. Boyut tablosu, gerçek tablosunda saklanılan veriyi indeksler ve organize eden niteliklerden oluşmaktadır. Boyut tablosu, boyutu tanımlayan nitelikleri içermektedir.

Kar Tanesi (Snowflake) Modeli Kar tanesi modeli, yıldız modelinin geliştirilmiş halidir. Gerçek tablolarının her bir boyut tablosu başka boyut tablolarına da sahiptir. Boyut tabloları, bir çok niteliğe sahip olduklarında, normalize edilmeleri gereklidir. Yıldız modeli normalize edilmiş boyut tablolarını desteklemediğinden, bu durumda kar tanesi modeli tercih edilmelidir.

Kar Tanesi Modelinin Avantajları ve Dezavantajları Tüm tekrarlanılan veriler kaldırıldığından, saklama alanı korunmuş olur. Büyük normalize edilmemiş tablolar yerine, Join’ler için normalize edilmiş daha küçük tablolar kullanılır. Dezavantajları: Sorgu sonucunda Join edilmesi gereken tabloların sayısının belirlenmesindeki zorluk Belirli bir sorguda kullanılacak tabloyu belirlemedeki zorluk

Karma (Mixed) Modeli Bazı veritabanı dizaynlarında, boyut tabloları veri hacminde çok geniş farklılıklar gösterir. Böyle durumlarda tüm tasarımda ne yıldız ne de kar tanesi modeli kullanılamaz. Her iki modelin bir kombinasyonuna ihtiyaç duyulur. Bu kombinasyon modeline karma model denilmektedir.

Küp (Cube) Verinin hızlı bir şekilde analizine izin veren veri yapısıdır. Yıldız modeli için verilen örnek bir küp üzerinde aşağıdaki gibi saklanabilir: Gerçek tablosu : Çok boyutlu (3D) küp : day 2 day 1

Küp İşlemleri Örnek: Toplam Hesaplama . . . sale(c1,*,*) 129 day 2 . . . day 1 sale(c1,*,*) 129 sale(c2,p2,*) sale(*,*,*) rollup drill-down

SQL Server Analysis Services (SSAS) SQL Server Analiz Servisleri; veri madenciliği çözümlerini kolayca yaratmak için sihirbazlar ve görsel araçlar sunar. Sahip olduğu araçlar sayesinde, makine öğrenmesi konusuna yeni başlayanlar için bile veri madenciliği modellerini tasarlamak, eğitmek ve keşfetmek kolaydır. Modellere ait veriler az önce bahsedilen çok boyutlu küplerde saklanabileceği gibi, ilişkisel tablolar veya SSAS tarafından desteklenen başka kaynaklarda da saklanabilir.

SSAS ile ilgili kaynaklar Analysis Services Tutorials (SSAS) https://msdn.microsoft.com/en-us/library/hh231701.aspx SQL Server Analysis Services (SSAS) Tutorial https://www.mssqltips.com/sqlservertutorial/2000/sql-server-analysis-services-ssas-tutorial SSAS-info http://www.ssas-info.com

SQL Server Integration Services (SSIS) SSIS, veri entegrasyonu ve iş akışı uygulamaları için ETL süreçlerinde kullanılan hızlı ve esnek veri ambarı araçlarına sahiptir bir platformdur. XML veri dosyaları, düz metin dosyaları, ilişkisel veri tabanları gibi birçok kaynaktan veri çekmemizi, bunları uygun formata dönüştürmemizi ve bir veya daha fazla hedefe (destination) yüklememizi sağlar.  SSIS ayrıca, SQL Server veritabanlarının bakımını ve çok boyutlu küp verileri için güncellemeleri otomatikleştirmek için kullanılabilir.

SSIS ile ilgili kaynaklar SQL Server Integration Services (SSIS) Nedir http://eliffkkurt.blogspot.com.tr/2016/01/sql-server-integration-services-ssis.html What is Microsoft SSIS? - Definition http://searchsqlserver.techtarget.com/definition/Microsoft-SSIS-SQL-Server-Integration-Services SSIS How to Create an ETL Package https://msdn.microsoft.com/en-us/library/ms169917.aspx

SQL Server Data Tools (SSDT) SQL Server Veri Araçları; Visual Studio'da veritabanı geliştirmenin tüm aşamalarında bildirimsel bir model sunarak veritabanı geliştirmeyi amaçlar. SSDT ile, Analysis Services Scripting Language (ASSL) öğelerini içeren XML dosyalarında depolanan Analysis Services nesnelerinin (küpler, boyutlar vb.) tanımlarını içeren Analysis Services projeleri oluşturabilirsiniz. Bir veritabanı projesi üzerinde çevrimdışı şekilde çalışabileceğiniz gibi, doğrudan bağlı olduğunuz bir veritabanı / veri ambarı örneğinde de çalışabilirsiniz.

SSDT ile ilgili kaynaklar SQL Server Data Tools https://msdn.microsoft.com/tr-tr/library/hh272686(v=vs.103).aspx Download SQL Server Data Tools https://msdn.microsoft.com/en-us/library/mt204009.aspx

SQL Server Reporting Services (SSRS) SSRS ile yazıcı çıktısına uygun biçimde sayfalara ayrılmış ortamda raporlar oluşturulabileceği gibi, web tarayıcısı veya mobil bir cihazda görüntülenebilecek türde raporlar da oluşturulabilir. Kaynak: https://msdn.microsoft.com/en-us/library/ms159106.aspx