Sunum yükleniyor. Lütfen bekleyiniz

Sunum yükleniyor. Lütfen bekleyiniz

1 Görüntü İyileştirme Teknikleri Hafta-8 Doç. Dr. Oğuz Güngör Karadeniz Teknik Üniversitesi Harita Mühendisliği Bölümü 61080 Trabzon

Benzer bir sunumlar


... konulu sunumlar: "1 Görüntü İyileştirme Teknikleri Hafta-8 Doç. Dr. Oğuz Güngör Karadeniz Teknik Üniversitesi Harita Mühendisliği Bölümü 61080 Trabzon"— Sunum transkripti:

1 1 Görüntü İyileştirme Teknikleri Hafta-8 Doç. Dr. Oğuz Güngör Karadeniz Teknik Üniversitesi Harita Mühendisliği Bölümü Trabzon

2 2 Görüntü kaynaştırma teknikleri Görüntü Füzyonu Konsepti ve Problemin tanımı Mevcut yöntemler Renk tabanlı Yöntemler IHS Brovey SVR Dalgacık Dönüşümü (Wavelet Transform) Tabanlı Yöntemler Mallat A-trous M-band İstatistiksel Yöntemler PCA Lineer Regresyon Kriter Tabanlı Görüntü Füzyonu Yöntemi Sonuçlar

3 3 Niçin Pankromatik görüntüler genellikle multispektral görüntülere göre daha yüksek konumsal çözünürlüğe sahiptirler? Tek bir dedektör Yeryüzünde bir pikselin alanı optik IFOV (Instantaneous Field of View) Küçük IFOV = Yüksek Çözünürlük (Daha geniş bant aralığındaki enerjiyi algılar) Geniş IFOV = Düşük Çözünürlük (Sadece küçük bir bant aralığındaki enerjiyi algılar) Pankromatik Multispektral

4 4 + = Pankromatik Füzyon yapılmış Görüntü Multispektral Görüntü Multispektral görüntüdeki eksik detayları pankromatik görüntüyü kullanarak bul, multispektral görüntüye yapısını bozmadan ekle Pankromatik görüntü kullanarak gürüntü füzyonu a band of desired multispectral image Düşük çözünürlüklü multispektral görüntünün bir bandı Spectral response of panchromatic sensor Yüksek çözünürlüklü pankromatik görüntü desired high resolution multispectral image Spektral Genelleştirme (ideal multispektral bantların ağırlıklı ortalaması) Mekansal Genelleştirme (yüksek çözünürlükle bantların ağırlıklı ortalaması) Yüksek çözünürlüklü pankromatik ve düşük çözünürlüklü multispektral görüntüler spektral ve mekansal genelleştirme sürecinde spektral ve mekansal bilgilerinin bir kısmınıkaybederler. O yüzden problemin çözümü için bazı varsayım ve koşullar kullanılmalıdır. Spektral ve Mekansal Genelleştirme

5 5 Görüntü Füzyonu Yöntemleri Renk Tabanlı Yöntemler IHS Yöntemi Brovey Yöntemi SVR Yöntemi Dalgacık Dönüşümü Tabanlı Yöntemler Mallat’ın Algoritması A-trous Yöntemi M-Band dalgacık dönüşümü İstatistiksel Görüntü Füzyonu Yöntemleri PCA yöntemi Lineer regresyon yöntemi Kriter tabanlı görüntü kaynaştırma yöntemi Multispektral banttaki eksik detayları nasıl bulduklarına göre sınıflandırılır.

6 6 RGB ve IHS Uzaylari arası Dönüşüm Geri Dönüşüm İleri Dönüşüm Varsayım: Multispektral bantlardan hesaplanan intensity pankromatik görüntüye çözünürlüğü hariç eşit varsayılabilir F 1 = R + (Pan – Intensity); F 2 = G + (Pan – Intensity); F 3 = B + (Pan – Intensity);

7 7 IHS Görüntü Kaynaştırma Yönteminin Özellikleri Anlaşılması ve uygulanması basit Konumsal detayı arttırmada oldukça başarılı Sadece üç multispektral bant kullanılabılır Bu yüzden, multispektral bantlardan hesaplanan intensity pankromatik görüntüye eşit sayılabilir varsayımı tam doğru değil Çünkü intensity hesaplanırken diğer bantların katkısı ihmal edilir Bu yüzden multispektral görüntüde renk bozulmaları olur Problem farklı sensörler kullanılırsa daha da artar

8 8 Brovey Yöntemi Varsayım: Pankromatik görüntüdeki detaylar, her bir multispektral bandı pankromatik bant ve intensity’nin oranıyla çarparak da transfer edilebilir. Yukarıdaki varsayım aslında detayları multispektral görüntüdeki piksellerin oluşturduğu spektral vectörü C kadar uzatarak ya da kısaltarak aktarır C intensity ile doğrudan ilişkili Dolayısıyla intensity hesaplamadaki varsayımın doğruluğuna bağlı olarak radyometrik bozulma oluşabilir

9 9 SVR Yöntemi Her bir multispektral bant için farklı bir ağırlık hesaplar Ağırlıklar yüksek çözünürlüklü pankromatik ve boyutları pankromatik görüntününkine çıkarılmış (resampled) multispektral görüntü arasında doğrudan lineer regresyon yapılarak bulunur. SVR yöntemi aslında Brovey yöntemini genelleştirir ve radyometrik bozulma problemini azaltır. Fakat intensity için hesaplanan ağırlıklar bantın tümü için kullanıldığından yine spektral bozulmalar olur

10 10 Mallat Algoritması İleri Dönüşüm Ortonormal dalgacık filtreleri (haar, db2, etc) kullanılarak görüntüler alçak ve yüksek frekans bileşenlerine (approximation and detail coefficients) ayrılırlar Katsayıların kombinasyonu Her iki resimden gelen katsayılar kaynaştırılmış katsayıları elde etmek için seçilen bir kurala göre birleştirilir. Geri Dönüşüm Katsayılar birleştikten sonra geri dönüşüm uygulanarak kaynaltırılmış görüntü elde edilir.

11 11 À Trous Algoritması H 0 bir 5x5 convolution maskesidir ve alçak geçiren filtreden üretilir I 0 = Orjinal Pan I 1 = convolve( I 0,H 0 );w 1 = I 0 – I 1 ; I 2 = convolve( I 1,H 1 );w 2 = I 1 – I 2 ; I 3 = convolve( I 2,H 2 ); w 3 = I 2 – I 3 ; I n = convolve( I n-1,H n-1 );w n = I n-1 – I n ; Wavelet Düzlemleri Her ayrıştırma adımı (j) de filtre katsayıları arasına 2 j-1 -1 kadar sıfır doldurulur I 0 ’ı yeniden oluşturmak için w i ’ler toplanır FUSIONwhere

12 12 M-Band Wavelet Transform Mallat’ın algoritmasının aksine frekans uzayını iki değil de M kanala böler Düşük frekans görüntüyü elde etmek için orjinal görüntünün çözünürlüğünü direk M (pozitif integer) düşürür. Oysa Mallat’ın algoritması çözünürlük düşürmede 2 n (n=1, 2, 3, …) ile sınırlıdır M-band dalgacık dönüşümünde sadece bir tane ölçek fonksiyonu ve M-1 tane dalgacık fonksiyonu vardır.. Böylece bir tane alçak frekans görüntüsü (LL) ve M 2 -1 tane detay görüntüsü (LH m, H m L, and H m H n ) üretilir. Üretilen görüntülerin boyutu orjinal görüntünün 1/M i olur

13 13 Bu yöntemlerdeki varsayım: pankromatik görüntünün yüksek frekans bileşeni frekans uzayında ayrıştırılarak düşük çözünürlüklü multispektral görüntüye detay olarak eklenebilir Dalgacık Dünüşümü tabanlı yöntemler orjinal görüntünün rengini korumada oldukça başarılılar Fakat bu yöntemler görüntüleri sadece yatay düşey ve çapraz yönlerde filtreledikleri için bu yönlerde kenarları doğrusal olmayan nesnelerin geometrilerinde bozulmalar oluşur

14 14 PCA Yöntemi Ana bileşenleri elde etmek için görüntünün kovaryans matrisine dayalı lineer bir dönüşüm uygulanır Birinci anabileşen pankromatik görüntü ile yer değiştirilir Geri dünüşüm uygulanarak kaynaşmış görüntü elde edilir PC-1 PC-2 PC-3 Pixel values in 3-D Space Pixels on band-1 vs. band-2 plane band-3 band-1 band-2 band-1 band-2 Pixels on band-1vs. band-3 plane PC-1 band-3 a)a) b)b) c)c) Varsayım: Birinci anabileşen görüntüdeki konumsal detayın büyük bir oranını içerir. Diğer anabileşenler ise görüntünün spektral özelliklerini içerir. Eğer birinci anabileşen ile pankromatik görüntü arasındaki korelasyon düşükse hem renk hem detay performansı düşer Görüntünün boyutu da önemli

15 15 Ana Bileşenler Dönüşümü Bir çok bantlı görüntüde komşu bantlar arasında yüksek oranda korelasyon olabilir ve bu yüzden nesneler hakkında aynı veya benzer spaktral bilgi içerebilir. Ana bileşenler dönüşümü orijinal veri kümesini n boyutlu (n toplam bant sayısı) lineer bir dönüşüm kullanarak öz vektörler uzayına dönüştürür, Böylece orijinal verinin varyansı maksimize edilerek bantlar arasındaki korelasyon ortadan kaldırılmış olur

16 16 Ana Bileşenler Dönüşümü PC-1 PC-2 PC-3 Pixel values in 3-D Space Pixels on band-1 vs. band-2 plane ban d-3 band-1 band-2 band-1 band -2 Pixels on band-1vs. band-3 plane PC-1 band-3

17 17 Ana Bileşenler Dönüşümü Kullanılarak Spektral İyileştirme Öncelikle çok bantlı görüntüye ana bileşenler dönüşümü uygulanır Sadece elde edilen birinci ana bileşene kontrast iyileştirme uygulanır Daha sonra kontrast iyileştirme uygulanmış birinci ana bileşen ve diğer ana bileşenler kullanılarak ters ana bileşenler dönüşümü uygulanır Sonuç görüntü spektral olarak iyileştirilmiş olur Yöntemin esprisi: Birinci ana bileşen tüm bantların içerdiği bilgiyi tek basına içerir, bu yüzden ona yapılan işlem tüm bantlara yapılmış gibi olur

18 18 Ana Bileşenler Dönüşümü Nasıl Yapılır? Çok bantlı bir görüntüde her bir piksel aslında bir vektördür

19 19 Çok bantlı bir görüntüde her bir piksel aslında bir vektördür m satır ve n sütün sayısını gösterirse tüm görüntüde M = mxn tane vektör oluşur Burada k toplam bant sayısıdır !!!

20 20 Ana Bileşenler dönüşümü orijinal görüntüyü öz vektör (eigen vector) uzayına dönüştürür. Amaç bantlar arasındaki korelasyonu ortadan kaldırmaktır Bu yüzden kovaryans matrisi gereklidir. Bütün vektörlerin ortalama vektörü ve m kullanılarak kovaryans matrisi hesaplanır.

21 21 simetriktir, boyutu da kxk dır. Ana bileşenler dönüşümü yeni bir kovaryans matrisi yi bulmayı hedefler. öyle bir matristir ki; Bunu bantlar arasındaki korelasyonu kaldırmak için yapar olduğunda

22 22 Bu amaçla aşağıdaki dönüşüm uygulanır; matrisi ortogonaldir ve kovaryans matrisine ait öz vektörlerden oluşturulur. kovaryans matrisine ait öz değer ve öz vektörler hesaplanır. En büyük öz değere sahip öz vektör en üstte olacak şekilde öz vektörler sıralanır. Sıralanan bu öz vektörler matrisi oluşturur Yani nin ilk satırı en yüksek öz değere sahip öz vektördür. İkinci satırı ise ikinci en yüksek öz değere sahip öz vektördür

23 23 Böylece dönüşüm sonrası matrisi elde edilmiş olur. matrisinin ilk satırı birinci ana bileşendir. İkinci satırı ikinci ana bileşen, vs. Birinci ana bileşene kontrast iyileştirme uygulanır Daha sonra kontrast iyileştirme uygulanmış birinci ana bileşen ve diğer ana bileşenler kullanılarak ters ana bileşenler dönüşümü uygulanır Ters dönüşüm şeklinde yapılır

24 24 Blue band Infra-red band Red band Green band First principal component Second principal componentThird principal component Fourth principal component Birinci ana bileşen tüm bantların içerdiği bilgiyi tek baçına içerir, diğer ana bileşenler gittikçe daha az bilgi içermeye başlar

25 25 Linear Regression Method ideal multispektral görüntü düşük çözünürlüklü multispektral görüntü yüksek çözünürlüklü pankromatik görüntü pankromatik görüntünün ortalaması Varsayım “a” nasıl bulunur Kaynaşmış görüntü Tüm pencere için aynı a kullanıldığından detay düzgün gelemez

26 26 Kriter Tabanlı Görüntü Kaynaştırma Kaynaşmış görüntüyü pankromatik ve multispektral görüntülerin lineer kombinasyonu olarak hesaplar “a” ve “b” ağırlıklar “m” and “n” satır ve sütun numaraları k = 1,2, …., N (N = toplam bant sayısı) F k kaynaşmış bant I 0 pankromatik görüntü, I k multispektral görüntü

27 27 “a” ve “b” nasıl belirlenir? Üç kriter çözüm için belirlenir Kriter – 1: Kaynaşmış görüntünün varyansı pankromatik görüntünün varyansına eşit olmalı Criterion – 2: Kaynaşmış görüntünün ortalaması multispektral görüntünün ortalamasına eşit olmalı Criterion-3: Multispektral bantlar arasındaki oran kaynaşma sonrası aynı kalmalı

28 28 Yöntemin Uygulanması  Her bir bant için 4 eşitlik yazılır (k bandt için, 4k eşitlik)  İlk üç eşitlikte 3k bilinmeyen vardır (F, a,b)  Son eşitlik bilinmeyen olarak C’yi içerir ve C tüm bantlar için aynıdır  r = 4k-(3k+1)=k-1 fazla eşitlik en küçük kareler yöntemi kullanılarak çözülür.  Yöntem tüm resim yerine MxM lik pencerelere uygulanır ve kaynaşmış piksel değeri sadece pencerenin merkezindeki piksel için üretilir. Sonra pencere bir yana kaydırılır ve aynı işlem bir sonraki piksel için yapılır  M, multispektral görüntünün çözünürlüğünün pankromatiğinkine oranından büyük en yakın tam sayı

29 29 IKONOS Pankromatik (1 metre) IKONOS Multispectral Bantlar: mavi, yeşil, kızılötresi (4 metre) KTÜ KAMPÜS IKONOS GÖRÜNTÜLERİ

30 30 IKONOS Multispectral Bantlar: mavi, yeşil, kızılötresi (4 metre) KTÜ KAMPÜS IKONOS GÖRÜNTÜLERİ IKONOS füzyon uygulanmış Bantlar: mavi, yeşil, kızılötresi (1 metre)

31 31 IKONOS Multispectral Bantlar: mavi, yeşil, kızılötresi (4 metre) KTÜ KAMPÜS IKONOS GÖRÜNTÜLERİ IKONOS Kaynaşmış Bantlar: mavi, yeşil, kızılötresi (1 metre)

32 32 a) Quickbird panchromatic d) Generalized IHS g) Mallat k) PCA b) IKONOS multispectralc) Classical IHS e) Brovey f) SVR h) The à trous i) M-Band m) Linear regression n) Criteria-based Fusion Results of the QuickBird Pan and the IKONOS XS Images Displayed Using Blue, Green and Red bands

33 33 Fusion Results of the QuickBird Pan and XS Images over Purdue Campus (Displayed Using Blue, Green and Red bands) a) Quickbird panchromatic d) Generalized IHS g) Mallat k) PCA b) QuickBird multispectral c) Classical IHS e) Brovey f) SVR h) The à trous i) M-Band m) Linear regression n) Criteria-based

34 34 A-trous Method Criteria-Based Method

35 35 Sonuçlar Renk tabanlı yöntemler detayı başarılı bir şekilde arttırabilmektedir; fakat görüntünün rengini yeterince koruyamamaktadır Dalgacık dönüşümü tabanlı yöntemler ise rengi çok güzel koruyor ama detay yeterince aktarılamıyor Kriter tabanlı kaynaştırma yöntemi hem rengi koruyor hem de detayı başarılı bir şekilde aktarabiliyor Kriter tabanlı yöntemde sonuç önceden belirlenen kriterlere göre hesaplandığı için kaynaştırılmış görüntünün özellikleri ve kalitesi önceden bilinebilmektedir. Bu, kullanıcıların ihtiyaçları doğrultusunda kendi kaynaştırma araçlarını dizayn edebilmelerine imkan verecek yeni kaynaştırma algoritmaları hususunda geleceğe dönük ipuçları sunmaktadır.


"1 Görüntü İyileştirme Teknikleri Hafta-8 Doç. Dr. Oğuz Güngör Karadeniz Teknik Üniversitesi Harita Mühendisliği Bölümü 61080 Trabzon" indir ppt

Benzer bir sunumlar


Google Reklamları