Görüntü İyileştirme Teknikleri Hafta-8 Doç. Dr. Oğuz Güngör Karadeniz Teknik Üniversitesi Harita Mühendisliği Bölümü 61080 Trabzon ogungor@ktu.edu.tr

Görüntü kaynaştırma teknikleri Görüntü Füzyonu Konsepti ve Problemin tanımı Mevcut yöntemler Renk tabanlı Yöntemler IHS Brovey SVR Dalgacık Dönüşümü (Wavelet Transform) Tabanlı Yöntemler Mallat A-trous M-band İstatistiksel Yöntemler PCA Lineer Regresyon Kriter Tabanlı Görüntü Füzyonu Yöntemi Sonuçlar

Niçin Pankromatik görüntüler genellikle multispektral görüntülere göre daha yüksek konumsal çözünürlüğe sahiptirler? Pankromatik Multispektral Tek bir dedektör optik IFOV (Instantaneous Field of View) Yeryüzünde bir pikselin alanı Küçük IFOV = Yüksek Çözünürlük ----- (Daha geniş bant aralığındaki enerjiyi algılar) Geniş IFOV = Düşük Çözünürlük ----- (Sadece küçük bir bant aralığındaki enerjiyi algılar)

Pankromatik görüntü kullanarak gürüntü füzyonu Spektral ve Mekansal Genelleştirme Pankromatik görüntü kullanarak gürüntü füzyonu Mekansal Genelleştirme (yüksek çözünürlükle bantların ağırlıklı ortalaması) Spektral Genelleştirme (ideal multispektral bantların ağırlıklı ortalaması) desired high resolution multispectral image a band of desired multispectral image Düşük çözünürlüklü multispektral görüntünün bir bandı Pankromatik Multispektral Görüntü Füzyon yapılmış Görüntü + Spectral response of panchromatic sensor = Yüksek çözünürlüklü pankromatik görüntü Yüksek çözünürlüklü pankromatik ve düşük çözünürlüklü multispektral görüntüler spektral ve mekansal genelleştirme sürecinde spektral ve mekansal bilgilerinin bir kısmınıkaybederler. O yüzden problemin çözümü için bazı varsayım ve koşullar kullanılmalıdır. Multispektral görüntüdeki eksik detayları pankromatik görüntüyü kullanarak bul, multispektral görüntüye yapısını bozmadan ekle

Görüntü Füzyonu Yöntemleri Renk Tabanlı Yöntemler IHS Yöntemi Brovey Yöntemi SVR Yöntemi Dalgacık Dönüşümü Tabanlı Yöntemler Mallat’ın Algoritması A-trous Yöntemi M-Band dalgacık dönüşümü İstatistiksel Görüntü Füzyonu Yöntemleri PCA yöntemi Lineer regresyon yöntemi Kriter tabanlı görüntü kaynaştırma yöntemi Multispektral banttaki eksik detayları nasıl bulduklarına göre sınıflandırılır.

RGB ve IHS Uzaylari arası Dönüşüm Geri Dönüşüm İleri Dönüşüm Varsayım: Multispektral bantlardan hesaplanan intensity pankromatik görüntüye çözünürlüğü hariç eşit varsayılabilir F1 = R + (Pan – Intensity); F2 = G + (Pan – Intensity); F3 = B + (Pan – Intensity);

IHS Görüntü Kaynaştırma Yönteminin Özellikleri Anlaşılması ve uygulanması basit Konumsal detayı arttırmada oldukça başarılı Sadece üç multispektral bant kullanılabılır Bu yüzden, multispektral bantlardan hesaplanan intensity pankromatik görüntüye eşit sayılabilir varsayımı tam doğru değil Çünkü intensity hesaplanırken diğer bantların katkısı ihmal edilir Bu yüzden multispektral görüntüde renk bozulmaları olur Problem farklı sensörler kullanılırsa daha da artar

Brovey Yöntemi Varsayım: Pankromatik görüntüdeki detaylar, her bir multispektral bandı pankromatik bant ve intensity’nin oranıyla çarparak da transfer edilebilir. Yukarıdaki varsayım aslında detayları multispektral görüntüdeki piksellerin oluşturduğu spektral vectörü C kadar uzatarak ya da kısaltarak aktarır C intensity ile doğrudan ilişkili Dolayısıyla intensity hesaplamadaki varsayımın doğruluğuna bağlı olarak radyometrik bozulma oluşabilir

SVR Yöntemi Her bir multispektral bant için farklı bir ağırlık hesaplar Ağırlıklar yüksek çözünürlüklü pankromatik ve boyutları pankromatik görüntününkine çıkarılmış (resampled) multispektral görüntü arasında doğrudan lineer regresyon yapılarak bulunur. SVR yöntemi aslında Brovey yöntemini genelleştirir ve radyometrik bozulma problemini azaltır. Fakat intensity için hesaplanan ağırlıklar bantın tümü için kullanıldığından yine spektral bozulmalar olur

Mallat Algoritması İleri Dönüşüm Katsayıların kombinasyonu Ortonormal dalgacık filtreleri (haar, db2, etc) kullanılarak görüntüler alçak ve yüksek frekans bileşenlerine (approximation and detail coefficients) ayrılırlar Katsayıların kombinasyonu Her iki resimden gelen katsayılar kaynaştırılmış katsayıları elde etmek için seçilen bir kurala göre birleştirilir. Geri Dönüşüm Katsayılar birleştikten sonra geri dönüşüm uygulanarak kaynaltırılmış görüntü elde edilir.

I0’ı yeniden oluşturmak için wi’ler toplanır À Trous Algoritması H0 bir 5x5 convolution maskesidir ve alçak geçiren filtreden üretilir Her ayrıştırma adımı (j) de filtre katsayıları arasına 2j-1-1 kadar sıfır doldurulur I0 = Orjinal Pan Wavelet Düzlemleri I0’ı yeniden oluşturmak için wi’ler toplanır I1 = convolve(I0,H0); w1 = I0 – I1 ; I2 = convolve(I1,H1); w2 = I1 – I2 ; I3 = convolve(I2,H2); w3 = I2 – I3 ; In = convolve(In-1,Hn-1); wn = In-1 – In; FUSION where

M-Band Wavelet Transform Mallat’ın algoritmasının aksine frekans uzayını iki değil de M kanala böler Düşük frekans görüntüyü elde etmek için orjinal görüntünün çözünürlüğünü direk M (pozitif integer) düşürür. Oysa Mallat’ın algoritması çözünürlük düşürmede 2n (n=1, 2, 3, …) ile sınırlıdır M-band dalgacık dönüşümünde sadece bir tane ölçek fonksiyonu ve M-1 tane dalgacık fonksiyonu vardır. . Böylece bir tane alçak frekans görüntüsü (LL) ve M2-1 tane detay görüntüsü (LHm , HmL, and HmHn) üretilir. Üretilen görüntülerin boyutu orjinal görüntünün 1/M i olur

Bu yöntemlerdeki varsayım: pankromatik görüntünün yüksek frekans bileşeni frekans uzayında ayrıştırılarak düşük çözünürlüklü multispektral görüntüye detay olarak eklenebilir Dalgacık Dünüşümü tabanlı yöntemler orjinal görüntünün rengini korumada oldukça başarılılar Fakat bu yöntemler görüntüleri sadece yatay düşey ve çapraz yönlerde filtreledikleri için bu yönlerde kenarları doğrusal olmayan nesnelerin geometrilerinde bozulmalar oluşur

PCA Yöntemi Ana bileşenleri elde etmek için görüntünün kovaryans matrisine dayalı lineer bir dönüşüm uygulanır Birinci anabileşen pankromatik görüntü ile yer değiştirilir Geri dünüşüm uygulanarak kaynaşmış görüntü elde edilir Pixels on band-1 vs. band-2 plane a) b) Pixel values in 3-D Space band-2 PC-1 PC-1 band-3 PC-2 PC-3 band-1 c) Pixels on band-1vs. band-3 plane band-3 PC-1 band-2 band-1 band-1 Varsayım: Birinci anabileşen görüntüdeki konumsal detayın büyük bir oranını içerir. Diğer anabileşenler ise görüntünün spektral özelliklerini içerir. Eğer birinci anabileşen ile pankromatik görüntü arasındaki korelasyon düşükse hem renk hem detay performansı düşer Görüntünün boyutu da önemli

Ana Bileşenler Dönüşümü Bir çok bantlı görüntüde komşu bantlar arasında yüksek oranda korelasyon olabilir ve bu yüzden nesneler hakkında aynı veya benzer spaktral bilgi içerebilir. Ana bileşenler dönüşümü orijinal veri kümesini n boyutlu (n toplam bant sayısı) lineer bir dönüşüm kullanarak öz vektörler uzayına dönüştürür, Böylece orijinal verinin varyansı maksimize edilerek bantlar arasındaki korelasyon ortadan kaldırılmış olur

Ana Bileşenler Dönüşümü PC-1 PC-2 PC-3 Pixel values in 3-D Space Pixels on band-1 vs. band-2 plane band-3 band-1 band-2 Pixels on band-1vs. band-3 plane

Ana Bileşenler Dönüşümü Kullanılarak Spektral İyileştirme Öncelikle çok bantlı görüntüye ana bileşenler dönüşümü uygulanır Sadece elde edilen birinci ana bileşene kontrast iyileştirme uygulanır Daha sonra kontrast iyileştirme uygulanmış birinci ana bileşen ve diğer ana bileşenler kullanılarak ters ana bileşenler dönüşümü uygulanır Sonuç görüntü spektral olarak iyileştirilmiş olur Yöntemin esprisi: Birinci ana bileşen tüm bantların içerdiği bilgiyi tek basına içerir, bu yüzden ona yapılan işlem tüm bantlara yapılmış gibi olur

Ana Bileşenler Dönüşümü Nasıl Yapılır? Çok bantlı bir görüntüde her bir piksel aslında bir vektördür

Çok bantlı bir görüntüde her bir piksel aslında bir vektördür m satır ve n sütün sayısını gösterirse tüm görüntüde M = mxn tane vektör oluşur Burada k toplam bant sayısıdır !!!

Ana Bileşenler dönüşümü orijinal görüntüyü öz vektör (eigen vector) uzayına dönüştürür. Amaç bantlar arasındaki korelasyonu ortadan kaldırmaktır Bu yüzden kovaryans matrisi gereklidir. Bütün vektörlerin ortalama vektörü ve m kullanılarak kovaryans matrisi hesaplanır.

simetriktir, boyutu da kxk dır. Ana bileşenler dönüşümü yeni bir kovaryans matrisi yi bulmayı hedefler. öyle bir matristir ki; Bunu bantlar arasındaki korelasyonu kaldırmak için yapar olduğunda olduğunda

Bu amaçla aşağıdaki dönüşüm uygulanır; matrisi ortogonaldir ve kovaryans matrisine ait öz vektörlerden oluşturulur. kovaryans matrisine ait öz değer ve öz vektörler hesaplanır. En büyük öz değere sahip öz vektör en üstte olacak şekilde öz vektörler sıralanır. Sıralanan bu öz vektörler matrisi oluşturur Yani nin ilk satırı en yüksek öz değere sahip öz vektördür. İkinci satırı ise ikinci en yüksek öz değere sahip öz vektördür

Böylece dönüşüm sonrası matrisi elde edilmiş olur. matrisinin ilk satırı birinci ana bileşendir. İkinci satırı ikinci ana bileşen, vs. Birinci ana bileşene kontrast iyileştirme uygulanır Daha sonra kontrast iyileştirme uygulanmış birinci ana bileşen ve diğer ana bileşenler kullanılarak ters ana bileşenler dönüşümü uygulanır Ters dönüşüm şeklinde yapılır

Blue band Infra-red band Red band Green band First principal component Second principal component Third principal component Fourth principal component Birinci ana bileşen tüm bantların içerdiği bilgiyi tek baçına içerir, diğer ana bileşenler gittikçe daha az bilgi içermeye başlar

Linear Regression Method ideal multispektral görüntü düşük çözünürlüklü multispektral görüntü yüksek çözünürlüklü pankromatik görüntü pankromatik görüntünün ortalaması Varsayım “a” nasıl bulunur Kaynaşmış görüntü Tüm pencere için aynı a kullanıldığından detay düzgün gelemez

Kriter Tabanlı Görüntü Kaynaştırma Kaynaşmış görüntüyü pankromatik ve multispektral görüntülerin lineer kombinasyonu olarak hesaplar “a” ve “b” ağırlıklar “m” and “n” satır ve sütun numaraları k = 1,2, …., N (N = toplam bant sayısı) Fk kaynaşmış bant I0 pankromatik görüntü, Ik multispektral görüntü

“a” ve “b” nasıl belirlenir? Üç kriter çözüm için belirlenir Kriter – 1: Kaynaşmış görüntünün varyansı pankromatik görüntünün varyansına eşit olmalı Criterion – 2: Kaynaşmış görüntünün ortalaması multispektral görüntünün ortalamasına eşit olmalı Criterion-3: Multispektral bantlar arasındaki oran kaynaşma sonrası aynı kalmalı

Yöntemin Uygulanması Her bir bant için 4 eşitlik yazılır (k bandt için, 4k eşitlik) İlk üç eşitlikte 3k bilinmeyen vardır (F, a,b) Son eşitlik bilinmeyen olarak C’yi içerir ve C tüm bantlar için aynıdır r = 4k-(3k+1)=k-1 fazla eşitlik en küçük kareler yöntemi kullanılarak çözülür. Yöntem tüm resim yerine MxM lik pencerelere uygulanır ve kaynaşmış piksel değeri sadece pencerenin merkezindeki piksel için üretilir. Sonra pencere bir yana kaydırılır ve aynı işlem bir sonraki piksel için yapılır M, multispektral görüntünün çözünürlüğünün pankromatiğinkine oranından büyük en yakın tam sayı

KTÜ KAMPÜS IKONOS GÖRÜNTÜLERİ IKONOS Pankromatik (1 metre) IKONOS Multispectral Bantlar: mavi, yeşil, kızılötresi (4 metre)

KTÜ KAMPÜS IKONOS GÖRÜNTÜLERİ IKONOS füzyon uygulanmış Bantlar: mavi, yeşil, kızılötresi (1 metre) IKONOS Multispectral Bantlar: mavi, yeşil, kızılötresi (4 metre)

KTÜ KAMPÜS IKONOS GÖRÜNTÜLERİ IKONOS Multispectral Bantlar: mavi, yeşil, kızılötresi (4 metre) IKONOS Kaynaşmış Bantlar: mavi, yeşil, kızılötresi (1 metre)

Fusion Results of the QuickBird Pan and the IKONOS XS Images Displayed Using Blue, Green and Red bands a) Quickbird panchromatic b) IKONOS multispectral c) Classical IHS d) Generalized IHS e) Brovey f) SVR g) Mallat h) The à trous i) M-Band k) PCA m) Linear regression n) Criteria-based

Fusion Results of the QuickBird Pan and XS Images over Purdue Campus (Displayed Using Blue, Green and Red bands) a) Quickbird panchromatic b) QuickBird multispectral c) Classical IHS d) Generalized IHS e) Brovey f) SVR g) Mallat h) The à trous i) M-Band k) PCA m) Linear regression n) Criteria-based

Criteria-Based Method The à trous and the criteria-based methods have very close correlation coefficient numbers between the panchromatic and fused images. However, it is clear that the criteria-based method has a fusion result A-trous Method Criteria-Based Method

Sonuçlar Renk tabanlı yöntemler detayı başarılı bir şekilde arttırabilmektedir; fakat görüntünün rengini yeterince koruyamamaktadır Dalgacık dönüşümü tabanlı yöntemler ise rengi çok güzel koruyor ama detay yeterince aktarılamıyor Kriter tabanlı kaynaştırma yöntemi hem rengi koruyor hem de detayı başarılı bir şekilde aktarabiliyor Kriter tabanlı yöntemde sonuç önceden belirlenen kriterlere göre hesaplandığı için kaynaştırılmış görüntünün özellikleri ve kalitesi önceden bilinebilmektedir. Bu, kullanıcıların ihtiyaçları doğrultusunda kendi kaynaştırma araçlarını dizayn edebilmelerine imkan verecek yeni kaynaştırma algoritmaları hususunda geleceğe dönük ipuçları sunmaktadır.