Özellikler Digital Visual Effects Yung-Yu Chuang

Özellikler Digital Visual Effects Yung-Yu Chuang
with slides by Trevor Darrell Cordelia Schmid, David Lowe, Darya Frolova, Denis Simakov, Robert Collins and Jiwon Kim

Görüntü Analizi Özellikler Harris korner detektörü SIFT Uzantılar
Uygulamalar Prof.Dr. Bülent Bayram

Görüntü Analizi Özellikler Prof.Dr. Bülent Bayram

Görüntü Analizi İlgi operatörleri (interesting points) olarak da bilinirler. Bu noktalar eşlenik görüntü ya da görüntülerdeki karşılıkları olan noktalardır. Fotogrametride bunlara bağlantı noktası ya da fotogrametrik nirengi noktası da denir. ? Prof.Dr. Bülent Bayram

İlgi operatörlerinin sahip olması gereken özellikler:
Görüntü Analizi İlgi operatörlerinin sahip olması gereken özellikler: Belirgin olmalılar. Ölçek, dönüklük, afinite, aydınlanma koşulları ve gürültüden etkilenmiyor olmaları gerekmektedir. Prof.Dr. Bülent Bayram

Hareketli görüntülerden objenin modellenmesi Üç boyutlu modelleme
Görüntü Analizi Uygulama alanları: Obje tanıma Hareketli görüntülerden objenin modellenmesi Üç boyutlu modelleme Hareket takibi Prof.Dr. Bülent Bayram

Özellik belirleme (ne nerede?) Özellik tanımlama (orada ne var?)
Görüntü Analizi Bileşenleri: Özellik belirleme (ne nerede?) Özellik tanımlama (orada ne var?) Özellik eşleme (hangileri aynı?) Prof.Dr. Bülent Bayram

Moravec köşe detektörü(1980)
Görüntü Analizi Moravec köşe detektörü(1980) İlinti operatörü kolayca belirlenen bir pencere yardımı ile belirlenebilir. Herhangi bir yönde hareket eden pencere yardımı ile yoğunluk değişimi (intensity) belirlenebilir . Prof.Dr. Bülent Bayram

Moravec köşe detektörü
Görüntü Analizi Moravec köşe detektörü Düz Prof.Dr. Bülent Bayram

Görüntü Analizi Moravec köşe detektörü Düz Kenar Prof.Dr. Bülent Bayram

Görüntü Analizi Moravec köşe detektörü Köşe İzole edilmiş nokta Düz Kenar Prof.Dr. Bülent Bayram

Görüntü Analizi Moravec köşe detektörü [u,v] için yoğunluk değişimi: Değişen yoğunluk Pencere fonksiyonu yoğunluk Pencere fonksiyonu w(x,y) Pencere içinde 1, dışında 0 Dört değişim: (u,v) = (1,0), (1,1), (0,1), (-1, 1) min{E} için lokal maksimuma bak Prof.Dr. Bülent Bayram

Harris köşe detektörü (1988) bu problemleri çözmektedir.
Görüntü Analizi Moravec operatörünün sorunları: Pencere fonksiyonunun binary olmasından dolayı gürültülü sonuç oluşması Pencere değişimlerinin sadece her 45 derecede bir olabilmesi Sadece min. E nin göz önünde bulunduruluyor olması Harris köşe detektörü (1988) bu problemleri çözmektedir. Prof.Dr. Bülent Bayram

Harris köşe detektörü Görüntü Analizi
Binary pencere fonksiyonu dolayısı ile gürültü içeren sonuç Çözüm: Gauss fonksiyonu kullanılır Pencere fonksiyonu w(x,y) Gauss Prof.Dr. Bülent Bayram

Pencere değişimlerinin sadece her 45 derecede bir olabilmesi Çözüm: Küçük değişimleri Taylor Serisi ile belirle. Prof.Dr. Bülent Bayram

Benzer şekilde, küçük [u,v] değişimleri için bilinear yaklaşım söz konudur: , Burada M görüntü türevinden elde edilen 22 matristir. Prof.Dr. Bülent Bayram

Görüntü Analizi Harris köşe detektörü Prof.Dr. Bülent Bayram

Sadece min. E nin göz önünde bulunduruluyor olması Çözüm: Hata fonksiyonun şeklini araştırarak yeni bir köşe ölçüm yöntemi . Karesel fonksiyonu ifade eder. Böylelikle E nin şekli M nin özelliklerine bakılarak analiz edilebilir . Prof.Dr. Bülent Bayram

Üst düzey fikir: Hata fonksiyonunun hangi şekli özellikler için tanımlayıcı olabilir? Düz Kenar Köşe Prof.Dr. Bülent Bayram

Görüntü Analizi n adet xi değişkenin karesel formu (2. dereceden homojen polinomal) Örnek Prof.Dr. Bülent Bayram

Görüntü Analizi Karesel form, gerçek A simetrik matris ile tanımlanabilir: Prof.Dr. Bülent Bayram

Simetrik matrislerin öz değerleri
Görüntü Analizi Simetrik matrislerin öz değerleri A Rnxn nin simetrik olduğu varsayılsın, bu durumda A=AT Bu durumda A nın öz değerleri gerçektir. Av=v, v0, v  Cn 𝑣 𝑇 𝐴𝑣= 𝑣 𝑇 𝐴𝑣 =𝜆 𝑣 𝑇 𝑣=𝜆 𝑖=1 𝑛 𝑣 𝑖 2 𝑣 𝑇 𝐴𝑣= 𝐴𝑣 𝑇 = 𝜆𝑣 𝑇 𝑣= 𝜆 𝑖=1 𝑛 𝑣 𝑖 2 𝜆= 𝜆, 𝜆𝜖𝑅, v  Rn Prof.Dr. Bülent Bayram Brad Osgood

A Rnxn nin simetrik olduğu varsayılsın, bu durumda A=AT
Görüntü Analizi A Rnxn nin simetrik olduğu varsayılsın, bu durumda A=AT Durum: A nın ortonormal öz değer vektörleri vardır Prof.Dr. Bülent Bayram

Görüntü Analizi 1, 2 – M nin öz değerleri
Kayan pencerede yoğunluk değişimi: öz değer analizi 1, 2 – M nin öz değerleri En hızlı değişim yönü Elips E(u,v) = sabit En yavaş değişim yönü (max)-1/2 (min)-1/2 Prof.Dr. Bülent Bayram

Karesel fonksiyonların görselleştirilmesi
Görüntü Analizi Karesel fonksiyonların görselleştirilmesi Prof.Dr. Bülent Bayram

Görüntü Analizi Görüntü noktalarının M öz vektörleri nikullanarak sınıflandırılması 2 kenar 2 >> 1 köşe 1 ve 2 büyüktür, 1 ~ 2; E bütün doğrultularda büyür E hemen her doğrultuda sabitse 1 ve 2 küçüktür köşe 1 >> 2 düz 1 Prof.Dr. Bülent Bayram

Kenar bilgisi için d gereksinim duyulur:
Görüntü Analizi Öz vektörlere sadece referans için, R nin hesaplanması amacı ile değil Kenar bilgisi için d gereksinim duyulur: (k – deneysel sabit, k = ) Prof.Dr. Bülent Bayram

Görüntü Analizi Prof.Dr. Bülent Bayram

Görüntü Analizi Düz Köşe Doğrusal kenar örnek görüntü parçası X türevi
Y türevi Prof.Dr. Bülent Bayram

Görüntü Analizi Düz x ve y türevlerinin dağılımı her
üç örnek için de farklıdır Düz Köşe Doğrusal kenar Prof.Dr. Bülent Bayram

Görüntü Analizi x ve y türevlerinin dağılımı temel
bileşenler elipsinin şekil ve Boyutuna göre karakterize edilebilir Düz Köşe Doğrusal kenar Prof.Dr. Bülent Bayram

Harris detektör-özet Görüntü Analizi
4. Her bir piksel için öz değer matrisi tanımlanır. 5. Her bir piksel için detektör yanıtı hesaplanır. R nin eşik değeri ile Threshold on value of R; maksim. olmayan pikseller hesaplanır. Prof.Dr. Bülent Bayram

4. Görüntünün x ve y türevleri alınır 2. Türevler her bir piksel için hesaplanır. 3. Her bir piksel için hesaplanan türevlerin toplamları alınır. Prof.Dr. Bülent Bayram

Görüntü Analizi Harris detektör input Prof.Dr. Bülent Bayram

Görüntü Analizi Köşe yanıtı-R Prof.Dr. Bülent Bayram

Görüntü Analizi R nin eşik değeri Prof.Dr. Bülent Bayram

Görüntü Analizi R nin lokal maksimumu Prof.Dr. Bülent Bayram

[u,v] yönündeki ortalama yoğunluk değişimi bilineer formda gösterilebilir: M öz değerlerinin noktasal karşılığı köşe yanıtının ölçümü ile tanımlanır İyi bir köşe noktası her yönde yüksek yoğunluk değişimine sahip olmalıdır. Bir başka deyişle R büyük ve pozitif olmalıdır. Prof.Dr. Bülent Bayram

Artık özelliklerin nerede olduğu biliniyor!
Görüntü Analizi Artık özelliklerin nerede olduğu biliniyor! Fakat kaç tane? Özellik için tanımlayıcı nedir? En basit çözüm mekânsal komşular arasındaki yoğunluklardır. Bu parlaklık değişimleri veya küçük değişim/dönüklükler uygun sonuçlar üretmeyebilir! 1 2 3 4 5 6 7 8 9 ( ) 1 2 3 4 5 6 7 8 9 Prof.Dr. Bülent Bayram

Harris detektör: bazı özellikler
Görüntü Analizi Harris detektör: bazı özellikler Affine yoğunluk değişimine kısmi oranda bağlı değildir! Sadece türevler kullanılır=> yoğunluk değişiminden bağımsızdırI  I + b Yoğunluk ölçeği: I  a I R x (gör. koord.) Eşik değer x (gör. koor.) Prof.Dr. Bülent Bayram

Görüntü Analizi Harris detektör: bazı özellikler Dönüklükten bağımsızdır Elipsler dönebilir fakat şekli ve öz değerleri sabit kalır! R köşe yanıtı görüntünün dönüklüğünden bağımsızdır! Prof.Dr. Bülent Bayram

# correspondences # possible correspondences
Görüntü Analizi Harris detektör dönüklükten etkilenmez Repeatability rate: # correspondences # possible correspondences Prof.Dr. Bülent Bayram

Görüntü Analizi Harris detektör: bazı özellikler Fakat görüntü ölçeğine bağımlıdır! Tüm noktalar köşe olarak sınıflandırılır Köşe ! Prof.Dr. Bülent Bayram

# correspondences # possible correspondences
Görüntü Analizi Harris detektör: bazı özellikler Farklı ölçek değişimlerine göre Harris detektörün kalitesi Repeatability rate: # correspondences # possible correspondences Prof.Dr. Bülent Bayram

Ölçek bağımsız yakalama
Görüntü Analizi Ölçek bağımsız yakalama Nokta etrafında farklı boyutlarda bölgelerin olması (örneğin daireler) İlgili boyutlara karşılık gelen bölgeler her iki görüntüde de aynı gözükecektir Prof.Dr. Bülent Bayram

Ölçek bağımsız yakalama
Görüntü Analizi Ölçek bağımsız yakalama Sorun: Her görüntüde eşlenik daireler birbirinden bağımsız olarak nasıl seçilir? Aralık problemi! Prof.Dr. Bülent Bayram

SIFT (Ölçek bağımsız özellik dönüşümü)
Görüntü Analizi SIFT (Ölçek bağımsız özellik dönüşümü) Prof.Dr. Bülent Bayram

500x500 boyutundaki görüntüden yaklaşık 2000 özellik bulunabilir
SIFT aşamalar: Görüntü Analizi Ölçek uzayında extramum bulma İlinti noktası lokalizasyonu Yönelimin belirlenmesi İlinti noktası tanımlayıcı bulucu tanımlayıcı ( ) Yerel tanımlayıcı 500x500 boyutundaki görüntüden yaklaşık 2000 özellik bulunabilir Prof.Dr. Bülent Bayram

1. Extramumun belirlenmesi( ölçek uzayındaki en uç noktanın bulunması)
Görüntü Analizi 1. Extramumun belirlenmesi( ölçek uzayındaki en uç noktanın bulunması) Ölçek bağımsız çözüm için, sabit özellikler tüm olası ölçekler için, ölçeğin sürekli fonksiyonu kullanılarak. SIFT ; ölçek uzayı için DoG (difference of Gaussian) filtresi kullanır. Çünkü Gauss’ un Laplace normalizazyonu için stabil ve verimlidir. Prof.Dr. Bülent Bayram

DoG filtresi Görüntü Analizi
Bir değişkenle Gauss-ölçeğinin konvolüsyonu (katlama) Difference-of-Gaussian (DoG) filtresi DoG filtre ile konvolüsyon Prof.Dr. Bülent Bayram

Scale space Görüntü Analizi Bir sonraki düzey için  iki kat artar
K=2(1/s) Düzeylere bölme sadece verimlilik amacıyla yapılır Prof.Dr. Bülent Bayram

Ölçek uzayında en uç noktanın bulunması
Görüntü Analizi Ölçek uzayında en uç noktanın bulunması Prof.Dr. Bülent Bayram

İlinti noktası lokalizasyonu
Görüntü Analizi İlinti noktası lokalizasyonu X eğer diğer 26 komşudan büyük ya da küçükse seçilir Prof.Dr. Bülent Bayram

Ölçek örnekleme sıklığının belirlenmesi
Görüntü Analizi Tüm uzayın örneklenmesine olanak yoktur, bundan dolayı verimlilik ön planda tutulur En iyi aralığın belirlenmesi için 32 görüntü test edilir (dönüklük, ölçek, afinite, parlaklık ve kontrast değişimi, …) Prof.Dr. Bülent Bayram

Ölçek örnekleme sıklığının belirlenmesi
Görüntü Analizi detektör için, yinelenebilirlik Tanımlayıcı için, Ayırd edicilik s=3 en iyi sonucu verir, daha büyük değerleri için özellikler stabilitelerini yitirir. Prof.Dr. Bülent Bayram

Ön yumuşatma Görüntü Analizi  =1.6, artı bir çift genişleme
Prof.Dr. Bülent Bayram

Ölçek bağımsızlık Görüntü Analizi Prof.Dr. Bülent Bayram

Doğru ilinti noktası lokalizasyonu
Görüntü Analizi Düşük kontrastlı noktaları (düz) ve köşelerde kötü konumlanmış noktaları(köşe Alt piksel doğruluğunda en uygun 3B karelsel fonksiyonu seç 6 5 1 -1 +1 Prof.Dr. Bülent Bayram

Görüntü Analizi Farklı değişkenlerin Taylor serisine açılı İki değişken Prof.Dr. Bülent Bayram

(genellikle simetrik)
Doğru ilinti noktası lokalizasyonu Görüntü Analizi Matris formunda Taylor açılımı , x vektör, f x i skalar yapar Hessian matrisi (genellikle simetrik) Değişim Prof.Dr. Bülent Bayram

2B açıklama Görüntü Analizi Prof.Dr. Bülent Bayram

2B açıklama -17 -1 7 -9 Görüntü Analizi Prof.Dr. Bülent Bayram
F(x)=7+(8 -4)’ x + ½ x’ (-8 0; 0 -4) x Prof.Dr. Bülent Bayram

Türevin matris formunda gösterimi

Görüntü Analizi x , 3-vektör Örneklem nokta eğer ofseti 0.5 ten büyükse değişir Düşük kontrastlı nokta atılır (<0.03) Prof.Dr. Bülent Bayram

Görüntü Analizi Düşük kontrastlı nokta atılır Prof.Dr. Bülent Bayram

Köşe yanıtlarının eliminasyonu
Görüntü Analizi Köşe yanıtlarının eliminasyonu İlinti noktası lokalizasyonu için Hessian matrisi için Noktaların elde edilmesi r=10 Prof.Dr. Bülent Bayram

D deki maksima Görüntü Analizi Prof.Dr. Bülent Bayram

Düşük kontrastlı köşelerin eliminasyonu

İlinti noktası bulucu Görüntü Analizi 233x89 832 extrema
729 after con- trast filtering 536 after cur- vature filtering Prof.Dr. Bülent Bayram

Yönelimin belirlenmesi
Görüntü Analizi Yönelimin belirlenmesi Tutarlı bir yönelim yapılabilmesi için ilinti noktası tanımlayıcı yönelim bağımsız olabilir. İlinti noktası için, L en yakın ölçekte Gauss yumuşatma ile yumuşatılmış görüntüdür. (Lx, Ly) m θ Yöneltme histogramı (36 dilim) Prof.Dr. Bülent Bayram

Görüntü Analizi Yönelimin belirlenmesi Prof.Dr. Bülent Bayram

Görüntü Analizi Yönelimin belirlenmesi σ=1.5* ilinti noktasının ölçeği Prof.Dr. Bülent Bayram

Görüntü Analizi Yönelimin belirlenmesi Prof.Dr. Bülent Bayram

Görüntü Analizi Yönelimin belirlenmesi accurate peak position is determined by fitting Prof.Dr. Bülent Bayram

Görüntü Analizi Yönelimin belirlenmesi 36-dilimli yönelim histogramı (360 derece için)nın ağırlığı m ve 1.5*ölçek e karşılık gelen pik noktası yöneltmeyi verir. %80 lokal pik noktası için farklı yönelimler söz konusu olabilir. %15 için çoklu yöenlim söz konusu olabilir ve bunlar stabiliteyi destekler. Prof.Dr. Bülent Bayram

SIFT tanımlayıcı Görüntü Analizi Prof.Dr. Bülent Bayram

Local görüntü bulucu Görüntü Analizi
Eşik değer uygulanmış görüntü gradyentleri 16x16 boyutunda örneklenir Vektör yönelim histogramları yaratılır 8 yönelimx 4x4 histogram alanı= 128 boyut Eğer boyut 0.2 den büyükse normalleştirilmemiş, aksi taktirde normalleştirilmiş σ=0.5*width Prof.Dr. Bülent Bayram

Görüntü Analizi Neden 4x4x8? Prof.Dr. Bülent Bayram

Afin değişime karşı duyarlılık
Görüntü Analizi Afin değişime karşı duyarlılık Prof.Dr. Bülent Bayram

Özellik eşleme Görüntü Analizi
x özelliği için en yakın x1 ve en yakın ikinci özellik için x2 bulunur . Eğer uzaklık oranları d(x, x1) ve d(x, x1) 0.8 den küçükse bu eşleşme anlamına gelir. Prof.Dr. Bülent Bayram

SIFT Akış Görüntü Analizi Prof.Dr. Bülent Bayram

Görüntü Analizi D deki maksima Prof.Dr. Bülent Bayram

Düşük kontrastlı noktaların elenmesi

Köşelerin elenmesi Görüntü Analizi Prof.Dr. Bülent Bayram

SIFT tanımlayıcı Görüntü Analizi Prof.Dr. Bülent Bayram

Tahmin edilen dönüklük
Görüntü Analizi Orijinal ve dönük görüntü arasında Afin dönüşüm: Orijinal ve dönük görüntü arasında gerçek dönüşüm : Prof.Dr. Bülent Bayram

Görüntü Analizi Uygulamalar Prof.Dr. Bülent Bayram

Görüntü Analizi Tanıma SIFT özellikleri Prof.Dr. Bülent Bayram

3B obje tanıma Görüntü Analizi Prof.Dr. Bülent Bayram

Offis yönetimi Görüntü Analizi Masanın video görüntüsü Pdf görntüler
İç sunum masa İzleme ve tanıma T T+1 Sahne grafik Prof.Dr. Bülent Bayram

… Görüntü bulma Görüntü Analizi > 5000 görüntü Farklı görüş açısı
Prof.Dr. Bülent Bayram

Görüntü Analizi Görüntü bulma 22 doğru eşleme Prof.Dr. Bülent Bayram

Farklı görüş açısı ve ölçek
Görüntü Analizi Görüntü bulma … > 5000 görüntü Farklı görüş açısı ve ölçek Prof.Dr. Bülent Bayram

Robot konumu Görüntü Analizi Prof.Dr. Bülent Bayram

Hareketin yapılandırılması (SFM)
Görüntü Analizi Poor mesh Good mesh Prof.Dr. Bülent Bayram

Artırılmış gerçeklik Görüntü Analizi Prof.Dr. Bülent Bayram

Otomatik görüntü mozaik yaratma (dikme)
Görüntü Analizi Otomatik görüntü mozaik yaratma (dikme) Prof.Dr. Bülent Bayram

Referanslar Görüntü Analizi
Chris Harris, Mike Stephens, A Combined Corner and Edge Detector, 4th Alvey Vision Conference, 1988, pp David G. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 60(2), 2004, pp Yan Ke, Rahul Sukthankar, PCA-SIFT: A More Distinctive Representation for Local Image Descriptors, CVPR 2004. Krystian Mikolajczyk, Cordelia Schmid, A performance evaluation of local descriptors, Submitted to PAMI, 2004. SIFT Keypoint Detector, David Lowe. Matlab SIFT Tutorial, University of Toronto. Prof.Dr. Bülent Bayram

Özellikler Digital Visual Effects Yung-Yu Chuang

Benzer bir sunumlar

... konulu sunumlar: "Özellikler Digital Visual Effects Yung-Yu Chuang"— Sunum transkripti:

Benzer bir sunumlar

Proje hakkında

Geri bildirim

Giriş

Sosyal ağ üzerinden giriş yapmak:

Özellikler Digital Visual Effects Yung-Yu Chuang

Benzer bir sunumlar

... konulu sunumlar: "Özellikler Digital Visual Effects Yung-Yu Chuang"— Sunum transkripti:

Benzer bir sunumlar

Proje hakkında

Geri bildirim