Sunum yükleniyor. Lütfen bekleyiniz

Sunum yükleniyor. Lütfen bekleyiniz

Özellikler DIGITAL VISUAL EFFECTS YUNG-YU CHUANG with slides by Trevor Darrell Cordelia Schmid, David Lowe, Darya Frolova, Denis Simakov, Robert Collins.

Benzer bir sunumlar


... konulu sunumlar: "Özellikler DIGITAL VISUAL EFFECTS YUNG-YU CHUANG with slides by Trevor Darrell Cordelia Schmid, David Lowe, Darya Frolova, Denis Simakov, Robert Collins."— Sunum transkripti:

1 Özellikler DIGITAL VISUAL EFFECTS YUNG-YU CHUANG with slides by Trevor Darrell Cordelia Schmid, David Lowe, Darya Frolova, Denis Simakov, Robert Collins and Jiwon Kim

2 Özellikler Harris korner detektörü SIFT Uzantılar Uygulamalar Görüntü Analizi Prof.Dr. Bülent Bayram

3 Görüntü Analizi Prof.Dr. Bülent Bayram Özellikler

4 Görüntü Analizi Prof.Dr. Bülent Bayram ? İlgi operatörleri (interesting points) olarak da bilinirler. Bu noktalar eşlenik görüntü ya da görüntülerdeki karşılıkları olan noktalardır. Fotogrametride bunlara bağlantı noktası ya da fotogrametrik nirengi noktası da denir.

5 Görüntü Analizi Prof.Dr. Bülent Bayram İlgi operatörlerinin sahip olması gereken özellikler: Belirgin olmalılar. Ölçek, dönüklük, afinite, aydınlanma koşulları ve gürültüden etkilenmiyor olmaları gerekmektedir.

6 Görüntü Analizi Prof.Dr. Bülent Bayram Uygulama alanları: Obje tanıma Hareketli görüntülerden objenin modellenmesi Üç boyutlu modelleme Hareket takibi

7 Görüntü Analizi Prof.Dr. Bülent Bayram Bileşenleri: Özellik belirleme (ne nerede?) Özellik tanımlama (orada ne var?) Özellik eşleme (hangileri aynı?)

8 Görüntü Analizi Prof.Dr. Bülent Bayram İlinti operatörü kolayca belirlenen bir pencere yardımı ile belirlenebilir. Herhangi bir yönde hareket eden pencere yardımı ile yoğunluk değişimi (intensity) belirlenebilir. Moravec köşe detektörü(1980)

9 Düz Görüntü Analizi Prof.Dr. Bülent Bayram Moravec köşe detektörü

10 Düz Görüntü Analizi Prof.Dr. Bülent Bayram Moravec köşe detektörü

11 DüzKenar Görüntü Analizi Prof.Dr. Bülent Bayram Moravec köşe detektörü

12 DüzKenar Köşe İzole edilmiş nokta Görüntü Analizi Prof.Dr. Bülent Bayram Moravec köşe detektörü

13 [u,v] için yoğunluk değişimi: Pencere fonksiyonu Dört değişim: (u,v) = (1,0), (1,1), (0,1), (-1, 1) min{E} için lokal maksimuma bak yoğunluk Değişen yoğunluk Görüntü Analizi Prof.Dr. Bülent Bayram Pencere fonksiyonu w(x,y) Pencere içinde 1, dışında 0 Moravec köşe detektörü

14 Görüntü Analizi Prof.Dr. Bülent Bayram Moravec operatörünün sorunları: Pencere fonksiyonunun binary olmasından dolayı gürültülü sonuç oluşması Pencere değişimlerinin sadece her 45 derecede bir olabilmesi Sadece min. E nin göz önünde bulunduruluyor olması  Harris köşe detektörü (1988) bu problemleri çözmektedir.

15 Görüntü Analizi Prof.Dr. Bülent Bayram Harris köşe detektörü Binary pencere fonksiyonu dolayısı ile gürültü içeren sonuç  Çözüm: Gauss fonksiyonu kullanılır Pencere fonksiyonu w(x,y) Gauss

16 Görüntü Analizi Prof.Dr. Bülent Bayram Harris köşe detektörü Pencere değişimlerinin sadece her 45 derecede bir olabilmesi  Çözüm: Küçük değişimleri Taylor Serisi ile belirle.

17 Görüntü Analizi Prof.Dr. Bülent Bayram Harris köşe detektörü Pencere değişimlerinin sadece her 45 derecede bir olabilmesi  Çözüm: Küçük değişimleri Taylor Serisi ile belirle.

18 Görüntü Analizi Prof.Dr. Bülent Bayram Harris köşe detektörü Benzer şekilde, küçük [u,v] değişimleri için bilinear yaklaşım söz konudur:, Burada M görüntü türevinden elde edilen 2  2 matristir.

19 Görüntü Analizi Prof.Dr. Bülent Bayram Harris köşe detektörü

20 Görüntü Analizi Prof.Dr. Bülent Bayram Harris köşe detektörü Sadece min. E nin göz önünde bulunduruluyor olması  Çözüm: Hata fonksiyonun şeklini araştırarak yeni bir köşe ölçüm yöntemi. Karesel fonksiyonu ifade eder. Böylelikle E nin şekli M nin özelliklerine bakılarak analiz edilebilir.

21 Görüntü Analizi Prof.Dr. Bülent Bayram Harris köşe detektörü Üst düzey fikir: Hata fonksiyonunun hangi şekli özellikler için tanımlayıcı olabilir? DüzKenarKöşe

22 Görüntü Analizi Prof.Dr. Bülent Bayram n adet x i değişkenin karesel formu (2. dereceden homojen polinomal) Örnek

23 Görüntü Analizi Prof.Dr. Bülent Bayram Karesel form, gerçek A simetrik matris ile tanımlanabilir:

24 Görüntü Analizi Prof.Dr. Bülent Bayram Simetrik matrislerin öz değerleri A  R nxn nin simetrik olduğu varsayılsın, bu durumda A=A T Bu durumda A nın öz değerleri gerçektir. Av= v, v  0, v  C n Brad Osgood

25 Görüntü Analizi Prof.Dr. Bülent Bayram A  R nxn nin simetrik olduğu varsayılsın, bu durumda A=A T Durum: A nın ortonormal öz değer vektörleri vardır

26 Görüntü Analizi Prof.Dr. Bülent Bayram A  R nxn nin simetrik olduğu varsayılsın, bu durumda A=A T Durum: A nın ortonormal öz değer vektörleri vardır

27 Görüntü Analizi Prof.Dr. Bülent Bayram Kayan pencerede yoğunluk değişimi: öz değer analizi 1, 2 – M nin öz değerleri En yavaş değişim yönü En hızlı değişim yönü Elips E(u,v) = sabit ( max ) -1/2 ( min ) -1/2

28 Görüntü Analizi Prof.Dr. Bülent Bayram Karesel fonksiyonların görselleştirilmesi

29 Görüntü Analizi Prof.Dr. Bülent Bayram Karesel fonksiyonların görselleştirilmesi

30 Görüntü Analizi Prof.Dr. Bülent Bayram Karesel fonksiyonların görselleştirilmesi

31 Görüntü Analizi Prof.Dr. Bülent Bayram 1 2 köşe 1 ve 2 büyüktür, 1 ~ 2 ; E bütün doğrultularda büyür E hemen her doğrultuda sabitse 1 ve 2 küçüktür köşe 1 >> 2 kenar 2 >> 1 düz Görüntü noktalarının M öz vektörleri nikullanarak sınıflandırılması

32 Görüntü Analizi Prof.Dr. Bülent Bayram Kenar bilgisi için d gereksinim duyulur: (k – deneysel sabit, k = ) Öz vektörlere sadece referans için, R nin hesaplanması amacı ile değil

33 Görüntü Analizi Prof.Dr. Bülent Bayram

34 Görüntü Analizi Prof.Dr. Bülent Bayram Doğrusal kenar Düz Köşe Y türevi X türevi örnek görüntü parçası

35 Görüntü Analizi Prof.Dr. Bülent Bayram x ve y türevlerinin dağılımı her üç örnek için de farklıdır Düz Köşe Doğrusal kenar

36 Görüntü Analizi Prof.Dr. Bülent Bayram x ve y türevlerinin dağılımı temel bileşenler elipsinin şekil ve Boyutuna göre karakterize edilebilir Düz Köşe Doğrusal kenar

37 Görüntü Analizi Prof.Dr. Bülent Bayram Harris detektör-özet 4. Her bir piksel için öz değer matrisi tanımlanır. 5. Her bir piksel için detektör yanıtı hesaplanır. 6.R nin eşik değeri ile Threshold on value of R; maksim. olmayan pikseller hesaplanır.

38 Görüntü Analizi Prof.Dr. Bülent Bayram Harris detektör-özet 4. Görüntünün x ve y türevleri alınır 2. Türevler her bir piksel için hesaplanır. 3. Her bir piksel için hesaplanan türevlerin toplamları alınır.

39 Görüntü Analizi Prof.Dr. Bülent Bayram Harris detektör input

40 Görüntü Analizi Prof.Dr. Bülent Bayram Köşe yanıtı-R

41 Görüntü Analizi Prof.Dr. Bülent Bayram R nin eşik değeri

42 Görüntü Analizi Prof.Dr. Bülent Bayram R nin lokal maksimumu

43 Görüntü Analizi Prof.Dr. Bülent Bayram

44 Görüntü Analizi Prof.Dr. Bülent Bayram Harris detektör-özet [u,v] yönündeki ortalama yoğunluk değişimi bilineer formda gösterilebilir: M öz değerlerinin noktasal karşılığı köşe yanıtının ölçümü ile tanımlanır İyi bir köşe noktası her yönde yüksek yoğunluk değişimine sahip olmalıdır. Bir başka deyişle R büyük ve pozitif olmalıdır.

45 Artık özelliklerin nerede olduğu biliniyor! Fakat kaç tane? Özellik için tanımlayıcı nedir? En basit çözüm mekânsal komşular arasındaki yoğunluklardır. Bu parlaklık değişimleri veya küçük değişim/dönüklükler uygun sonuçlar üretmeyebilir! ( ) Görüntü Analizi Prof.Dr. Bülent Bayram

46 Harris detektör: bazı özellikler Affine yoğunluk değişimine kısmi oranda bağlı değildir! Sadece türevler kullanılır=> yoğunluk değişiminden bağımsızdırI  I + b Yoğunluk ölçeği: I  a I R x (gör. koord.) Eşik değer R x (gör. koor.) Görüntü Analizi Prof.Dr. Bülent Bayram

47 Dönüklükten bağımsızdır Elipsler dönebilir fakat şekli ve öz değerleri sabit kalır! R köşe yanıtı görüntünün dönüklüğünden bağımsızdır! Görüntü Analizi Prof.Dr. Bülent Bayram Harris detektör: bazı özellikler

48 Repeatability rate: # correspondences # possible correspondences Görüntü Analizi Prof.Dr. Bülent Bayram Harris detektör dönüklükten etkilenmez

49 Fakat görüntü ölçeğine bağımlıdır! Tüm noktalar köşe olarak sınıflandırılır Köşe ! Görüntü Analizi Prof.Dr. Bülent Bayram Harris detektör: bazı özellikler

50 Farklı ölçek değişimlerine göre Harris detektörün kalitesi Repeatability rate: # correspondences # possible correspondences Görüntü Analizi Prof.Dr. Bülent Bayram Harris detektör: bazı özellikler

51 Nokta etrafında farklı boyutlarda bölgelerin olması (örneğin daireler) İlgili boyutlara karşılık gelen bölgeler her iki görüntüde de aynı gözükecektir Görüntü Analizi Prof.Dr. Bülent Bayram Ölçek bağımsız yakalama

52 Sorun: Her görüntüde eşlenik daireler birbirinden bağımsız olarak nasıl seçilir? Aralık problemi! Görüntü Analizi Prof.Dr. Bülent Bayram Ölçek bağımsız yakalama

53 Görüntü Analizi Prof.Dr. Bülent Bayram SIFT (Ölçek bağımsız özellik dönüşümü)

54 SIFT aşamalar: Ölçek uzayında extramum bulma İlinti noktası lokalizasyonu Yönelimin belirlenmesi İlinti noktası tanımlayıcı ( ) Yerel tanımlayıcı bulucu tanımlayıcı 500x500 boyutundaki görüntüden yaklaşık 2000 özellik bulunabilir Görüntü Analizi Prof.Dr. Bülent Bayram

55 1. Extramumun belirlenmesi( ölçek uzayındaki en uç noktanın bulunması) Ölçek bağımsız çözüm için, sabit özellikler tüm olası ölçekler için, ölçeğin sürekli fonksiyonu kullanılarak. SIFT ; ölçek uzayı için DoG (difference of Gaussian) filtresi kullanır. Çünkü Gauss’ un Laplace normalizazyonu için stabil ve verimlidir. Görüntü Analizi Prof.Dr. Bülent Bayram

56 DoG filtresi Bir değişkenle Gauss-ölçeğinin konvolüsyonu (katlama) Difference-of-Gaussian (DoG) filtresi DoG filtre ile konvolüsyon Görüntü Analizi Prof.Dr. Bülent Bayram

57 Scale space Bir sonraki düzey için  iki kat artar K=2 (1/s) Düzeylere bölme sadece verimlilik amacıyla yapılır Görüntü Analizi Prof.Dr. Bülent Bayram

58 Ölçek uzayında en uç noktanın bulunması Görüntü Analizi Prof.Dr. Bülent Bayram

59 İlinti noktası lokalizasyonu X eğer diğer 26 komşudan büyük ya da küçükse seçilir Görüntü Analizi Prof.Dr. Bülent Bayram

60 Ölçek örnekleme sıklığının belirlenmesi Tüm uzayın örneklenmesine olanak yoktur, bundan dolayı verimlilik ön planda tutulur En iyi aralığın belirlenmesi için 32 görüntü test edilir (dönüklük, ölçek, afinite, parlaklık ve kontrast değişimi, …) Görüntü Analizi Prof.Dr. Bülent Bayram

61 Görüntü Analizi Prof.Dr. Bülent Bayram

62 s=3 en iyi sonucu verir, daha büyük değerleri için özellikler stabilitelerini yitirir. detektör için, yinelenebilirlik Tanımlayıcı için, Ayırd edicilik Görüntü Analizi Prof.Dr. Bülent Bayram Ölçek örnekleme sıklığının belirlenmesi

63 Ön yumuşatma  =1.6, artı bir çift genişleme Görüntü Analizi Prof.Dr. Bülent Bayram

64 Ölçek bağımsızlık Görüntü Analizi Prof.Dr. Bülent Bayram

65 Doğru ilinti noktası lokalizasyonu Düşük kontrastlı noktaları (düz) ve köşelerde kötü konumlanmış noktaları(köşe Alt piksel doğruluğunda en uygun 3B karelsel fonksiyonu seç Görüntü Analizi Prof.Dr. Bülent Bayram

66 Görüntü Analizi Prof.Dr. Bülent Bayram Düşük kontrastlı noktaları (düz) ve köşelerde kötü konumlanmış noktaları(köşe Alt piksel doğruluğunda en uygun 3B karelsel fonksiyonu seç Doğru ilinti noktası lokalizasyonu

67 Farklı değişkenlerin Taylor serisine açılı İki değişken Görüntü Analizi Prof.Dr. Bülent Bayram Doğru ilinti noktası lokalizasyonu

68 Matris formunda Taylor açılımı, x vektör, f x i skalar yapar Hessian matrisi (genellikle simetrik) Değişim Görüntü Analizi Prof.Dr. Bülent Bayram Doğru ilinti noktası lokalizasyonu

69 Görüntü Analizi Prof.Dr. Bülent Bayram 2B açıklama

70 Görüntü Analizi Prof.Dr. Bülent Bayram 2B açıklama

71 Görüntü Analizi Prof.Dr. Bülent Bayram Türevin matris formunda gösterimi

72 Görüntü Analizi Prof.Dr. Bülent Bayram Türevin matris formunda gösterimi

73 Görüntü Analizi Prof.Dr. Bülent Bayram Türevin matris formunda gösterimi

74 Görüntü Analizi Prof.Dr. Bülent Bayram Türevin matris formunda gösterimi

75 Görüntü Analizi Prof.Dr. Bülent Bayram Türevin matris formunda gösterimi

76 x, 3-vektör Örneklem nokta eğer ofseti 0.5 ten büyükse değişir Düşük kontrastlı nokta atılır (<0.03) Görüntü Analizi Prof.Dr. Bülent Bayram Doğru ilinti noktası lokalizasyonu

77 Düşük kontrastlı nokta atılır Görüntü Analizi Prof.Dr. Bülent Bayram Doğru ilinti noktası lokalizasyonu

78 Köşe yanıtlarının eliminasyonu r=10 için Noktaların elde edilmesi İlinti noktası lokalizasyonu için Hessian matrisi Görüntü Analizi Prof.Dr. Bülent Bayram

79 D deki maksima Görüntü Analizi Prof.Dr. Bülent Bayram

80 Düşük kontrastlı köşelerin eliminasyonu Görüntü Analizi Prof.Dr. Bülent Bayram

81 İlinti noktası bulucu 233x89832 extrema 729 after con- trast filtering 536 after cur- vature filtering Görüntü Analizi Prof.Dr. Bülent Bayram

82 Yönelimin belirlenmesi Tutarlı bir yönelim yapılabilmesi için ilinti noktası tanımlayıcı yönelim bağımsız olabilir. İlinti noktası için, L en yakın ölçekte Gauss yumuşatma ile yumuşatılmış görüntüdür. Yöneltme histogramı (36 dilim) (Lx, Ly) m θ Görüntü Analizi Prof.Dr. Bülent Bayram

83 Görüntü Analizi Prof.Dr. Bülent Bayram Yönelimin belirlenmesi

84 Görüntü Analizi Prof.Dr. Bülent Bayram Yönelimin belirlenmesi

85 Görüntü Analizi Prof.Dr. Bülent Bayram Yönelimin belirlenmesi

86 σ=1.5* ilinti noktasının ölçeği Görüntü Analizi Prof.Dr. Bülent Bayram Yönelimin belirlenmesi

87 Görüntü Analizi Prof.Dr. Bülent Bayram Yönelimin belirlenmesi

88 Görüntü Analizi Prof.Dr. Bülent Bayram Yönelimin belirlenmesi

89 accurate peak position is determined by fitting Görüntü Analizi Prof.Dr. Bülent Bayram Yönelimin belirlenmesi

90 36-dilimli yönelim histogramı (360 derece için)nın ağırlığı m ve 1.5*ölçek e karşılık gelen pik noktası yöneltmeyi verir. %80 lokal pik noktası için farklı yönelimler söz konusu olabilir. %15 için çoklu yöenlim söz konusu olabilir ve bunlar stabiliteyi destekler. Görüntü Analizi Prof.Dr. Bülent Bayram Yönelimin belirlenmesi

91 SIFT tanımlayıcı Görüntü Analizi Prof.Dr. Bülent Bayram

92 Local görüntü bulucu Eşik değer uygulanmış görüntü gradyentleri 16x16 boyutunda örneklenir Vektör yönelim histogramları yaratılır 8 yönelimx 4x4 histogram alanı= 128 boyut Eğer boyut 0.2 den büyükse normalleştirilmemiş, aksi taktirde normalleştirilmiş σ=0.5*width Görüntü Analizi Prof.Dr. Bülent Bayram

93 Neden 4x4x8? Görüntü Analizi Prof.Dr. Bülent Bayram

94 Afin değişime karşı duyarlılık Görüntü Analizi Prof.Dr. Bülent Bayram

95 Özellik eşleme x özelliği için en yakın x 1 ve en yakın ikinci özellik için x 2 bulunur. Eğer uzaklık oranları d(x, x 1 ) ve d(x, x 1 ) 0.8 den küçükse bu eşleşme anlamına gelir. Görüntü Analizi Prof.Dr. Bülent Bayram

96 SIFT Akış Görüntü Analizi Prof.Dr. Bülent Bayram

97 D deki maksima Görüntü Analizi Prof.Dr. Bülent Bayram

98 Düşük kontrastlı noktaların elenmesi Görüntü Analizi Prof.Dr. Bülent Bayram

99 Köşelerin elenmesi Görüntü Analizi Prof.Dr. Bülent Bayram

100 SIFT tanımlayıcı Görüntü Analizi Prof.Dr. Bülent Bayram

101 Görüntü Analizi Prof.Dr. Bülent Bayram

102 Tahmin edilen dönüklük Orijinal ve dönük görüntü arasında Afin dönüşüm: Orijinal ve dönük görüntü arasında gerçek dönüşüm : Görüntü Analizi Prof.Dr. Bülent Bayram

103 Uygulamalar Görüntü Analizi Prof.Dr. Bülent Bayram

104 Tanıma SIFT özellikleri Görüntü Analizi Prof.Dr. Bülent Bayram

105 3B obje tanıma Görüntü Analizi Prof.Dr. Bülent Bayram

106 Görüntü Analizi Prof.Dr. Bülent Bayram 3B obje tanıma

107 Offis yönetimi Masanın video görüntüsü Pdf görntüler İzleme ve tanıma TT+1 İç sunum Sahne grafik masa Görüntü Analizi Prof.Dr. Bülent Bayram

108 … > 5000 görüntü Farklı görüş açısı Görüntü bulma Görüntü Analizi Prof.Dr. Bülent Bayram

109 22 doğru eşleme Görüntü Analizi Prof.Dr. Bülent Bayram Görüntü bulma

110 … > 5000 görüntü Farklı görüş açısı ve ölçek Görüntü Analizi Prof.Dr. Bülent Bayram Görüntü bulma

111 Robot konumu Görüntü Analizi Prof.Dr. Bülent Bayram

112 Poor meshGood mesh Görüntü Analizi Prof.Dr. Bülent Bayram Hareketin yapılandırılması (SFM)

113 Artırılmış gerçeklik Görüntü Analizi Prof.Dr. Bülent Bayram

114 Otomatik görüntü mozaik yaratma (dikme) Görüntü Analizi Prof.Dr. Bülent Bayram

115 Görüntü Analizi Prof.Dr. Bülent Bayram Otomatik görüntü mozaik yaratma (dikme)

116 Görüntü Analizi Prof.Dr. Bülent Bayram Otomatik görüntü mozaik yaratma (dikme)

117 Görüntü Analizi Prof.Dr. Bülent Bayram Otomatik görüntü mozaik yaratma (dikme)

118 Görüntü Analizi Prof.Dr. Bülent Bayram Otomatik görüntü mozaik yaratma (dikme)

119 Referanslar Chris Harris, Mike Stephens, A Combined Corner and Edge Detector, 4th Alvey Vision Conference, 1988, pp A Combined Corner and Edge Detector David G. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 60(2), 2004, pp Distinctive Image Features from Scale-Invariant Keypoints Yan Ke, Rahul Sukthankar, PCA-SIFT: A More Distinctive Representation for Local Image Descriptors, CVPR 2004.PCA-SIFT: A More Distinctive Representation for Local Image Descriptors Krystian Mikolajczyk, Cordelia Schmid, A performance evaluation of local descriptors, Submitted to PAMI, 2004.A performance evaluation of local descriptors SIFT Keypoint Detector, David Lowe. SIFT Keypoint Detector Matlab SIFT Tutorial, University of Toronto. Matlab SIFT Tutorial Görüntü Analizi Prof.Dr. Bülent Bayram

120 Görüntü Analizi Prof.Dr. Bülent Bayram


"Özellikler DIGITAL VISUAL EFFECTS YUNG-YU CHUANG with slides by Trevor Darrell Cordelia Schmid, David Lowe, Darya Frolova, Denis Simakov, Robert Collins." indir ppt

Benzer bir sunumlar


Google Reklamları