Speeded-Up Robust Features (SURF) Yöntemi ile Yüz Tanıma

... konulu sunumlar: "Speeded-Up Robust Features (SURF) Yöntemi ile Yüz Tanıma"— Sunum transkripti:

1 Speeded-Up Robust Features (SURF) Yöntemi ile Yüz Tanıma
Serhat KONYALIOĞULLARI1 , Serkan BALLI2 1 Muğla Sıtkı Koçman Üniversitesi Bilgi İşlem Dairesi Başkanlığı 2 Muğla Sıtkı Koçman Üniversitesi Bilişim Sistemleri Mühendisliği Anabilim Dalı

2 SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016
Yüz Tanıma Nedir? Video ve ya fotoğraf çekimi yapılarak elde edilen görüntülerin işlenerek insan yüz bölgesinin tespit edilmesi ve ardından yüzün karakteristik özelliklerinin belirlenerek bu özelliklerin, daha önceden elde edilmiş farklı yüz görüntülerinden elde edilen karakteristik özellikler ile karşılaştırılması sonucu uygun eşleştirme yapılarak yüzün tanımlanması (doğru kişi ile eşleştirilmesi) olarak özetlenebilir. Yüz tanıma sisteminde önemli olan nokta, oluşturulan sistemin eğitilebilir ve öğrenebilir olmasıdır. Eldeki veriler kullanılarak eğitilen sistem, sonradan elde edilen yeni verilere adapte olabilmeli ve kendisini sürekli güncel tutabilmelidir. Birden fazla slayt gerekebilir SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016

3 SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016
Nasıl Yapılır? Yüz tanıma işlemi, tanınmak istenen yüzün sistemdeki hangi yüzle daha çok eşleştiğine dayanarak yapılmaktadır. Tanınması istenen yüz bilgisi elde edilir ve sistemde bulunan diğer yüzlerle karşılaştırılarak sınıflandırılır. Şekil - 1’de genel bir yüz tanıma algoritmasının işleyişi gösterilmektedir. Öncelikle kaynak resim alınarak ön işlemden geçirilir ve yüz kesiti alınır. Bulunan kesitin bir yüz olup olmadığına karar verilir. Yüz olarak tanımlanan kısmın belirleyici özellikleri tespit edilerek veritabanında bulunan diğer resimler ile karşılaştırılması yapılır. Eşleşme durumunda tanımlama işlemi başıyla tamamlanmış olur ve istenirse eldeki yeni resim de veritabanına kaynak olarak eklenir. Şekil - 1 SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016

4 SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016
Kullanılan Yöntemler PCA (Principal Component Analysis) / TBA (Temel Bileşenler Analizi) Görüntüdeki aynı kısımları tespit ederek sadece spesifik kısımlar kalacak şekilde görüntünün sıkıştırılıp karşılaştırılması esasına dayanır. ICA (Independent Component Analysis) / BBA (Bağımsız Bileşenler Analizi) Görüntüdeki temel bir bileşenin tespit edilerek diğer bileşenlerin fonksiyonun çıkarılması esasına dayanır. LDA (Linear Discriminant Analysis) /DDA (Doğrusal Diskriminant Analizi) Bu algoritmada amaç verilerin sınıflandırılması için gerekli olan ayırt edici öznitelikleri seçip, ayırt edici olmayan öznitelikleri elemektir. SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016

5 SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016
Kullanılan Yöntemler EP (Evolutionary Pursuit) / EP (Evrimsel Takip) Görüntüleri analiz ederken kişinin karakteristik ve evrimsel özelliklerine göre sınıflandırma ve tanımlama yapabilen bir algoritmadır. EBGM (Elastic Bunch Graph Matching) / EDGİ (Elastik Demet Grafik İşaretleme) Bu yöntemde genişçe bir dikdörtgenler ızgarası insan yüzüne örtülerek yüz üzerindeki kritik noktaların işaretlenmesi sağlanır. Sonra bu noktalara göre bir özellik vektörü belirlenip grafik şablonları kullanılarak karşılaştırılması yapılır. Trace Transform Radon / İz Radon Dönüşümü Radon dönüşümü iki boyutlu uzayda düz çizgilere uygulanan integral dönüşümüdür. Ters radon dönüşümü ile görüntülerin tekrar oluşturulması sağlanabilir. İz dönüşümü sayesinde cisimleri tanırken rotasyon, boyutlandırma gibi transformasyonların ektileri ortadan kaldırılır. Bu sayede farklı açılardan görüntüsü alınan cisimlerde tanınabilir SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016

6 SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016
Kullanılan Yöntemler AAM (Active Appearance Model) / Aktif Görünüm Modeli Algoritma gri seviye resimler üstünde tahmin edilen nokta ile hedef nokta arasındaki farkların hesaplanmasıyla (leastsquares) çalışır. 3D Morphable Model – 3 Boyutlu Model Dönüştürme Bu algoritma ile görüntünün mevcuttaki diğer resimlerle birleştirerek ortaya çıkan yeni görüntüye olan uyumluluğu kontrol edilir. Böylelikle ortam şartlarına bağlı kalınmadan yüksek seviyede uygunluk elde edilir. 3-D Face Recognition – 3 Boyutlu Yüz Eşleştirme Bu yöntemde insan yüzünün öncelikle üzgün, mutlu, heyecanlı gibi varyasyonları çıkarılır. Sonrasında eşleştirme durumlarında bu varyasyonlar kontrol edilerek uyumun en yüksek seviyede olması sağlanır. SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016

7 Biz Nasıl Bir Yöntem Uyguladık?
Uygulamamız için Caltech (California Institute of Technology) yüz veritabanındaki kaynak resimleri kullandık. Resim içerisinde bulunan yüz kesitini Kanade-Lucas-Tomasi (KLT) algoritmasını kullanarak tespit ettik. Elde ettiğimiz yüz kesiti üzerinde bulunan ayırt edici özellikli noktaları –SURF noktaları- tespit ettik ve bu noktaları farklı resimler üzerinde aynı şekilde tespiti yapılan noktalar ile karşılaştırarak en çok eşleşme bulunan resmi bularak yüz tanıma işlemi gerçekleştirdik. Yapılan çalışma aynı kişinin farklı ortam ve ışık altında çekilmiş fotoğraflarında farklı özellik ve sayıda noktanın belirleyici olabileceğini gösterdi. SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016

8 Kanade-Lucas-Tomasi (KLT) Yöntemi ile Yüz Kesiti Belirleme
KLT yöntemi ile içerisinde kişinin yüzünü barındıran kaynak resimdeki belirleyici noktalar belirlenerek yüz bölgesinin belirlenmesine çalışılır. A. Kaynak Resim B. Yüz Kesitinin Belirlenmesi C. Yüzün Kırpılması SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016

9 SURF Noktalarının Tespiti
Literatürde geniş kapsamlı ‘önemli nokta’ detektör ve tanımlayıcılar geliştirilmiştir. SURF yöntemi de çeşitli görme tabanlı uygulamalar için geliştirilmiş bir özellik detektörüdür. Resimlerin önemli noktalarının karşılaştırılması işlemi üç adımdan meydana gelir. Öncelikle resmin içerisinde belirgin bölgelerdeki önemli noktalar –köşeler, lekeler, birleşim noktaları- seçilir. Önemli noktalar olarak tabir edilen noktaların en değerli özelliği onun tekrarlanabilirliğidir. Tekrarlanabilirlik, farklı görüntüleme koşulları altında aynı önemli noktaları bulmak için bir detektör güvenilirliğini ifade eder. İkinci adım olarak her bir önemli noktanın komşuluğu bir özellik vektörü olarak temsil edilir. Bu tanımlayıcı, fotografik ve geometrik deformasyonları, önemli nokta yer değişimlerini ve resimdeki gürültüleri bastıracak kadar güçlü ve ayırt edici olmak zorundadır. Son olarak farklı resimler içerisinde bulunan özellik vektörleri karşılaştırılır. Not: SURF Noktaları belirlenecek resimler mutlaka gri tonlarda olmalı ya da dönüştürülmelidir. Birden fazla slayt gerekebilir SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016

10 SURF Noktaları Tespit Edilmiş Resim
Birden fazla slayt gerekebilir SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016

11 SURF Noktalarının Karşılaştırılması
Birden fazla slayt gerekebilir Kaynak Resim Hedef Resim SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016

12 SURF Noktalarının Karşılaştırılması
Birden fazla slayt gerekebilir Kaynak Resimden Kırpılan Yüz Kesiti Hedef Resimden Kırpılan Yüz Kesiti SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016

13 SURF Noktalarının Karşılaştırılması
Birden fazla slayt gerekebilir Kaynak Resimdeki SURF Noktaları (143 SURF Noktası Tespit Edilmiştir) Hedef Resimdeki SURF Noktaları (148 SURF Noktası Tespit Edilmiştir) SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016

14 SURF Noktalarının Eşleştirilmesi
Birden fazla slayt gerekebilir Eşleştirilen SURF Noktaları (55 SURF Noktasının birbiri ile eşleştiği görülmektedir) SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016

15 SURF Noktalarının Karşılaştırılması
Birden fazla slayt gerekebilir Kaynak Resim Hedef Resim SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016

16 SURF Noktalarının Karşılaştırılması
Birden fazla slayt gerekebilir Kaynak Resimden Kırpılan Yüz Kesiti Hedef Resimden Kırpılan Yüz Kesiti SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016

17 SURF Noktalarının Karşılaştırılması
Birden fazla slayt gerekebilir Kaynak Resimdeki SURF Noktaları (84 SURF Noktası Tespit Edilmiştir) Hedef Resimdeki SURF Noktaları (110 SURF Noktası Tespit Edilmiştir) SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016

18 SURF Noktalarının Eşleştirilmesi
Birden fazla slayt gerekebilir Eşleştirilen SURF Noktaları (32 SURF Noktasının birbiri ile eşleştiği görülmektedir) SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016

19 Yöntemimiz Ne Kadar Başarılı?
Kişi Doğru Yanlış Toplam Yüzde (%) A 9 1 10 90 B 100 C D E F G H I J K L M 8 2 80 N 5 50 O P Q R 171 180 95 Yöntemimiz Ne Kadar Başarılı? Toplam 18 ayrı kişiden için 10’ar adet kaynak resim rastgele seçilmiştir. Test edilecek resimler toplamda 131 adettir ve yine aynı kişilerin rastgele seçilmiş farklı resimlerinden oluşmaktadır. A’dan R’ye harflendirilmiş kişilerin 10 kaynak resmi ayrı ayrı hedef 131 resim içerisinde aratılmıştır. Doğru ve yanlış eşleşen resimlerin sayıları yandaki tabloda yer almaktadır. Toplam 180 kaynak resmin 171 tanesi doğru eşleştirilmiş ve %95 başarı oranı elde edilmiştir. Birden fazla slayt gerekebilir SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016

20 SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016
Sonuç ve Öneriler Yaptığımız çalışmada kişilerin her bir resmi tek tek karşılaştırma işlemine tabii tutulduğundan başarı oranının da aynı nispette düşme eğilimi gösterebileceği gözlemlenmiştir. Özellikle bazı resimlerde meydana gelen kararma, gölgelenme vb. bozulmalar, doğru eşleştirme kabiliyetini doğrudan ve olumsuz bir şekilde etkileyebilmektedir. Yapılan çalışmanın daha da geliştirilmesi ve sıfıra yakın hata oranlarında başarı elde edebilmesi için, aynı kişinin farklı resimleri üzerinde tespit edilen SURF noktalarının tekil olanları bir araya getirilecek bir SURF vektörü oluşturularak, kişiyi resmi yerine bu vektörün temsil etmesi öngörülmektedir. Böylece aynı resimler üzerinde tekrar tekrar tarama ve tespit yapmak yerine sadece araştırma yapılmak istenen resim üzerinde ihtiyaç duyulan SURF noktaları belirlenebilir ve arama işlemi sadece vektör veritabanı üzerinde gerçekleştirilebilir. SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016

21 SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016
TEŞEKKÜRLER… SURF Yöntemi ile Yüz Tanıma akademik bilişim 2016