Yüz Tanıma İçin İlinti Tabanlı Yama Yerelleştirme Berkay Topçu (TÜBİTAK-BİLGEM / Sabancı Üniversitesi) Hakan Erdoğan (Sabancı Üniversitesi)

İçerik Giriş Yama-Tabanlı Yüz Tanıma Yama Yerelleştirme Boyut düşürme ve normalizasyon Sınıflandırma Karar birleştirme Yama Yerelleştirme Ortalama yüz imgesi Bütünsel yaklaşım Bölgesel yaklaşım Yerelleştirme Deneyler ve Sonuçlar Gelecek Çalışmalar 2

Güvenlik uygulamaları İnsan-bilgisayar arayüzü Giriş – Yüz tanıma Güvenlik uygulamaları İnsan-bilgisayar arayüzü Işıklandırma durumu Kısmi kapanmalar Duruş (poz) değişimleri Yaşlanma 3

Üst üste çakışan veya çakışmayan bölgeler (yamalar) Yerel öznitelikler Yama-Tabanlı Yüz Tanıma Üst üste çakışan veya çakışmayan bölgeler (yamalar) Yerel öznitelikler Işıklandırma ve kısmi kapanmalara gürbüz Yama boyutu Temsil ettiği bölge ile ilgili yeterli bilgi vermeli Öznitelik çıkarımını karmaşıklaştırmamalı Sınıflandırma Farklı yamalardan çıkarılan öznitelikler Öznitelik birleştirme Karar birleştirme 4

Yama-Tabanlı Yüz Tanıma 5

Boyut düşürme – Öznitelik çıkarımı Yama-Tabanlı Yüz Tanıma Boyut düşürme – Öznitelik çıkarımı Ayrık kosinüs dönüşümü (DCT) Temek bileşenler analizi (PCA) En yakın komşu ayırtaç analizi (NNDA) En yakın komşu sınıflandırıcısı Kosinüs (COS) uzaklık ölçütü Karar birleştirme işlemi için sınıf sonsal olasılıklar: Karar birleştirme Ağırlıklı toplam kuralı 6

Motivasyon: Yöntem : Yerelleştirme aynı kişinin farklı yüz imgelerinden alınan aynı konumdaki yamaların imge içeriklerinin yakın olması belirli bir yama konumunun, aynı kişinin farklı yüz imgelerinde aynı bölgeye karşılık gelmesi Yöntem : yama komşuluğunda sınırlı bir alanda, ilinti tabanlı arama eğitim veri tabanı üzerinde hesaplanan ortalama yüz imgesine yakınlık bütünsel ve bölgesel yerelleştirme 7

Bütünsel Yerelleştirme Ortalama yüz imgesi, yüz imgelerinin bütünü kullanılarak hesaplanır: : x ve y eksenlerindeki piksel bazında kayma miktarları : i. ortalama yüz imgesi : i. yüz imgesi ile ortalama yüz imgesi arasındaki ilinti 8

Bütünsel Yerelleştirme Eğitim kümesindeki tüm imgeler üzerinden oluşturulan ortalama yüz imgesi Eğitim ve test sırasında yamaların yerelleştirilmesi ortalama yüz imgesi  ortalama yama imgeleri 9

Bölgesel Yerelleştirme Yama bazında yerelleştirme Her bir yama için ortalama yama imgesi : b. yama için i. ortalama yama imgesi : b. yama için i. ortalama yama imgesi ile i. imgenin b. yaması arasındaki ilinti 10

Yerelleştirme İşlemi Her bir eğitim ve test imgesi yamalara ayrılırken ortalama yama imgeleri ile en yüksek ilintiyi sağlayacak yama konumları hesaplanır. : son ortalama yama imgesi 11

AR veri tabanı Deneyler 120 kişi – 2 ayrı oturum – 13+13 = 26 imge / kişi 13 imge / kişi / oturum : 1 standart 3 yüz ifadesi farklı 3 ışıklandırma farklı 3 güneş gözlüklü 3 atkılı İlk oturum ilk 7 imge  eğitim İkinci oturum ilk 7 imge  onaylama İlk ve ikinci oturum 6 + 6 = 12 imge  test 12

Deneyler ve Sonuçlar Atkılı test imgeleri ile başarımlar Güneş gözlüklü test imgeleri ile başarımlar Yama Boyutu Yerelleştirmesiz Bütünsel Yerelleştirme Bölgesel Yerelleştirme 8 x 8 % 78,89 % 90,28 % 90,97 16 x 16 % 81,39 % 87,08 % 90,83 Yama Boyutu Yerelleştirmesiz Bütünsel Yerelleştirme Bölgesel Yerelleştirme 8 x 8 % 97,36 % 98,75 16 x 16 % 98,47 % 98,33 % 99,17 13

Sonuç Yama-tabanlı yüz tanıma sistemleri için yama yerelleştirme yöntemleri Bütünsel yerelleştirme Bölgesel yerelleştirme İmge üzerinde gerçeklenen yerelleştirme Öznitelik çıkarımından bağımsız Özniteliklerin kullanımından bağımsız (öznitelik/karar birleştirme) Gelecek çalışmalar İlinti-tabanlı yaklaşım yerine farklı yerelleştirme yöntemleri : Optimizasyon tabanlı yöntemler Sabit yamalar yerine elle seçilmiş veya rastgele seçilmiş yamalar Yüz doğrulama problemi için kişilere özel yama ağırlıklandırma 14

15

16