Berkay Topçu ve Hakan Erdoğan Sabancı Üniversitesi Yerel Görünüm Tabanlı Yüz Tanıma İçin Değişik Boyut İndirme ve Normalizasyon Yöntemlerinin İncelenmesi Berkay Topçu ve Hakan Erdoğan Sabancı Üniversitesi

Outline Yerel Görünüm Tabanlı Yüz Tanıma Yüz Tespiti Veritabanı (M2VTS) Değişik Boyut İndirme Teknikleri TBA, DAA, aPAC, Normalize TBA, Normalize DAA, NNDA Normalizasyon Teknikleri Sınıflandırma Sonuçları

Yerel Görünüm Tabanlı Yüz Tanıma Öznitelik vektörleri, yüz imgesini eşit parçalara ayıran bloklardan çıkarılarak oluşturulur. 16 x 16 bloklar 8 x 8 bloklar

Genel Sistem Bloklarda Boyut İndirme: TBA DAA aPAC NTBA NDAA NNDA Blok ve öznitelik normalizasyonları Yüz Tespiti Sınıflandırma: nmc nnc ldc

Yüz Tespiti– M2VTS OpenCV – otomatik yüz tespiti Kullanılan yüz imgelerinin boyutu : 48x64

Veritabanı – M2VTS M2VTS veritabanından örnek imgeler. Her sütunda aynı kişiye ait farklı imgeler bulunuyor.

Veritabanı – M2VTS Her 37 kişinin 40 adet yüz imgesi Eğitim için 32 imge ve Test için 8 imge 48x64 piksel 3072 piksel 16’lık ve 8’lik bloklar 16x16 bloklar için: 12 blok x 12 öznitelik  144 öznitelik 8x8 bloklar için : 48 blok x 3 öznitelik

TBA (Temel Bileşenler Analizi) Temel bileşenler analizi (PCA), veriyi düşük bir boyuta, verideki değişintiyi koruyacak şekilde eşleyen dikgen bir doğrusal dönüşümdür. Fakat PCA’in sınıf bilgisini kullanmadığını göz önüne alırsak, en fazla değişintinin olduğu bileşenlerin sınıflandırma problemi için doğru öznitelikleri içerdiğini garanti edemeyiz.

DAA (Doğrusal Ayırtaç Analizi) Doğrusal ayırtaç analizi (LDA), düşük boyutlu uzayda sınıfları en başarılı ayıracak vektorleri bulur. Amaç sınıf-içi saçılımı en büyük yapmaya çalışırken, sınıflar arası saçılımı en düşük seviyeye çekmektir.

aPAC (Yaklaşık İkili Doğruluk Kriteri) LDA’in en önemli dezavantajı: Sınıflar arası uzaklığın karesini büyütürken, aykırı sınıfların bu işlemi domine etmesi dolayısıyla hali hazırda ayrık sınıflara daha fazla önem vererek geri kalan sınıfların ayrılmasını zorlaştırır. K-sınıflı LDA problemi K*(K-1)/2 sayıda 2-sınıf LDA problemine ayrıştırlabilir. İkili sınıflar üzerinde ağırlıklandırma kullanılarak, her sınıfın boyut düşürme optimizasyonuna katkısı normalize edilebilir.

NPCA (Normalize PCA) PCA düşürülmüş boyutlu uzaydaki veride değişintiyi maksimize ederken aynı zamanda verinin izdüşümünde örnekler arası ikili uzaklıların karelerinin toplamını da maksimize etmektedir. Bu ikili uzaklıkların karelerini ağırlıklandırarak (ikili benzemezlikler) toplayıp maksimize ederek büyük uzaklıkların etkisi azaltılabilir.

NPCA (Normalize PCA) Önerilen ağırlıklar:

NLDA (Normalize LDA) NPCA’in geliştirilmiş bir şekli olan NLDA’de, ikili benzemezliklere ek olarak, ikili benzerlikler de probleme dahil edilmiştir. Aynı sınıfa ait elemanları yaklaştırmaya çalışırken aynı zamanda farklı sınıflara ait elemanları uzaklaştırmaya çalışmaktayız.

Nearest Neighbor Discriminant Analysis (NNDA) Sınıflar arası uzaklığı arttırmaya çalışırken, aynı sınıfa ait elemanları izdüşüm uzayında yaklaştırmayı hedeflemektedir. Her eleman için, aynı sınıftaki en yakın komşu ile uzaklığını ve diğer sınıflardan en yakın komşu ile uzaklığını göz önüne alır.

Sınıflandırma (Eğitim ve Test) Sınıflandırma için MATLAB – PrTools (Pattern Recognition Toolbox) Nearest Mean Classifier (nmc) Nearest Neighbor Classifier (nnc) Linear Discriminant Classifier (ldc) 37 kişinin herbirinden 40 yüz imgesi 1480 imge 32x37 = 1184 imge eğitim için 8x37 = 296 imge test için

Normalizasyon Öncesi Herhangi bir normalizyon uygulanmadan önceki tanıma oranları : 8 x 8 16 x 16 DCT 70.61% 72.64% PCA 74.32% 79.39% LDA 80.07% 82.43% aPAC 85.47% 81.76% nPCA 75.34% nLDA 85.14% NNDA 77.36% 77.70%

Normalizasyonlar Öznitelik Normalizasyonu Blok içi Normalizasyon Uzunluk bölümü (normalizasyonu) Standart sapma bölümü (normalizasyonu) Blok içi Normalizasyon Blok içi ortalama ve standart sapma normalizasyonu

Öznitelik Normalizasyonları Uzunluk Bölümü: Farklı parlaklık seviyelerindeki bloklar, farklı değer seviyeleri içeren görsel öznitelik vektorlerine sebep olmaktadır. Uzunluk normalizasyonu olarak adlandırdığımız bu yöntemle yüksek veya düşük parlaklık seviyeli bloklardan gelen özniteliklerin etkilerini dengelemiş oluruz. Standart Sapma Bölümü: Her özniteliğin katkısını dengelemek için, her özniteliği, eğitim verisi üzerinden öğrendiğimiz standart sapmalarına böleriz.

Öznitelik Normalizasyonu Sonuçları Uzunluk Bölümü Sonuçları Standart Sapma Bölümü Sonuçları Blok boyutu 8 Blok boyutu 16 nmc nnc ldc DCT 78.04% 84.46% 73.99% PCA 59.80% 72.97% 88.18% LDA 51.01% 65.20% 80.07% aPAC 76.35% 81.76% nPCA 58.45% nLDA 77.70% 77.36% 85.81% NNDA 66.22% 69.59% 84.80% nmc nnc ldc DCT 82.77% 85.81% 86.15% PCA 73.99% 80.07% 87.84% LDA 54.39% 62.50% 79.39% aPAC 81.76% 85.47% 81.42% nPCA 73.65% 80.74% 88.18% nLDA 82.09% 84.46% NNDA 78.04% 89.86% nmc nnc ldc DCT 78.04% 84.46% 85.47% PCA 75.00% 80.74% 88.18% LDA 81.76% 84.80% aPAC 86.82% 87.50% nPCA 76.01% 80.41% nLDA 80.07% 89.53% NNDA 80.73% 86.49% nmc nnc ldc DCT 83.78% 85.47% 86.15% PCA 86.49% 79.73% 87.84% LDA 77.03% 80.07% 82.77% aPAC 81.76% 82.09% nPCA 85.81% nLDA 68.24% 76.01% 84.80% NNDA 78.04% 88.18%

Blok içi Normalizasyon İmge üzerindeki her bir blok, insan yüzündeki farklı bölgeleri içerdiğinden, her bloktaki farklı parlaklık seviyesi aynı kişi için bile değişiklik göstermektedir. Ayrıca ışıklandırma durumuna bağlı olarak, farklı blokların piksel değerleri arasında büyük farklılıklar oluşabilir. Aynı kişinin farklı imgelerinden çıkarılmış öznitelik vektörleri arasında büyük farklar olması, sınıflandırma performansını düşürmektedir.

Blok içi Normalizasyon Sonuçları Block size 8 Block size 16 nmc nnc ldc DCT 80.74% 86.49% PCA 76.01% 76.69% 88.18% LDA 83.11% 81.42% 82.43% aPAC 89.19% 88.51% nPCA 76.35% 87.50% nLDA 85.47% 86.82% 87.84% NNDA 74.32% 80.41% nmc nnc ldc DCT 83.45% 86.49% 86.82% PCA 78.04% 78.72% 86.15% LDA 82.09% 83.78% aPAC 90.20% 88.85% nPCA 87.16% nLDA 88.18% NNDA 79.73% 82.77%

Gelecek Çalışmalar Çakışan Bloklar Karar Birleştirme Hareketli Bloklar Her blok için bağımsız karar verme Hareketli Bloklar En uygun eşleşme için blok merkezlerinin kaydırılması Diğer veritabanları CMU yüz ifadesi veritabanı, AR yüz veritabanı