ODTUSIU 20031 YALITILMIŞ KELİMELERİN KYDP ALGORİTMASI İLE BÖLÜTLENMESİNDE SES SÜRE BİLGİSİNİN VE FARKLI ÖZNİTELİK VEKTÖRLERİNİN KULLANILMASI Yazarlar:

... konulu sunumlar: "ODTUSIU 20031 YALITILMIŞ KELİMELERİN KYDP ALGORİTMASI İLE BÖLÜTLENMESİNDE SES SÜRE BİLGİSİNİN VE FARKLI ÖZNİTELİK VEKTÖRLERİNİN KULLANILMASI Yazarlar:"— Sunum transkripti:

1 ODTUSIU 20031 YALITILMIŞ KELİMELERİN KYDP ALGORİTMASI İLE BÖLÜTLENMESİNDE SES SÜRE BİLGİSİNİN VE FARKLI ÖZNİTELİK VEKTÖRLERİNİN KULLANILMASI Yazarlar: İ.Yücel Özbek, Prof. Dr. Mübeccel Demirekler, Doç. Dr. Tolga Çiloğlu

2 ODTUSIU 20032 İçerik :  Kat yapılandırmalı dinamik programlamaya (KYDP) dayalı konuşma bölütlendirme  KYDP tabanlı konuşma bölütlendirmede karşılaşılan sorunlar  Önerilen çözümler ve elde edilen sonuçlar  Arama uzayının budanması  Ses süre bilgilerine ait olabilirliliklerin kullanılması  Farklı öznitelik vektörlerinin kullanılması  Sonuç

3 ODTUSIU 20033 KYDP tabanlı konuşma bölütlendirme  KYDP-tabanlı konuşma bölütlendirme yöntemi dinamik programlamaya dayalı bir yöntemdir.  Bölüt sınırlarını, bölüt içlerindeki toplam bozunumu en aza indirecek şekilde belirler Bölüt içi bozunum Toplam bozunum Bölüt sınırları

4 ODTUSIU 20034 Bölüt içerindeki bozunum nedir? Bölüt içerisinde kalan öznitelik vektörlerinin, bölütün ortalama öznitelik vektörüne olan uzaklıklarının toplamına bölüt içerisindeki bozunum denir

5 ODTUSIU 20035 Örnek: ‘siu’ kelimesinin yedi tane öznitelik vektöründen oluştuğunu ve bunların aşağıdaki şekilde gösterildiğini kabul edelim [O 1, O 2, O 3, O 4, O 5, O 6, O 7 ] b 1 b 2 b 3 b 1 içerisindeki bozunum=d(1, 3) =? Toplam bozunum= ? O1*O1* O3*O3* *O 2 µ d1d1 d2d2 d3d3 d(1, 3)=d 1 +d 2 +d 3 O1*O1* O3*O3* *O2*O2 Toplam bozunum= d(1, 3)+d(4, 6)+d(7, 9)

6 ODTUSIU 20036 Toplam bozunumun en küçük olduğu bölüt sınırları nasıl bulunur? Bölüt sınırları Toplam bozunumu en küçük yapacak bölüt sınırları kat yapılandırmalı dinamik programlama algoritması ile bulunur

7 ODTUSIU 20037 Kat yapılandırmalı dinamik programlama KYDP algoritması toplam bozunumu en küçük yapacak bölüt sınırlarını aşağıdaki tablo yardımıyla bulur Kat-2 Kat-N Kat-1 O(1)O(2)O(M) Öznitelik Vektörleri Katlar bölüt sayısını gösterir ******** * * ******

8 ODTUSIU 20038 Örnek: Yedi öznitelik vektöründen oluşan ‘siu’ kelimesini KYDP algoritmasıyla bölütlenmesi d (1,5) D 1 (2)D1(6)D1(6)D 1 (4) D 2 (3)D 2 (4)D 2 (5) Kat-2 i Kat-3 u Kat-1 s d (1,1) d (1,3) D2(7)D2(7)D2(6)D2(6) Öz. Vektörleri O(1) O(2)O(3)O(4)O(5)O(6)O(7) Bölütler siu En iyi yol

9 ODTUSIU 20039 KYDP yöntemiyle elde edilen deneysel sonuç % 46% 51./111ÜN % 77% 5248/6810Toplam

10 ODTUSIU 200310 İçerik :  Kat yapılandırmalı dinamik programlamaya (KYDP) dayalı konuşma bölütlendirme  KYDP tabanlı konuşma bölütlendirmede karşılaşılan sorunlar  Önerilen çözümler ve elde edilen sonuçlar  Arama uzayının budanması  Ses süre bilgilerine ait benzerliklerin kullanılması  Farklı öznitelik vektörlerinin kullanılması  Sonuç

11 ODTUSIU 200311 KYDP algoritması ile karşılaşılan sorunlar  İşlem yükünün fazla olmasından dolayı bölütlemeyi uzun sürede gerçekleştirmektedir  Kısa (Ötümlü patlamalılar) ve uzun(Ünlüler,vb) sürede geçekleşen fonetik birimlere ait sınırları bulmada düşük başarı göstermektedir

12 ODTUSIU 200312 İçerik :  Kat yapılandırmalı dinamik programlamaya (KYDP) dayalı konuşma bölütlendirme  KYDP tabanlı konuşma bölütlendirmede karşılaşılan sorunlar  Önerilen çözümler ve elde edilen sonuçlar  Arama uzayının budanması  Ses süre bilgilerine ait benzerliklerin kullanılması  Farklı öznitelik vektörlerinin kullanılması  Sonuç

13 ODTUSIU 200313 Arama uzayının budanması  Elimizde bulunan ses veritabanı yardımıyla ses birimlerine ait maksimum ve minimum süre bigileri çıkarıldı  Ses süre bilgilerinden faydalanarak KYDP algoritmasının arama uzayı budandı Normal arama uzayı Budanmış arama uzayı Katlar Öz. Vektörler

14 ODTUSIU 200314 Arama uzayının budanmasının algoritmanın performansına etkisi  Budanma sonucu algorıtmanın işlem yükü azaltıldığından KYDP algorıtmasının hızı % 60-70 artırıldı. Doğruluk oranı ise %4 artırıldı. % 77% 5248/6810Toplam % 81% 5494/6810Toplam Performans % 4 artırıldı

15 ODTUSIU 200315 İçerik :  Kat yapılandırmalı dinamik programlamaya (KYDP) dayalı konuşma bölütlendirme  KYDP tabanlı konuşma bölütlendirmede karşılaşılan sorunlar  Önerilen çözümler ve elde edilen sonuçlar  Arama uzayının budanması  Ses süre bilgilerine ait benzerliklerin kullanılması  Farklı öznitelik vektörlerinin kullanılması  Sonuç

16 ODTUSIU 200316 Ses birimlerine ait süre bilgilerinin gamma fonksiyonu ile modellenmesi  Bütün ses birimlerinin süre bilgileri gamma fonksiyonu yardımıyla modellendi  Modeller kullanılarak bölüt içlerindeki bozunumlar ağırlıklandırıldı i çerçevesin den n’e kadar olan bölüte ait bozunum x (= n-i) süresine ait olabilirlilik değeri α ve β model parametreleri Ağırlıklaştırılmış yeni bozunum

17 ODTUSIU 200317 Ağırlıklı bozunumların kullanılmasının algoritmanın performansına etkisi % 81% 5494/6810Toplam % 83% 5666/6810Toplam Performans % 2 artırıldı

18 ODTUSIU 200318 İçerik :  Kat yapılandırmalı dinamik programlamaya (KYDP) dayalı konuşma bölütlendirme  KYDP tabanlı konuşma bölütlendirmede karşılaşılan sorunlar  Önerilen çözümler ve elde edilen sonuçlar  Arama uzayının budanması  Ses süre bilgilerine ait benzerliklerin kullanılması  Farklı öznitelik vektörlerinin kullanılması  Sonuç

19 ODTUSIU 200319 Farklı öznitelik vektörlerinin kullanılması Fourier Dönüşüm Fourier Dönüşüm Kelime Mel-Cepstral Ve Enerji analiz Mel-Cepstral Ve Enerji analiz Zamana Göre Türev Zamana Göre Türev Zaman Göre Türev Zaman Göre Türev Delta log enerji + Delta 0. kepstral + Delta kepstrum Delta-Delta log enerji + Delta-Delta 0. kepstral + Delta-Delta kepstrum Log enerji + 0. kepstral katsayı + Mel-ölçekli kepstrum 42 Boyutlu öznitelik vektörü

20 ODTUSIU 200320 Farklı öznitelik vektörlerinin kullanılmasının algoritmanın performansına etkisi % 83% 5666/6810Toplam % 85% 5792/6810Toplam Performans % 2 artırıldı

21 ODTUSIU 200321 Uyarlanmış KYDP tabanlı konuşma bölütlendirme algoritması ile elde edilen detaylı deney sonucu

22 ODTUSIU 200322 Sonuç; KYDP tabanlı konuşma bölütlendirme algoritması  arama uzayının budanması,  ses birimlerinin gamma fonksiyonları ile modellenerek bölütler ait sürelerin alabilirlilik değerlerini kullanılması ve  farklı öznitelik vektörlerinin kullanılması ile doğruluk oranı 6810 bölüt sayısı için % 77 den %85’e yükseltilmiştir

23 ODTUSIU 200323 TEŞEKKÜRLER..,

24 ODTUSIU 200324 Bölüt içerindeki bozunum nedir? Bölüt içerisinde kalan öznitelik vektörlerinin, bölütün ortalama öznitelik vektörüne olan uzaklıklarının toplamına bölüt İçerisindeki bazunum denir

25 ODTUSIU 200325 fff % 77% 5248/6810Toplam b, r ve e selerine ait süre modelleri

26 ODTUSIU 200326

27 ODTUSIU 200327