Sunum yükleniyor. Lütfen bekleyiniz

Sunum yükleniyor. Lütfen bekleyiniz

Konuşma Terapisine Yönelik Otomatik Konuşma Tanıma Yöntemleri Sestek A.Ş., Ar-Ge Bölümü İTÜ Ayazağa Kampüsü, ARI-1 Teknopark Binası, İstanbul www.sestek.com.tr.

Benzer bir sunumlar


... konulu sunumlar: "Konuşma Terapisine Yönelik Otomatik Konuşma Tanıma Yöntemleri Sestek A.Ş., Ar-Ge Bölümü İTÜ Ayazağa Kampüsü, ARI-1 Teknopark Binası, İstanbul www.sestek.com.tr."— Sunum transkripti:

1 Konuşma Terapisine Yönelik Otomatik Konuşma Tanıma Yöntemleri Sestek A.Ş., Ar-Ge Bölümü İTÜ Ayazağa Kampüsü, ARI-1 Teknopark Binası, İstanbul Boğaziçi Üniversitesi, Elektrik-Elektronik Müh. Bölümü, Oytun TürkLevent M. Arslan 1

2 İÇERİK Konuşma İşleme ve Otomatik Konuşma TanımaKonuşma İşleme ve Otomatik Konuşma Tanıma Konuşma Bozuklukları ve Konuşma İşlemeKonuşma Bozuklukları ve Konuşma İşleme Konuşma Tanıma YöntemleriKonuşma Tanıma Yöntemleri  Yalıtılmış Fonem Tanıma  Türkçe Yalıtılmış Sözcük Tanıma  Birbirine Çok Yakın Türkçe Sözcüklerin Tanınması SonuçlarSonuçlar AMAÇ Türkçe konuşma terapisinde kullanılabilecek konuşma tanıma yöntemlerinin incelenmesi 2

3 KONUŞMA İŞLEME VE KONUŞMA TANIMA KonuşmaİşlemeKonuşmaSentezi KonuşmaTanıma AkustikAnaliz KonuşmaKodlama 3

4 KONUŞMA TERAPİSİ Teşhis: Tedavi:  Okuma testleri  Akustik ölçüm: f0, tilt, jitter, shimmer, harmonikler,...  Fiziksel muayene, işitme testleri,...  Fonemlerin seslendirilmesi  Hecelerin ve hece gruplarının seslendirilmesi  Sözcüklerin seslendirilmesi  Cümlelerin seslendirilmesi  Paragraf okuma çalışmaları  Görsel/İşitsel egzersizler 4

5 KONUŞMA TERAPİSİ VE KONUŞMA İŞLEME  Hızlı teşhis  Terapi sürecinin izlenmesi  Değerlendirmede nesnel ölçütlerin kullanılması  Yardımcı yazılım araçlarının geliştirilmesi  Kendi kendine test imkanı Yöntemler: Avantajlar:  Konuşma tanıma  Akustik analiz  Konuşma sentezi 5

6 Vurgu Sorunları KonuşmaTanıma SüreAnalizi VurguAnalizi Ses Kalitesi Analizi ArtikülasyonBozuklukları AkışKusurları AkustikAnaliz Bozuklukları Konuşma İşleme Konuşma Bozuklukları 6

7 İncelenen Konuşma Tanıma Yöntemleri Fonem Türü Fonem Çifti Örnek Diş-dudak ünsüzleri /f/-/v/ defa – deva Dil ucu-Dişeti ünsüzleri /s/-/z//t/-/d/ kas – kaz katı - kadı Dişeti-damak ünsüzleri /ş/-/j//c/-/ç/ beş – bej cam – çam Çift dudak ünsüzleri /p/-/b/ put – but Art damak ünsüzleri /k/-/g/ kar – gar Dişeti ünsüzü ve sert (ön) damak ünsüzü /r/-/y/ bir – biy Türkçe’de sıklıkla birbirine karıştırılan fonem çiftleri Üç problem: Yalıtılmış fonemlerin tanınması Sözcük listesinden tanıma Birbirine çok yakın sözcüklerin tanınması Yöntem: Saklı Markov Modelleri’ne (SMM) dayalı konuşma tanıma Mel frekansı kepstrum katsayıları, log enerji, ötümlülük olasılığı (P ö ), fark ve ivme parametreleri Enerji eşikleme tabanlı konuşma başlangıç/bitiş anı sezimi 7

8 Yalıtılmış Fonem Tanıma Ünlüler /a/, /e/, /ı/, /i/, /o/, /ö/, /u/, /ü/ Ünsüzler /f/, /j/, /s/, /ş/, /v/, /z/ Yalıtılmış fonem tanımada kullanılan fonemler Veritabanı: 14 fonem (x5), 16 KHz, ~2 s. 12 konuşmacı (4 bayan, 8 bay), yaş Çapraz-geçerleme: (11 kişi eğitim, 1 kişi test) x 12 8

9 Yalıtılmış Fonem Tanıma: Sonuçlar Fonem tanıma oranları (%) Ortalama: %84.9 (σ = 6.8) En düşük: /ı/ (%63.3) /u/ (%77.5) /u/ (%77.5) /ü/ (%79.6) /ü/ (%79.6) En çok hata: /ı/  /ö/ (%34.7) /o/  /u/ (%16.3) /o/  /u/ (%16.3) /u/  /o/ (%14.3) /u/  /o/ (%14.3) 9

10 Türkçe Yalıtılmış Sözcük Tanıma Veritabanı: Terapide kullanılan 126 sözcük, 16 KHz 11 konuşmacı (4 bayan, 7 bay), yaş Model: N+2 durumlu SMM (N = fonem sayısı) Her durum 2 bileşenli GKM MFKK + Log enerji + P ö + Fark parametreleri Çapraz-geçerleme: (10 kişi eğitim, 1 kişi test) x 11 Eğitim ve Test Tanıma Oranı Konuşmacı bağımsız %94.2 Konuşmacı bağımlı % Türkçe sözcük için tanıma oranları 10

11 Birbirine Çok Yakın Türkçe Sözcüklerin Tanınması Birbirine çok yakın sözcükler Veritabanı: 24 sözcük çifti (x5), 16 KHz 9 kişi (4 bayan, 5 bay), yaş Model: N+2 durumlu SMM Her durum 2 bileşenli GKM MFKK + Log en. + P ö + Fark Çapraz-geçerleme: (8 kişi eğitim, 1 kişi test) x 9 Konuşmacı bağımlı 11

12 Birbirine Çok Yakın Türkçe Sözcüklerin Tanınması Konuşmacı bağımlı tanıma oranları Eğitim ve Test Tanıma Oranı Konuşmacı bağımsız %80.3 Konuşmacı bağımlı %88.0 Ortalama tanıma oranları En az hata: /r/-/y/ (%1.7) /t/-/d/ (%2.5) /t/-/d/ (%2.5) En çok hata: /k/-/g/ (%25.0) /c/-/ç/ (%16.7) /c/-/ç/ (%16.7) 12

13 SONUÇLAR Konuşma terapisine yönelik konuşma tanıma yöntemleri için tanıma oranları (*) Birbirine çok yakın sözcükler /ı/-/ö/ için tanıma oranı düşük /ı/-/ö/ için tanıma oranı düşük Hastaya uyarlanabilir terapi yazılımı geliştiriliyor Hastaya uyarlanabilir terapi yazılımı geliştiriliyor Yöntemler terapiste yardımcı olabilecek Yöntemler terapiste yardımcı olabilecek 13

14 SESTEK YAZILIMLARI Ünlü Tanıma Terapist (Prototip) 14

15 KAYNAKÇA Disiplinlerarası ortak çalışma gerekli: Mühendislik, Tıp, Dilbilim, Psikoloji, Pedagoji,... Disiplinlerarası ortak çalışma gerekli: Mühendislik, Tıp, Dilbilim, Psikoloji, Pedagoji,... Türkçe fonetik – B.Ü. Dilbilim bölümüyle: Türkçe fonetik – B.Ü. Dilbilim bölümüyle: Türkçe için temel incelemelerin gerçekleştirilmesi: Türkçe için temel incelemelerin gerçekleştirilmesi: Türk, O., Şayli, Ö., Özsoy, S. ve Arslan, L., “Türkçe’de Ünlüler Formant Frekans İncelemesi”, 18. Ulusal Dilbilim Konferansı (Ankara, Mayıs 2004) Arısoy, E., Özsoy S., Arslan, L., Türk, O.,... “Acoustic Analysis of Turkish Sounds” ICTL 2004 (İzmir, Ağustos 2004) Türkçe terapi testleri tasarlanmalı: Artikülasyon testleri, akış testleri, vurgu testleri, ses kalitesi testleri,... Türkçe terapi testleri tasarlanmalı: Artikülasyon testleri, akış testleri, vurgu testleri, ses kalitesi testleri,... Türk, O. Ve Arslan, L., “Pronunciation Scoring for the Hearing-Impaired”, SPECOM (St. Petersburg, Rusya, Eylül 2004) TARTIŞMA [1] Russel, M., Brown, C., Skilling, A., Series, R., Wallace, J., Bonham, B. ve Barker, P., “Applications of Automatic Speech Recognition to Speech and Language Development in Young Children”, Proceedings of ICSLP 1996, Philedelphia, PA, ABD, 1996, sf [2] Neumeyer, L. F. H., Weintraub, M. ve Price, P., “Pronunciation Scoring of Foreign Language Student Speech”, Proceedings of ICSLP 1996, Philedelphia, PA, ABD, 1996, sf [3] Neumeyer, L. F. H., Digalakis, V. ve Weintraub, M., “Automatic scoring of pronunciation quality”, Speech Communication, 30 (2-3), sf , [4] Bunnell, H. T., Yarrington, D. M., ve Polikoff, J. B., “STAR: Articulation training for young children”, Proceedings of ICSLP 2000, c. 4, sf [5] Witt, S. M. ve Young, S. J., “Phone-level pronunciation scoring and assessment for interactive language learning”, Speech Communication, 30 (2- 3), sf , [6] Chanwoo K. C. ve Sung, W., “Implementation of an intonational quality assessment system”, Proceedings of ICSLP 2002, Denver, Colorado, ABD, c. 2, sf [7] Rabiner, L. R. ve Juang, B.-H., Fundamentals of Speech Recognition, Prentice-Hall, Inc., New Jersey, NJ, [8] Girgin, C., M., Türkçe konuşan doğal işitsel sözel yöntemle eğitim gören işitme engelli kız çocukların konuşma anlaşılırlığı ile süre ve perde özellikleri ilişkisi, Anadolu Üniversitesi Yayınları, No , Eğitim Fakültesi Yayınları, No. 63.,


"Konuşma Terapisine Yönelik Otomatik Konuşma Tanıma Yöntemleri Sestek A.Ş., Ar-Ge Bölümü İTÜ Ayazağa Kampüsü, ARI-1 Teknopark Binası, İstanbul www.sestek.com.tr." indir ppt

Benzer bir sunumlar


Google Reklamları