SES KOMUT TANIMA İLE GEZGİN ARAÇ KONTROLÜ

... konulu sunumlar: "SES KOMUT TANIMA İLE GEZGİN ARAÇ KONTROLÜ"— Sunum transkripti:

1 SES KOMUT TANIMA İLE GEZGİN ARAÇ KONTROLÜ
Rifat EDİZKAN* , Burak TİRYAKİ*,Tunç Büyükcan* ve İsmail UZUN** (*) Eskişehir Osmangazi Üniversitesi, Elektrik Elektronik Mühendisliği Bölümü, 26480, ESKİŞEHİR (**) EKOM İletişim Teknolojileri, TÜBİTAK-MAM Teknoloji Serbest Bölgesi, 41470, Gebze, Kocaeli.

2 Bu çalışmada ses komut tanıma ile gezgin araç kontrolü yapılmıştır.
Ses tanıma yöntemi olarak Ortak Vektör Yaklaşımı (OVY) kullanılmaktadır. Kişiye bağımlı ses tanıma yapılmıştır. Veri tabanı oluşturma, kişiye bağımlı eğitim ve gezgin araç kontrolü MATLAB GUI ile yapılmaktadır. Gezgin araç kontrolünde “ileri”, “geri”, “sağa dön”, “sola dön” ve “dur” komutları kullanılmaktadır.

3 KULLANIM ALANLARI VE UYGULAMALARI
Ses tanıma sistemleri günlük hayatımızda birçok alanda kullanılmaya başlamıştır. Ev, otomobil, hastane ve fabrika gibi çalışma ortamlarında ses tanıma ve sesle kontrol uygulamalarını görmekteyiz. Telefon Bankacılığı Klima kontrolü Cd çalar kontrolü Hasta yatakları için pozisyon kontrolü Uzaktan bilgisayar kontrolü

4 SES KOMUT TANIMA SİSTEMİ

5 Uç Nokta Belirleme Uç nokta belirlemede ses sinyalinin enerji ve sıfır geçişlerinden elde edilen eşik değerleri kullanılmaktadır.

6 Öznitelik Çıkartma Örnekleme frekansı: 8kHz
Uç noktaları belirlenen ses örneklerine önvurgulama yapılmaktadır. Daha sonra ses örnekleri 32 ms’lik (256 örnek) çerçevelere ayrılarak çerçeveler üzerine Hamming pencereleme uygulanmıştır. Çerçeveler arasındaki örtüşme 8 milisaniyedir (64 örnek). Öznitelik olarak 12 MFCC katsayısı kullanılmıştır. Bu katsayılardan ilki , logaritmik çerçeve enerjisini vermektedir. Bir ses kaydına ait öznitelik vektörü, MFCC katsayıları arka arkaya eklenerek elde edilmektedir.

7 Ortak Vektör Yaklaşımı (OVY)
OVY bir alt uzay sınıflama yöntemidir. Bu yöntemle sınıfa ait değişmeyen özellikleri taşıyan ortak vektör elde edilir. OVY hem yeterli veri durumu (m>=n), hem de yetersiz veri durumları (m<n) için uygulanabilir. m: vektör sayısını n: vektördeki eleman sayısı

8 Ortak Değişinti Matrisi
Yetersiz Veri Durumu (m<n) Ortak Değişinti Matrisi Fark Altuzayı Farksızlık Altuzayı Farksızlık altuzay izdüşüm matrisi

9 Ortak Vektör Karar Kuralı

10 Gezgin Araç Kontrolü MATLAB GUI Sayısal Giriş/Çıkış RF Verici ve Alıcı

11 MATLAB GUI Veri tabanı oluşturma Eğitim Araç Kontrolü Elle Sesle

12 MATLAB GUI Kaydedilen seslerin dalga şekillerinin ve gerekli resimlerin gösterildiği grafik alan. Elle kontrolün yapılabilmesini sağlayan butonlar. Elle kontrolü seçmek için kontrol kutusu. ‘Sesle Kontrol’ kontrol kutusu seçilerek ses kayıtları alınabilir veya sesle aracı kontrol yapılabilir. Gerekli olan ses kayıtları alındıktan sonra ‘Eğitim’ kutusu işaretlenerek eğitim için gerekli olan işlemlerin yapılması beklenir. ‘Veri Tabanı’ her kelime ve ortam gürültüsü için 10 ses kaydı alabilmemizi sağlar. Pop-up menü 5 kelime ve gürültü seçeneklerini içermektedir. Seçim yapılarak ses kaydı yapılır ve veri tabanı oluşturulur.

13 Veri Tabanı Oluşturma

14 Veri Tabanı Oluşturma

15 EĞİTİM Ortam gürültüsü kayıtlarından ortalama enerji ve sıfır geçiş eşik değerleri bulunur. Veri tabanındaki ses kayıtlarının uç noktaları bulunarak MFCC parametreleri hesaplanır. Bu parametreler arka arkaya eklenerek öznitelik vektörü elde edilir. Her kelime için ortak vektör ve izdüşüm matrisi bulunur.

16

17 Sesle Araç Kontrolü

18 Elle Araç Kontrolü

19 Sayısal Giriş/Çıkış Sayısal G/Ç olarak Advantech PCL-818HG kartı kullanılmıştır. Bu kart, gezgin aracın uzaktan kontrolü için gerekli olan sayısal çıkışları üretir.

20

21 RF Verici ve Alıcı Gezgin Aracın alıcı ve verici sisteminde, oyuncak arabaların kumandasında kullanılan alıcı ve verici (RX-2B ve TX-2B) entegreleri kullanılmıştır.

22 Sayısal Giriş/Çıkış Kartı ile RF Verici Arasındaki Bağlantı

23 SONUÇ Bu çalışmada ses komut tanıma sistemi OVY ile gerçeklenmiş ve gezgin araç kontrolü yapılmıştır. Kişiye bağımlı tanıma için sistemin başarımı beklenildiği gibi %100 olarak elde edilmiştir. MATLAB ortamında hazırlanan GUI, ses komut tanıma sisteminin geliştirilmesi için uygun bir ortam sağlamaktadır. Bu GUI ile ses tanıma yönteminin de seçilmesi sağlanabilir. Bu şekilde farklı yöntemlerle ses komut tanıma uygulaması yapılabilir.

24 TEŞEKKÜR EDERİZ…