Güvenlik Görevlileri İçin Bulut Bilişim Destekli, Ses Arayüzü İle Çalışan Sorgulama Sistemi Yaşar YAŞA.

... konulu sunumlar: "Güvenlik Görevlileri İçin Bulut Bilişim Destekli, Ses Arayüzü İle Çalışan Sorgulama Sistemi Yaşar YAŞA."— Sunum transkripti:

1 Güvenlik Görevlileri İçin Bulut Bilişim Destekli, Ses Arayüzü İle Çalışan Sorgulama Sistemi
Yaşar YAŞA

2 İçerik Problem Tanımı Çalışmanın Amacı Yapılan Çalışma Sonuç Demo
Kullanılan Araçlar Uygulama Tasarımı Gerçekleme Sonuç Demo Kaynaklar

3 Problem Tanımı Var olan el teminalleri ile yapılan sorgulamalar sırasında, kullanıcının ellerinin ve gözlerinin cihaza bağımlı kalması Sorgulamalar genellikle ikinci kişi tarafından gerçekleştiriliyor Eğer ikinci kişi yoksa, eller gözler bağımlı hale geldiği için, görevli için tehlikeli durum ortaya çıkmaktadır

4 Çalışmanın Amacı Amaç Güvenlik güçlerinin T.C. kimlik no ve plaka sorgulamaları için kullandıkları el terminalleri yerine, elleri ve gözleri bağımlı olmadan kullanabilecekleri ses arayüzü ile çalışan yeni bir uygulama geliştirilmesi.

5 Android İşletim Sistemi Android Speech API
Geliştirme Araçları Android İşletim Sistemi Açık kaynak kodlu sistem Android Speech API Android üzerinde arayüzler bulunuyor Açık kaynak kodlu diğer kütüphaneler Tartuga vb. Restful Web Service Kişisel sunucu ile iletişim için PHP (Server tarafı)

6 Uygulama Mimarisi

7 Ses Komutlarının Belirlenmesi
Ses arayüzü ile geliştirilen uygulamalar için komutların seçimi çok önemlidir Komutların seçiminde insan-bilgisayar etkileşimi açısından önemli olan konular Komutların günlük konuşma diline en yakın kelimelerden seçilmesi, kullanıcılar için daha akılda kalıcı olacaktır Komutların sesteş olmayan kelimelerden seçilmesi, ses algılayıcılar için ses komutunun algılanması daha kolay olacaktır

8 Menü Hiyerarşisinin Belirlenmesi
Menünün adımlarında kullanılacak komutların belirlenmesi Menü adımları arasında aynı adıma veya geri gelebilme özelliğinin belirlenmesi Kullanıcıdan alınan girdilere karşın verilecek yanıtların belirlenmesi Onay adımları ve işlemi iptal etme adımları

9 Komutların Algılanması ve Çıktı Üretilmesi
Android Speech Recognition Android ortamında Speech Recognition özelliği ile ses girdileri metine çevrilir Metne çevrilen girdiler içinde komutların algılanması Android Text-To-Speech Kullanıcıya ses çıktısı vermek için Anroid TTS API’nin kullanılması Robotik çıktı veriyor Türkçe desteği yok, çevrimdışı çalışmıyor Alternatif çözümler, SVOX gibi.

10 Komutların Algılanması ve Çıktı Üretilmesi devam
Algılanan metin içinde komut kelimelerinin aranması Word Spotting algoritması ile cümle içinde kelimeler tek tek bakılır Kelimeleri anlamsal olarak çözümleyemez, negatif komutları algılayamaz Kelimenin kökünün alınması Tartugas kütüphanesi ile kelimenin kökü alınır Her bir kelimenin köküne göre komut algılamak kullanılabilirliği arttırdı

11 Uygulamanın İçerik Akış Mimarisi

12 Kullanıcıya çıktı üretilmesi
Android TTS API ile çıktı üretilmesi Android API’nin robotik ses çıktısı SVOX Türkçe desteği ile robotik sesten Kullanıcıya geri bildirim Ses arayüzünde komutlar kalıcı değil, kullanıcıya destek amaçlı geri bildirim Onay mekanizması ile girdinin yanlış algılanma hatası ile yanlış sorgulamanın önüne geçilmesi Yanlış algılamalar sonucunda tekrar başa dönmek yerine aynı işlemin yapılabilmesi

13 Multi-turn İşlem Özelliği
Android Speech Recognition tek yönlüdür Sesten metin çevirisi veya metinden ses çevirisi bir defa yapılır ve işlemi biter Uygulama karmaşık olduğu için tekrar tekrar girdi alınması veya çıktı üretilmesi gerekli Çok yönlü girdi alınması ve çıktı üretilmesi için alt yapı hazırlandı Her bir komut menüsü tekrar tekrar işletilebilir

14 Ses Algılama İşleminde Oluşacak Hataların Bildirilmesi
Kullanıcıdan alınan komut girdisi bulunamayabilir veya ses girdisi hiç algılanamayabilir Algılanamayan ses girdisi için kullanıcıya farklı mesaj çıkartılır(“iyi duyamadım gibi”) Kullanıcıdan alınan ses girdisinde komutların hiç biri bulunamayabilir

15 Uygulama Aktifleştiriciler
Uygulamanın tamamen eller ve gözlerden bağımsız hale gelmesi amaçlanıyor Uygulamanın kullanıcıdan kimlik no veya plaka girdisi alması için aktif hale getirilmelidir Ses girdisi aktifleştiricisi, kullanıcıyı devamlı olarak dinler ve “ASİSTAN” komutunu duyduğu anda uygulamayı aktif hale getirir Hareket aktifleştiricisi, sensörler sayesinde cihazın hareket ettiği algılandığı zaman uygulamayı aktif hale getirir

16 Sonuç

17 Kaynaklar A Voice-based Mobile Prescription Application for Healthcare Services (VBMOPA). Görme özürlülere yönelik GPS tabanlı navigasyon sistemlerinin gelişimi üzerine bir inceleme. 2009 Beyin bilgisayar arayüzleri için Türkçe metinden konuşma sentezleme sistemi. Elektrik-Elektronik ve Bilgisayar Sempozyumu 2011 Bir eğitim kurumu için etkileşimli sesli yanıt sistemi. TOJET Nisan 2004 A voice Direction interface to a giving program. Ocak 1987 Ses Komut Tanıma ile Gezgin Araç Kontrolü. Akademik Bilişim 2007 Intelligent Voice User Interface to enhance the efficiency and reliability of Air Traffic Controllers. Nisan 2002 Handheld Project54 speech user interface. Eylül 2005 Mobile Phones Interaction Techniques for Second Economy People. Aralık 2010 Engelliler için çok-kipli bilgi terminali. 2010 Engellilerin internete erişimi üzerine. 2000

18 TEŞEKKÜRLER