Beyin Bilgisayar Arayüzü İçin Zihinsel Durum Tahminleri Uğur Güven ADAR,Yeliz ŞENKAYA Atatürk Üniversitesi, Ordu Üniversitesi. 07.05.2019 BİLGİSAYAR DÜŞÜNCELERİNİZİ OKUYABİLİR Mİ?

BİLGİSAYAR DÜŞÜNCELERİNİZİ OKUYABİLİR Mİ?

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR «Beyin Bilgisayar Arayüzü, insanların motor sinir sistemlerini kullanmaksızın bir bilgisayarı, elektromekanik bir kolu ya da çeşitli nöroprotezleri kullanmalarını olanaklı hale getiren sistemlerdir.»

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR İnsan Beyninde milyonlarca sinir hücreleri vardır. Kafanın üzerine yerleştirilen elektrodlarla haberleşmeler hakkında bilgi sahibi olunabilir. Beynin istenilen bölümü hakkında bilgi sahibi oluna- bilir. Bu bölgeye yerleştirilen elektrodlarla istenilen bilgi elde edilebilir.

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Esas Olarak; Elektrotlardan gelen düşük genlikteki elektrofizyolojik sinyal bir yükselteç bloğuna gelir. Burada yükseltilen sinyaller ilgi alanında süzme işleminden geçirilir. Bu süzülen sinyallerden hangilerinin hangi anlama gelebileceği çıkartılarak, ne tip anlamlar içermiş oldukları çıkarımı yapılır. Gerekli çıkarımla sonucu oluşan özniteliklerin anlamlandırılması ardından gerekli kontrol komutları üretilir ve yapılması gereken işlem gerçekleştirilir.

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Çalışma Yöntemi; Verinin alınması, Magnetosefalogram Doğrudan Sinir Arayüzü Elektrosefalogram

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Verinin Alınması, a)Magnetosefalografi: «Nöronların ateşlemesi sonucunda oluşan manyetik alanı hesaplayan bir sistemdir.» Sistem kafaya yerleştirilen manyetik alıcılar ile çalışır. MEG EEG’ye göre daha doğru bir sistemdir.Zayıf alanı da ölçebilir. Fakat pahalı olmasından dolayı EEG tercih edilir. Pahalı olmasının sebebi alıcılarının helyum soğutmalı olmasıdır ve süperiletken mıknatıslar gerekir.

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Verinin Alınması, a)Magnetosefalografi: Bunun ötesinde bu alanı, manyetik alanından korumak gerekmektedir. Bu alan ayrıca mıknatıslanamadan uzak ve ses geçirmez olmalıdır. Bu durumlar harici bilgisayarın kesin sonuç vermesi mümkün değildir. BCI uygulamalarında kullanılımı oldukça düşüktür.

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Verinin Alınması, b)Doğrudan Sinir Arayüzü: «Bir dizi elektrodun harici bir cihaza bağlanmış haliyle,beynin dış derisi açılarak,beynin kendisine yerleştirilmiş yöntemdir.» Bunlar,onarılmış görüşler ve protezlerin bilgisayarı kontrolunde kullanılır. Bu sistem en iyi sonucu veren ve en iyi sistemdir. Fakat bu sistem de çok pahalıdır ve skar dokusunun(vücudun yabancı bir cisimle reaksiyonu) sinyali zayıflatmasına meyillidir.

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Verinin Alınması, b)Doğrudan Sinir Arayüzü:

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Verinin Alınması, EEG-Elektrosefalogram: «Beynin elektriksel aktivitesinin grafiksel kaydının elde edilmesine yarayan cihaz. » Genliği tepeden tepeye 1-400 µV kadardır. EEG işareti 0,5-100 Hz gibi geniş bir frekans bandına sahiptir.

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Verinin İşlenmesi, EEG-Elektrosefalogram: Klinik ve fizyolojik ilgi 0,5 ile 30 Hz arasında BCI testleri yapılmaktadır. 4 farklı frekans bandına ayrılmıştır. Alfa Beta Delta Teta

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Verinin İşlenmesi, 1-EEG-Elektrosefalogram: 1.Delta Dalgaları (δ):Frekans aralığı 0,5-4 Hz , genliği 4-100µV arasında değişir 2.Teta Dalgaları (θ):Frekans aralığı 4-8 Hz , genliği 5-100 µV arasında değişir. 3.Alfa Dalgaları (α):Frekans aralığı 8-13 Hz, genlik 2-10 µV arasında değişir. 4.Beta Dalgaları (β) :Frekansları 13 Hz’den fazla olan işaretlerdir. Genlikleri 1-5 µV arasında değişir.

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Verinin İşlenmesi, 2-Ön İşleme: İşaretin hangi sınıfa ait olduğuna karar verebilmek için öncelikle eğitim verileri üzerinde inceleme yapılır. Elektrosefalogram işaretlerinden öznitelikler (attributes) çıkarılır. İşaret“gürültü” olarak adlandırılan bozucu kaynakları da bulundurur.

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Verinin İşlenmesi, 2-Ön İşleme: Gürültü Kavramı: İşaretlerin genlikleri çok düşük miktardadır. Ölçüm yaparken ışığın açık kapalı olması ,kişinin dikkatinin dağılması,gözünü kırpması,kalp atışları gibi aktivitelerden çok kolay etkilenebilmektedirler. En yaygın olarak kullanılan bağımsız bileşen analizi ve filtreleme(lineer ve lineer olmayan) Dalgacık dönüşümü, temel bileşenler analizi, kaynak dipol analizleri gibi teknikler vardır. Gürültü gidermede kullanılan basit yöntemin içeriği ise yapay kaynak ile 3 gürültü kaynağını bir matriste karıştırmak ve yeni yapay EEG sonuçları almaya dayanır.

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Verinin İşlenmesi, 3.Öznitelik Çıkarma: «EEG işaretlerinin önemli özelliklerinin çıkarıldığı öznitelik vektörünün elde edilmesi işlemidir.» *Genellikle BCI’da çoklu elektrot kullanılır. *Beynin farklı bölgelerinin farklı işler görmesi. *Yapmak istediğimiz BCI’nin hangi amaca göre çıkarım yapılacağı burada ayrılır. *Bir sonraki basamak için çıkartılacak en iyi öznitelik bulunur.

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Verinin İşlenmesi, 3.Öznitelik Çıkarma: BCI çıkış komutu üretmek için gerekli olan özellikler; 8-12Hz ve ya 18-26Hz yüksek beta genlikleri vardır. P300 ve Yavaş kortikal potansiyeller İzgel Güç yoğunluğu (power spectral density) Zaman domeni dalga formları parametreleri bulunmaktadır.

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Verinin İşlenmesi, 3.Öznitelik Çıkarma: P300 nedir? «P300 dalgası,karar verme sürecinde ortaya çıkan bir olay ilişkili potansiyel bileşeni-genliğidir.» Bu durum,bir fiziksel uyaran sonucu,kişinin reaksiyonlarından meydana gelen bağlantılar ve dalgalardır.P300 uyaranı değerlendirme sınıflandırma olarak düşünülmüştür. Not:P300 harici P200 genlikleri de mevcuttur.

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Verinin İşlenmesi, 3.Öznitelik Çıkarma: İzgel Güç yoğunluğu (power spectral density): «İstatistiksel sinyal işleme olarak da bilinir,deterministik bir fonksiyon ile bir frekans güç değişkeninin Hertz başına enerji boyutları vardır.Fourier çevrimi de kullanılır.Plancherel teoremi de kullanılması sonucu elde edilebilir.Bu işlemler sonucunda zaman serisi güç frekansını verir.»

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Verinin İşlenmesi, 3.Öznitelik Çıkarma: Yavaş Kortikal Potansiyelleri «Yavaş kortikal potansiyeller, (EEG) veya (MEG) manyetik alan değişikliklerinde, 300ms ile birkaç saniye süren Negatif veya pozitif kutuplaşmalardır.» Tüm bu verilerden hareketle bir karşılaştırma işlemi yapılır. Bu işlemlerde esas Eğitim verileridir. Burada YKP’ların kullanılıp kullanılamayacağı hakkında bilgi sahibi olunur. Frekans domeni de önemlidir.

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Verinin İşlenmesi, 4.Sınıflandırma: Sınıflandırma işlemi,farklı düşünsel ve görsel durumlara göre kaydedilen öznitelik vektörlerinin önceki süzgeçlerden geçerek,sınıflandırılması en son işlemdir. En Çok Kullanılanları; *Destek Vektör Makineleri(Support Vector Machines)dır.Bunun yanında çeşitli yöntemlerde(k’ya en yakın komşuluk vs.) kullanılmaktadır. K’ya en yakın komşuluk: «KNN algoritması sorgu vektörünün en yakın k komşuluktaki vektör ile sınıflandırılmasının bir sonucu olan denetlemeli, oldukça basit bir öğrenme algoritmasıdır.»

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Verinin İşlenmesi, 4.Sınıflandırma: Destek Vektör Makineleri: Sınıflandırma (Classification) konusunda kullanılan oldukça etkili ve basit yöntemlerden birisidir. Sınıflandırma için bir düzlemde bulunan iki grup arasında bir sınır çizilerek iki grubu ayırmak mümkündür. Bu sınırın çizileceği yer ise iki grubun da üyelerine en uzak olan yer olmalıdır İşte DVM bu sınırın nasıl çizileceğini belirler.

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Verinin İşlenmesi, 4.Sınıflandırma: Destek Vektör Makineleri: Hem doğrusal olarak ayırt edilebilen hem de edilemeyen veri kümesini sınıflandırabilir Doğrusal olmayan bir eşlem ile n boyutlu veri kümesi m > n olacak şekilde m boyutlu yeni bir veri kümesine dönüştürülür Yüksek boyutta doğrusal sınıflandırma işlemi yapılır Uygun bir dönüşüm ile her zaman veri bir hiper düzlem ile iki sınıfa ayrılabilir Hiper düzleme en yakın öğrenme verileri destek vektörleri olarak adlandırılır.

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Analizdeki Teknik Zorluklar: ÇOK SENSÖRLÜ BEYİN VERİSİNİN ANALİZİNDEKİ TEKNİK ZORLUKLAR: Çok giriş-çok değişken. Çok değişken çok sınıf Çok sınıf=veritabanı Aşırı Yüklenme?

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Analizdeki Teknik Zorluklar: Çözüm: *Kullanışlı özelliklerin veri boyunca küçültülmesi. *Özellik açma tekniği ve Diskriminant analizi de bir çözüm olarak görülür. Özelliklerin Açılması BCI uygulamalarının geçici ve uzamsal olarak ayrılması(öznitelik) EEG verisi ve Laplacian filtresinden geçmelidir. Bundan sonraki durumlarda öznitelik vektörünün oluşumundaki veri boyutunun azaltılması ve gürültülerden tamamen arındırılması sonucu elde edilebilir.

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Sonuç: BCI sistemleri hala gelişmekte olan sistemler olup,geleceğin teknolojisi olarak görülmektedir.Bu sistemler,oldukça popüler bir araştırma kısmı olup dünyada yüzlerce araştırma yapılmaktadır.Bu araştırmalar sonucunda dünyadaki engelli,felçli insanlara,bir uzvunu kaybetmiş savaş mağduru kişilere bir çözüm olabilecektir.

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR İleri Çalışmalar: Genel olarak, EEG’nin kullanım alanı, uzuvlarını kaybetmiş kişileri amaçlasa da, farklı sosyal alanlarda da kullabilmesi düşünülmektedir; Bunlardan, günümüzde henüz yaygınlaşmamış Google Glass’ın beyin sinyalleriyle kontrol edilmesi(veya benzeri bir geliştirme yapılması), Düşüncelerin sözcüklere aktarılıp, bilgisayara aktarılması, Sadece beyin sinyallerinin kullanılması ile, bir hamam böceğinin kullanılması, gibi düşünceler çoğaltılabilmesidir.

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR EPOCH ve EEG

Beyin Bilgisayar Arayüzü SONUÇ VE İLERİ ÇALIŞMALAR NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Roboroach

Teşekkürler.