Kobay Sıçan Davranışlarının RGB-D Kamera Yardımıyla Otomatik İzlenmesi

... konulu sunumlar: "Kobay Sıçan Davranışlarının RGB-D Kamera Yardımıyla Otomatik İzlenmesi"— Sunum transkripti:

1 Kobay Sıçan Davranışlarının RGB-D Kamera Yardımıyla Otomatik İzlenmesi
İsmet BURAK KADRON, ÇAĞRI SOFUOĞLU, ALBERT ALİ SALAH BOĞAZİÇİ üNİVERSİTESİ 17. AkademİK BİLİŞİM KONFERANSI

2 Kobay Sıçan Deneyleri Amacı kobayın davranışlarını ölçmektir.
Uyarıcı etkenler deneyden önce ya da deney sırasında uygulanabilir. Örnekler: Işık spektrumunun kobayın psikolojisine etkisi Gün döngüsünün değişiminin kobayın uyku düzenine etkisi Hayvan davranışı inceleme deneyi hayvanların davranışlarının incelenip farklı koşullarda nasıl değiştiğini anlamak için yapılan deneylerdir. Sıçanların okşanması/mavi ışık etkisinde suda çırpınma deneyi – depresyon Gün döngüsünün kısalıp uzaması – uyku düzeninin adapte olma süreci, davranış değişiklikleri

3 Deney Otomasyon Sistemleri
Kobay hayvan davranışı inceleme deneylerinde deney otomasyon sistemleri elle ya da yarı otomatik metodlara göre güvenilirlik sağlamaktadır. Ancak ticari deney otomasyon sistemleri her ışık koşulunda güvenli veriler sağlayamamaktadır. Amacımız davranış araştırmacılarına kobay sıçan deneylerinde kullanılabilecek, her ışık koşulunda çalışabilen, güvenilir raporlar sunan bir cisim izleme aracı sağlamaktır. Hayvan davranışı inceleme deneyi hayvanların davranışlarının incelenip farklı koşullarda nasıl değiştiğini anlamak için yapılan deneylerdir. Bu deneylerde deney otomasyon sistemleri elle ya da yarı otomatik metodlara göre güvenilirlik sağlamaktadır. Ancak EthoVision gibi ticari deney otomasyon sistemleri her ışık koşulunda (örneğin karanlıkta) çalışamamaktadır. Amacımız davranış araştırmacılarına kobay sıçan deneylerinde kullanılabilecek, her ışık koşulunda çalışabilen, güvenilir raporlar sunan bir cisim izleme aracı sunmaktır.

4 Kobay Deneyleri Kobay deneyleri çoğunlukla elle veya yarı otomatik yapılmaktadır. Cisim izleme yöntemleri ile deney otomasyonunun avantajları: Çok yavaş ya da çok hızlı davranışları algılayabilir. Durmaksızın çalışabileceği için ölçümlerin güvenilirliği artar. Uzamsal değerler (uzaklık, hız, açı, vb.) daha güvenilir bir biçimde ölçülür. Kobay deneyleri çoğunlukla elle veya yarı otomatik yapılmaktadır. Bu tür deneylerde araştırmacı kobayı gözlemler, kobayın davranışında dikkat çekici bir durumda olayı elle ya da kayıt sistemine işleyerek kaydeder. Çok kısa sürede olan biten ve izleyicinin yakalayamayacağı, veya çok uzun sürelerde gerçekleştiği için toplanması zor olan davranışları tanımlama ve kaydetme konusunda elle kayıta göre daha uygundur. İnsanlar gibi yorulmayacağı veya dikkati dağılmayacağı için 24 saat çalışabilir. Uzaklık, hız, açı gibi uzamsal değerler deney sürerken insanlar tarafından güvenilir bir biçimde ölçülemeyeceği için elle deneylere göre daha güvenilir sonuçlar sunan bir alternatif sağlar.

5 Farklı Işık Koşulları için Alternatif Algılayıcılar
RGB-D Kameralar Normal 3 renkli görüntü yanında piksel başına derinlik bilgisi sağlar. Kinect gibi yaygın ve ucuz örnekler Termal kameralar Her piksel için sıcaklık bilgisi sağlar. Elde etmesi zor ve pahalı Amacımız farklı ışık koşullarında, karanlıkta bile güvenilir bilgi alabilmek olduğundan sıradan RGB kameralar yetersiz kalmaktadır. Karanlıkta veri sağlayabilecek kameralar RGB-D kameralar ve Termal kameralardır. RGB-D Kameralar, cisimlerin üzerine kızılötesi ışık örüntüleri yansıtır ve kızılötesi algılayıcılar ile bozulan örüntülerden derinlik verisini çıkarır. Termal kameralar ise sıcak objelerin yaydığı kızılötesi radyasyonu algılayıp buna göre sıcaklık verisini çıkarır. Kinect gibi RGB-D örnekleri 100 dolara yakınken ve Türkiye’de kolayca bulunabilirken termal kameralar 1000 dolardan başlıyor ve yurtdışından getirme zorluklarını da karşılamak gerekiyordu. Bu sebeplerden dolayı projemizde RGB-D kameraları tercih ettik.

6 Sistem Modeli En fazla 4 adet kafesi 1 m yukarıdan bakan bir RGB-D kamera ile izlemekteyiz. Kafesler en fazla bir kobay sıçan barındırır. Her ışıklandırma koşulunda aynı çalışması için sadece derinlik verisi kullanılır. Sistemde 50cm x 100cm boyutlarında yan yana yerleştirilmiş kafesler (toplam 4 adet), yaklaşık 1-1,5m yukarıdan bakan bir RGB-D kamera ile izlenmektedir. Her kafeste en fazla bir kobay olmalıdır. Sonuçların ışıklandırma koşuluna göre değişmemesi için incelenen verinin de aynı olması gerekmektedir. Derinlik verisi her koşulda aynı keskinlikte görüntü sağladığı için sistemimizde sadece onu kullanmayı seçtik. Örnek kobay kafesi

7 Cisim İzleme Amacı: hedef objeleri video çerçeveleri arasında takip etmek Kullanımı zorlaştırabilecek sebepler: Resimdeki gürültü Birbirinin önünü kapatan cisimler 3 boyutlu dünyanın 2 boyutlu izdüşümünde kaybedilen bilgi Gerçek zamanlı izleme gereklilikleri Cisim izleme kobayları izlemek için kullanabileceğimiz, bilgisayarla görü alanının uygulamalarından biridir. Cisim izlemenin üç kilit adımı vardır; İlgili cismin tespiti, Çerçeveden çerçeveye cismin takibi, davranışları anlamak için güzergahlarının çözümlenmesi Bunları zorlaştıran sebepler de: Resimdeki gürültü objelerin tam boyutunun algılanmasını zorlaştırabilir ve yanlış ölçümlere sebep olabilir. Öndeki cisim arkadaki cismi kapatırsa cisim ortadan kaybolacağından cismin son konumunu hatırlamak ya da deney düzeneğini engelsiz kurmak gerekebilir. Video görüntüsü iki boyutlu olduğundan zıplama gibi daha karmaşık hareketler cismin yanlış algılanmasına sebep olabilir. Cismi gerçek zamanlı izlemek gerekiyorsa cismi ms gibi kısa sürelerde bulmak gerektiğinden hızlı ve verimli çalışan algoritmalar kullanmak gerekebilir.

8 Derinlik Verisi ile Cisim İzleme
RGB-D kamera ile elde edilen ham derinlik verisinin kirli olduğu için ya da görüntüdeki başka cisimlerden dolayı işlenmesi gerekir. 3 adımdan oluşur: Arkaplan Çıkarma İmge Bölmesi Bulma İstatistik Toplama ve İşleme

9 Arkaplan Çıkarma Kobayları diğer nesnelerden (kafesin kenarları, su şişesi, vs.) ayırmak için kullanılır. Belli bir derinlik aralığının üstü ve altı yok sayılır. Doğru şekilde ayarlanırsa işlenmiş derinlik verisi sadece kobayları içerir. Bu teknikte kobay diğer nesnelerden ayrılır ve derinlik verisindeki kobay izlenebilecek bir duruma gelir. Bunun için belli bir derinlik aralığının üstü ve altı veriden çıkarılır. Böylece daha uzak (kahverengi ya da gri) veya daha yakın (kafesin kenarları) olan objeler kaldırılmış, sadece kobay görüntüde kalmıştır.

10 İmge bölmelerinin belirlenmesi
İmge Bölmesi Bulma Çevrit bulma yöntemleri kullanılarak derinlik verisindeki objeler tespit edilir. Bulunduğunu göstermek ve daha kolay temsil etmek için üstüne bir dikdörtgen yerleştirilir. Sisteme çevritlerin büyüklük ve küçüklük limitleri girilerek aşırı küçük ama hala görüntüde olan nesnelerin de yok sayılması sağlanır. İmge bölmelerinin belirlenmesi

11 İstatistik Toplama ve İşleme
Cisimlerin her çerçevedeki konumları kullanılarak hareket vektörleri bulunur. Kinect kütüphaneleri yardımıyla derinlik verisi ile iki nokta arasındaki mesafe bulunur. Sonuçlar Excel gibi hesap çizelgesi programlarıyla ya da metin düzenleyici programlar ile açılıp üzerinde işlem yapılabilir. Konum verisi için cisimleri temsil eden dikdörtgenlerin merkezi kullanılır.

12 İstatistik Toplama ve İşleme
Sistemimizin sunabildiği veriler: Konum ortalaması Konum standart sapması Konum geçmişi Kobayın aktif/pasif olduğu zamanlar Belli bir süre arasında cismin ne kadar mesafe kat ettiği belirlenebilmektedir. Bu mesafe kullanıcının belirlediği bir eşiği geçerse o süre arasında kobayın aktif olduğu istatistiklere kaydedilir. Böylece kobayın ne zaman uyanık ve aktif, ne zaman dinleniyor ve pasif olduğu görülebilmektedir. 2 kafesli örnek bir deney kurulumu

13 Sonuç Bu çalışmada farklı ışık koşullarında yapılacak deneyler için RGB-D kamera bazlı bir deney otomasyonu sistemi sunulmuştur. Sistem elle yapılamayan hassaslıkta ve nicellikte deneyler yapma olanağı sağlar.

14 Gelecek Çalışmalar Arkaplan Çıkarma için Otomatik Kalibrasyon
Deney Taslakları ve Farklı Deney Tipleri Sistem Yükü Azaltması Arkaplan çıkarma yöntemi elle yapıldığından deneme yanılma yöntemi her zaman aynı konfigürasyonu sağlamayabilir. İleride kobayın ve kafesin boyutları, kafesin kameraya olan uzaklığı girilerek sadece bu ölçümlere bağlı bir kobay bulunma sistemi geliştirilebilir. Şu anda sistemimiz gece-gündüz koşullarında kobayların incelenmesini desteklemektedir. Gelecekte kobayın gebelik süresinin uyarıcı etkenlere etkisi ve gebelik süresini sonlandırmak için doğum tespiti gibi deney örnekleri eklenebilir. Bu durumda yavru çığlıklarını algılamak için mikrofon ya da yavruları görmek için yüksek çözünürlüklü RGB-D kameralara ihtiyaç olacaktır. Şu anda sistem üzerinde çalıştığı bilgisayar üzerinde hatırı sayılır bir yük oluşturmaktadır. Bu yükün en büyük kısmı saniyede 30 çerçeve videoda tüm kapalı çevritlerin bulunup tanımlanması ve videoya kaydedilmesi zorluğudur. Bütün bu işlemlerin yapılabilmesi ve verilerin kaydedilmesi için yaklaşık 33 ms vardır. Bu da sistem kaynakları üzerinde yük oluşturmaktadır. İleride çevrit algoritmamızı iyileştirebilir veya yavaş çalışan algoritmalar C gibi hızlı bir dil ile yeniden yazılabilir.

15 Boğaziçi Üniversitesi
Teşekkürler İsmet Burak Kadron Boğaziçi Üniversitesi