SİNİRBİLİME MERAKLI MÜHENDİSLER Bugüne kadar ne yaptık ve bundan sonra ne yapmayı düşünüyoruz? SELİN METİN & NESLİHAN S. ŞENGÖR

Davranışlara ilişkin farklı hipotezleri sınamak için AMACIMIZ Davranışlarımızın ardındaki oluşumları ve mekanizmaları sinirbilimdeki açıklamalar çerçevesinde incelemek, anlamak. Davranışlara ilişkin farklı hipotezleri sınamak için farklı seviyelerdeki süreçlere ilişkin modeller elde etmek. Modeller aracılığı ile süreçlere ilişkin test ortamı oluşturmak, yapay zeka uygulamalarına yönelik yeni yaklaşımlar önermek. Burada incelemek anlamak derken bunu matematiksel modeller aracılığı ile yapacağımızı ve elde edilen modellerin matematiksel modeller olacağını vurgulamal gerek. Zaten ancak boylesı matematiksel modeller aracılığı ile inceleme yapmanın mumkun olacağı belirtilmeli.

BUGÜNE KADAR NELER YAPTIK? Araç: Yapay Sinir Ağları Yaklaşım: Deneklerin nöropsikolojik testler süresince davranışlarını modellemek Wisconsin Kart Sıralama Testi Stroop Testi MAVİ YEŞİL KIRMIZI SARI YEŞİL MAVİ SARI KIRMIZI SARI KIRMIZI YEŞİL MAVİ KIRMIZI YEŞİL MAVİ SARI MAVİ SARI KIRMIZI YEŞİL YEŞİL MAVİ SARI KIRMIZI

Wisconsin Kart Sıralama Testi • soyutlama, • hipotez sınama, • zihinsel esneklik. Referans kartlar

WCST-Testin Değerlendirilmesi • Doğru yanıtlar • Tamamlanan kategoriler • Perseveratif (ısrarcı) yanıtlar • Kurulumu sürdürmede başarısızlık (FMS) WCST- önerilen model • Kuralın belirlenmesi Sınıflama kuralını belirlemek Uygulayıcının yanıtı “doğru” ise kuralı tutmak, “yanlış” ise kuralı değiştirmek • Kart Seçimi Sınıflama kuralına uygun referans kartı belirlemek

Referans Kartlar Kart belirleme Çalışma belleği Bir önceki kuralı tutmak veya yeni kuralı belirlemek için uygulayıcının yanıtını tutmak Rule Specifier Hipotez üreteci Uygulayıcının yanıtı”yanlış” ise alternatif kural üretme ve çalışma belleğine sunma Hypothesis Generator

Kırmızı:[1000] Üçgen:[1000] 1:[1000] Kartların kodlanması Renk Şekil Sayı Kırmızı:[1000] Üçgen:[1000] 1:[1000] Sarı :[0100] Yıldız :[0100] 2:[0100] Mavi :[0010] Artı :[0010] 3:[0010] Yeşil :[0001] Daire :[0001] 4:[0001] renk şekil sayı

Benzetim Sonuçları Koşul Ham. uzak Hop. eşik #Doğru cevap #Kategori % Pers. hata FMS Yorum 1 3 T 64.6  3.5 6.0  0 9.9  2.8 0  0 Esnek 4 3-2 64  1.8 6.0  0 9.5  2.1 7 2 67.6  3.7 14.2  4.6 Az Esnek 10 2-1 70.7  5.5 17.9  3.7 T1 73.7  6.1 1.1  0.5 19.7  2.9 3.2  1.6 Zihni dağınık 5 75.9  6.1 1.6  1.0 17.7  3.4 2.7  1.3 8 66.3  9.1 0.4  0.5 24.6  4.9 2.6  2.1 Katı/Dağ. 11 73.2  6.3 1.3  0.5 21.2  5.0 2.4  1.2 T2 66.2  8.4 0.3  0.5 26.5  6.4 2.4  1.8 6 72.6  7.9 0.8  0.8 25.9  6.2 3.1  1.7 9 66.7  9.9 0.5  0.7 27.9  8.6 2.0  1.5 12 59.8  6.3 0.1  0.3 29.1  6.9 2.0  0.9 14 58.8  6.9 1.1  0.4 32.4  6.2 1.1  0.6 Katı 17 31.5 4.7 0  0 38.6  4.8 0  0 15 61.9  8.3 0  0 27.7  6.8 18 30.4 4.1 39.4  3.5 13 39.4  0.5 1.0  0 67.8  0.5 Çok Katı 16 32.8  2.5 73.0 1.5 Katı/Dağ.

MAVİ YEŞİL KIRMIZI SARI YEŞİL MAVİ SARI KIRMIZI Stroop Testi MAVİ YEŞİL KIRMIZI SARI YEŞİL MAVİ SARI KIRMIZI SARI KIRMIZI YEŞİL MAVİ KIRMIZI YEŞİL MAVİ SARI MAVİ SARI KIRMIZI YEŞİL YEŞİL MAVİ SARI KIRMIZI

Stroop testi için önerilen model Seçici Dikkat özgün ödev için otomatik olan davranışı bastırmak • Ölçütler testin süresi hata sayısı, düzeltme sayısı Duyusal ve motor devreler: Hopfield ağları Basal Çekirdekler: Maxnet , OF tarafından modüle edilen otomatik işlem Seçici dikkat: Kazanan hepsini alır, Özgün bilgi geldiğinde OF’yi uyarmak için Hata Sezici : Perceptron yapıları, ödev ile yanıtın uyuşmadığı durumlarda OF’yi uyaracak hata işaretini üretmek için

Benzetim Sonuçları Baz Ol. Süre (sec) # Hata # Düz. Yorum 0.4 0.1 28.4 ± 3.2 0.4 ± 0.6 0.08 ± 0.3 0.9 28.9 ± 2.4 0.3 ± 0.5 0.3 31.7 ± 1.8 2 ± 0.7 33.6 ± 4 2.8 ± 1.5 0.9 ± 0.9 0.2 36.6 ± 2.2 5.6 ± 1.9 39.7 ± 2 5 ± 1.3 1.75 ± 1.2 39.5 ± 2.5 9.6 ± 2.3 47 ± 2.8 9.2 ± 2.7 3.3 ± 1.7 0.05 40.4 ± 2.8 11.3 ± 2.2 0.3 ± 0.7 48.3 ± 2.5 11.4 ± 1.8 3 ± 1.5 bastırma süre

Korteks-Bazal Çekirdekler-Talamus Döngüsü BU YAPTIKLARIMIZI DEĞERLENDİRDİK ve ..... Araç: Doğrusal olmayan dinamik sistemlere ilişkin matematik Yaklaşım: Süreçleri modellemek Davranış seçme işlevinde dopaminin etkisine ilişkin dinamik bir model önerisi korteks Talamus GPi/SNr STR STN Bazal Çekirdekler arttırıcı azaltıcı Korteks Striatum D1 D2 SNc GPi/SNr GPe STN Talamus Bazal Çekirdekler arttırıcı azaltıcı Korteks-Bazal Çekirdekler-Talamus Döngüsü

Geri beslemeli sinir hücresi Biraz da Matematik w u f(u) Geri beslemeli sinir hücresi

dallanma diyagramları Biraz daha matematik dallanma diyagramları

MATEMATİKSEL MODELLEME Hangi seviyede ve nasıl? Tek bir sinir hücresinin çalışması... Bir sinir sistemi alt yapısının çalışması.... Bir bilişsel süreç için birden fazla alt yapının çalışması.... Bilişsel süreçleri modellemede yararlanılan modelleme yaklaşımları: Kural tabanlı yapılar Yapay sinir ağları Makina öğrenmesi Doğrusal olmayan dinamik sistemler

DOĞRUSAL OLMAYAN DİNAMİK SİSTEMLER DAHA FAZLA MATEMATİK DOĞRUSAL OLMAYAN DİNAMİK SİSTEMLER Doğadaki süreçler doğrusal değil… Dinamik sistem temelleri Bir dinamik sistemin zaman içindeki değişimi Denge Noktası (Sabit Nokta) Doğadaki süreçlerin hemen hiçbirinde doğrusallık gözlenmez. Bu nedenle doğal süreçler doğrusal olmayan denklemlerde modellenmelidir. Ödül sistemi ve eylem seçimine ilişkin modelimizi dinamik bir sistem olarak oluşturacağımız için bu bölümde modelimizde kullandığımız doğrusal olmayan dinamik sistemler hakkında bazı temel bilgiler verilecektir. Bu bilgiler kullanılarak ilgilendiğimiz nörolojik süreçlerin sahip olduğu dinamik sistem özellikleri gösterilmeye çalışılacaktır. Özellikle dallanmalarla ilgili ilkeler kullanılarak önerilen modeldeki yapıların birbirleriyle iletişimi incelenecektir. Dinamik sistem, bir durumlar kümesi ile bu durumlar arasındaki geçişleri belirleyen kurallardan oluşur. Deterministik bir sistem için, bu sistemin gelecekteki durumunu belirleyen kural(lar) değişmediği takdirde bu sistemin zamanla sergileyeceği davranışı başlangıç durumundan yola çıkarak belirlemek mümkündür. Bir dinamik sistemin zaman içindeki değişimi, bir başlangıç durumunu t kadar süre sonra bir başka duruma götüren bir dönüşümdür. Denge Noktası (Sabit Nokta): Eğer bir başlangıç durumundaki dinamik sistem zamanla gerçekleşen tüm değişimler sonucunda yine bu başlangıç durumuna dönüyorsa, bu başlangıç durumu sistemin denge noktasıdır. Basitçe denge noktası, f(x)=0 denkleminin çözümüdür. Sabit noktasındaki bir sistem sonsuza dek o noktada kalır. Denge noktasının elektrik devrelerindeki karşılığı, devrenin çalışma noktasıdır.

DALLANMALAR (BIFURCATIONS) Parametrelere bağlı bir dinamik sistem düşünelim: x Є Rn ve α Є Rm durum değişkeni parametre Türev, zamanla değişimi gösterir Tanım: Bir dinamik sisteme ait bir (veya daha fazla) parametrenin değişimine bağlı olarak bu sistemin denge noktalarında (çözüm noktalarında) veya bunların kararlılık niteliklerinde gözlenen değişimlerdir. Parametreler değiştikçe … Değişmiş sistem, orijinal sisteme eşdeğer kalır Sistem de [f(x)=0 denkleminin çözümü] değişir. Dallanmalar bizim için önemli çünkü bir kontrol parametresini değiştirerek bir sisteme ait geçişlerin ve kararsızlıkların modellerini elde etmemizi sağlarlar.

Dallanmalar bizim için neden önemli? Nöral Dinamik Sistemlerde Dallanmaları Neden İnceliyoruz? Dinamik sistemlerde dallanmaları nasıl inceliyoruz? Peki her denge/sabit noktası, dallanma oluşturmak için uygun mudur? j w Kararlı Kararsız ama yapısal kararlı İmajiner eksendeki denge noktalarını çok az oynatmak bile kararlı/kararsız olmalarına yol açıyor. Bir postsinaptik nöronun ateşlenmesi, presinaptik nöronların birikimsel etkilerine bağlıdır. Bir sinapsta bağlantı yapan tüm nöronların aksiyon potansiyelleri toplamı, postsinaptik nöronun toplam potansiyelini (PSP) oluşturur. Postsinaptik nöronun aksiyon potansiyeli üretebilmesi için PSP’in bir ateşlenme eşik düzeyini aşması gerekir. Presinaptik nöronların her birinin tek başına toplam PSP’ine etkisi çok küçük olabilir. Ancak toplam PSP, belli bir eşik düzeyine çok yaklaştığında sadece tek bir presinaptik nörondan gelen aksiyon potansiyeli bile toplama eklenerek eşiğin aşılmasını sağlayabilir. Böyle bir nöronun etkinliği, bir dinamik sistem olarak ele alındığında, dallanma noktasına yakındır. Başka bir deyişle, beyindeki süreçlerde sadece dinamikleri dallanma noktasında çalışan nöronlar etkindir [ Izhikevich WCNN, s15]. Bir dinamik sistemin dallanmalarını incelemek için dengedeki sistem üzerinde çok küçük oynamalar yapılır, adeta sistem çok hafifçe dürtülür. Bu sayede yeni denge noktaları (veya sabit noktalar) yaratılabilir, varolanlar yok edilebilir veya kararlılıkları değişebilir. Bir hiperbolik denge (sabit) noktası için, Eğer tüm özdeğerler sol yarı-düzlemdeyse bu denge (sabit) noktası kararlıdır. Eğer tüm özdeğerler sağ yarı-düzlemdeyse bu denge (sabit) noktası kararsızdır, ancak hep kararsız kalacağından yapısal kararlıdır. Oysa denge (sabit) noktası hiperbolik değilse, sanal eksen üzerindeki özdeğerler küçük pertürbasyonlarla sağ veya sol yarı-düzleme kayabilir. Bu da denge (sabit) noktasının kararlılık niteliğini tamamen değiştirebilir. İşte bu yüzden hiperbolik denge (sabit) noktaları için dallanma söz konusu değildir, sadece hiperbolik olmayan denge (sabit) noktaları dallanabilir.

Dallanmaları aramaya nereden başlamalı? Tanımımıza göre, dallanma sonucu denge noktalarının sayısı veya kararlılık niteliği değişebiliyordu. O halde dallanmaları incelemeye başlamak için doğrusal olmayan sistemin denge noktası civarındaki yaklaşık davranışını inceleriz. dinamik sisteminin sabit noktası civarındaki yaklaşık davranışını incelemek için bu sistem sabit noktasında doğrusallaştırılır. Doğrusallaştırma, en genel haliyle bir fonksiyona bir noktadaki teğeti, yani türevi ile yaklaşmaktır. Bu noktadaki fonksiyon eğrisi yerine fonksiyonun türevi (teğeti) ile yaklaşım yapıyoruz.

Eyer Noktası (Saddle-Node) Dallanması Bir dinamik sisteme ait sabit noktaların sayısının değiştirildiği en temel dallanma mekanizması Eyer dallanması için prototip olabilecek birinci dereceden bir sistem ile gösterilebilir. r parametresinin değeri -∞, 0, ∞ arasında değişirken fonksiyon eğrisi de orijine göre yukarı kaymaya başlar. Böylece başlangıçta iki tane olan denge noktalarının sayısı da önce bire, sonra sıfıra düşer. Eyer noktası dallanmasında varolan iki denge noktası bir parametre değiştikçe giderek birbirlerine yaklaşırlar ve en sonunda çarpışırlar. Çarpışmadan sonra da parametreyi değiştirmeye devam edersek artık bu sistemin denge noktası olmayacaktır.

Eyer noktası dallanmasını r’nin ayrık değerlerine göre değişen vektör alanları olarak gösterebiliriz. r > 0 r = 0 r < 0 x Soldaki şekil, farklı r değerleri için sabit noktalar ile bunların kararlılıklarını göstermektedir. Noktaları birleştirdiğimizde elde ettiğimiz eğri ise r = -x2 fonksiyonunun grafiğidir. r’yi değişken alarak grafiği çizdiğimizde yandaki dallanma diyagramını elde ederiz.

Terminoloji Eyer noktası ismi çok sık kullanılmakla birlikte bu dallanmaya bazen şekline ithafen katlama (fold) dallanması da denilmektedir. Aynı zamanda dönüş noktası dallanması da kullanılır ((x,r)=(0,0) noktası eğrinin döndüğü nokta olduğundan). Ancak en yaratıcı isim 1988’de yazdıkları bir makalede Abraham ve Shaw tarafından kullanılmıştır: blue sky bifurcation “This term comes from viewing a saddle-node bifurcation in the other direction: a pair of fixed points appears ‘out of the clear blue sky’ as a parameter is varied.”

Şimdi de davranış ile ilgilenelim... Kaldığımız yere dönersek Şimdi de davranış ile ilgilenelim... Korteks(p) Talamus(m) GPi/SNr(d) C-BG-TH-C çevrimi STR(r) STN(n) BASAL GANGLIA AZALTICI BAĞLANTILAR ARTTIRICI BAĞLANTILAR Bir hücrenin aktivasyon fonksiyonu ve doyma bölgeleri

… yapılıyor mu, yapılmıyor mu?

İki davranıştan birini nasıl seçeriz?

İki davranıştan birini nasıl seçeriz? θ = 0.7

İki davranıştan birini nasıl seçeriz? θ = 1

İki davranıştan birini nasıl seçeriz? θ = 1.3

Stroop testi için ne yaptık? Korteks Talamus GPi/SNr C-BG-TH-C çevrimi STR STN BASAL GANGLIA

Ne elde ettik ….. θ = 0.6

Ne elde ettik ……. θ = 1

Ne elde ettik ……. θ = 1.2

Dopamin seviyesi (θsel) ....nasıl yorumladık? Dopamin Dopamin seviyesi (θsel) Hata Doğru yanıt süresi 2 _ > 30000 1.6 1396 1.4 1261 1.2 1129 1 396 0.8 390 0.6 + 405 0.55 440 0.5

YSA’DAN DİNAMİK SİSTEMLERE Sinir hücrelerini modellemek için YSA kullanılıyordu YSA Yetersizlikleri… Sonra Dinamik Sistemden yararlanılarak yapılanlar… Ödül sistemi için bir model Eylemlere karar vermek için bir model X X Şimdi Pekiştirmeli Öğrenme ve dinamik sistemler

X X YENİ HEDEFİMİZ Ödül mekanizmasını anlamak Karşıt süreçlerin ödül sistemindeki yerini kavramak Bağımlılığı açıklayan bir hesaplamalı model geliştirmek Ödül sistemi için bir model Eylemlere karar vermek için bir model X Bu çalışmadaki hedeflerimiz: Beyindeki ödül mekanizmasını ve bunda etkili beyin alt yapılarını anlamak Karşıt süreçlerin ödül sistemi, duygular ve bağımlılık gelişimindeki yerini kavramak Bu bilgileri kullanarak bağımlılığı açıklayan bir hesaplamalı model geliştirmek Ve bu modelde öğrendiklerimizi kullanarak duygusal süreçleri açıklayan daha genel bir sistem önerisi ortaya koymak Burada problem olarak neyi ele aldigimiz ve yaklasimin ne oldugunu iyice aciklamak gerek. Ilk olarak genel olarak addiction icin hangi noral yapıların etkin oldugunu ve tabii ki norotransmitterleari inceledik sonra model icin daha spesifik olarak nikotin bagimliligini inceledik ve modelde hem neural substrate’ler ve aralarındaki baglantilar hem de neurotransmitter’larin etkisi ele alindi ve biologically inspired bir model mekanizmayi aciklamak amaciyla onerildi. Modelde arac olarak dogrusal olmayan dinamik sistemler kullanildi. Nikotin bagimliligina iliskin surec için onerilen modelin MATLAB’de m-file olarak gerceklenmesi ile incellendi X Duygusal süreçler için genel bir sistem ortaya koymak

NİKOTİN BAĞIMLILIĞI İÇİN KULLANDIĞIMIZ MODEL Eylem Seçici Devre Eylem Değerlendirme Değer Atama DA ri Wr Pekiştirmeli Öğrenme Modelimizin 3 bileşeni var: Eylem seçici tarafından karar verilen davranışlar değerlendirilir ve bir ödül hesaplanır. RL kullanılarak bu eyleme bir değer atanır. Limbik altyapılarda DA etkisini gösteren bir parametre değiştirilir ve DA bağlı bu çıkış ile eylem seçici devre güdülür. Wr VTA’ya ilişkin DA’in seçilen davranışı değiştirme anlamında etkisini belirleyen bir parametredir.

DAVRANIŞ SEÇMEYE İLİŞKİN MODEL Korteks Talamus Striatum Subthalamic nukleus GPi/S.Nigra Bu modelin dallanma diyagramı

Ve kalıcı hal çözümleri Kararsız Kararlı Kararlı

Aktivasyon Fonksiyonu Sigara bağımlılığı sürecinde parametrelerin güncellenme kuralları

Modelde kullanılan limbik altyapılar başlangıçta şunlardı: C, Th, Str, SN, GPi/SNr değişkenleri, sırasıyla beyindeki korteks, talamus, striatum, subtalamik nukleus, ve globus pallidus interna/substantia pars reticulata alt yapılarına karşılık gelen vektörleri göstermektedir. Bu aşamada henüz ödül ve değer atama sistemleri dinamik sistem olarak modellenmemiş.

SİSTEM DAVRANIŞI - BAĞIMLILIK δ hata işareti ve sigara içme seçimleri Bu grafikte beklentilerdeki hatayı gösteren δ hata işareti ve sigara içme seçimleri gösterilmiştir. Hata işareti etkisini temsil eder ve Wr aracılığıyla dorsal striatumdaki akışın davranışını yönlendirir. Hata işareti aynı zamanda Wc aracılığıyla duyusal girişlerin temsilini kuvvetlendirir ve Wv aracılığıyla uyaranların değerini günceller. Ardarda 20 kez sigara içildiğinde bağımlılık geliştiği varsayılmıştır. Başlangıçta sistem rastgele olarak sigara içmeyi veya içmemeyi seçmekte, ancak zamanla sigara içme davranışını seçmeyi öğrenmektedir. Arada bir sigara içmeme davranışı seçilmemiş olsa bile, sistem çabucak bu davranışı tekrarlamayıp öğrenilmiş davranışı sürdürmeye karar verir. Bağımlılık geliştiğinde, δ işareti 0 olur ve sigara içme davranışı sürekli seçilir hale gelir.

SİSTEM DAVRANIŞI – BAĞIMLILIK GELİŞTİRMEYEN δ hata işareti ve sigara içmeme seçimleri Bu grafikte δ hata işareti ve sigara içmeme seçimleri görülmektedir. Başlangıçta sistem rastgele olarak sigara içme ve içmeme davranışlarını seçmekte, ancak zamanla sürekli olarak sigara içmeme davranışını seçmeyi öğrenmektedir. Sigara içmeme davranışı kazanıldığında, δ hata işareti 0 olur ve daima bu davranış seçilir.

SİSTEM DAVRANIŞI - KARARSIZLIK İki davranış da öğrenilmediğinde δ hata işareti Bu grafikte her iki davranış da öğrenilmediği durumdaki δ hata işareti görülmektedir. Simülasyon boyunca sistem rastgele olarak sigara içme ve içmeme davranışlarını seçmektedir. δ işareti -1 ile 1 arasında değişir. Sistem her iki davranışı da öğrenemez, yani kararsız olmayı öğrenir.

W PARAMETRELERİNİN DEĞERLERİ Bağımlılık halinde: Wc çevrenin etkisini göstermektedir. Öğrenme bittiğinde, Wr değerleri [1 0]’a, yani bizim simülasyonumuzdaki sigara içme koduna doğru kayar. İlk değerler:

W PARAMETRELERİNİN DEĞERLERİ Bağımlılık gelişmeyen durum: Öğrenme bittiğinde, Wr değerleri [0 1]’e, yani bizim simülasyonumuzdaki sigara içmeme davranışının koduna doğru kayar. İlk değerler:

W PARAMETRELERİNİN DEĞERLERİ Kararsızlık durumunda: Öğrenme bittiğinde, Wr değerleri [1 1]’e, yani bizim simülasyonumuzdaki kararsızlık davranışı koduna doğru kayar. İlk değerler:

NİKOTİN BAĞIMLILIĞI İÇİN ÖNERİLEN MODELİN GELİŞTİRİLMESİ Modelde neler temsil edilmeli ki daha gerçekçi olsun? Nikotinin fizyolojik etkileri önemli çünkü: Haz ile doyuma ulaşma ve Yoksunluk Bağımlılığı açıklamada karşıt süreçler Eşleştirilmiş duygular Bağımlılık oluşmasında nasıl bir etkisi var? Karşıt süreçler açısından beyinde hangi bölgeler önemli? Bağımlılık karşıt süreçlerde nasıl bir bozulmaya yol açar? Sigara içilirken atardamar (kırmızı) ve toplardamarlardaki (mavi) nikotin düzeyinin değişimi Sigara dumanı akciğerlere çekildikten sonra buradan kana geçen nikotinin beyne ulaşması saniyeler sürer. Nikotinin kanda yayılma yarı ömrü 15-20 dk. ve tüm vücuttaki yarı ömrü ise 2 saat kadardır. Bu nedenle sigara içenlerin kanındaki nikotin konsantrasyonu aniden yükselerek 1 saat içinde yavaşça azalır ve kandaki nikotin konsantrasyonunu yüksek tutmak için düzenli olarak - yaklaşık her saatte bir - sigara içme ihtiyacı hissedilir. Yine bu nedenle uzun süren gece uykusunun ardından kandaki nikotin miktarı neredeyse sigara içmeyenlerle aynı düzeye gelir ve sabah ilk içilen sigara daha büyük bir keyif verir. Kronik olarak nikotine maruz kalma sonucunda nAchR’lerin sayıları artar veya etkileşime girme yatkınlıkları çok yükselir. Nikotin, duyarsızlaştırma vasıtasıyla ödüllendirici uyarıları tetiklerken, etkin almaçların artışı yoluyla da daha fazla nikotin tüketilmesine yol açar. Sonuçta beyindeki ödül eşiği düşerek ödüllendirici uyaranlara karşı duyarlılık artmış olur. Sürekli nikotine maruz kalma sonucunda nikotine karşı verilen mezolimbik DA cevabı hassas bir noktaya gelir ve hücreler arası ortamda DA miktarı artar. Bu DA cevabı, nikotinin pekiştirici ve bağımlılık yapıcı özellikleriyle ilgilidir. When a stimulant is experienced, first a sudden reaction occurs and quickly reaches peak point. If the stimulant remains stable, this reaction curve slowly approaches an equilibrium point and stays there. When the stimulant suddenly disappears, the first reaction also disappears but another reaction in the opposite direction occurs and reaches a peak point. A- ve B- süreçleri Sigara içerken alınan keyif ve sigara bitince hissedilen yoksunluk duygusu The motivation systems in the brain reveal that the first effects (A-process) of a substance in the brain are reacted by stabilizing modifications (B-process). The malfunctioning of the reward mechanism is a leading factor for addiction. Bağımlılık geliştiğinde beynin ödül algılama eşiği de değişmiş olacağından A ve B süreçlerinin büyüklüğü azalacak, ortamdaki nikotin miktarının kanıksandığını gösteren nötr düzey de aşağı çekilecektir. Hangi nörotransmiterler önemli?

NİKOTİN BAĞIMLILIĞI İÇİN ÖNERİLEN MODELİN GELİŞTİRİLMESİ Karşıt süreçlerdeki bozulma γ ’nın etkisi γ = 1 γ = 0.8 n, s, ve c işaretlerinin dinamik denklemleri: nAchR’lerin 3 farklı zaman aralığındaki davranışı n, s, c eğrileri ile modelleniyor n, s, ve c işaretlerini modelleyen denklem takımında aktivasyon fonksiyonları parametrik biçime getirilerek bozulmanın etkisi gözlenebilmiştir. Denklemlerde kullanılan γ ve φ parametrelerinin değerleri [0.8, 1] aralığında değiştirilerek karşıt süreçlerin bağımlılığın etkisiyle değiştiği gösterilebilmektedir.

Eylem seçici devre Şu anda modelimizin eylem seçimiyle ilgili bölümü iyi çalışıyor. Yeşil bloklar, modelde eylem seçici devrede yer alan limbik sistem elemanlarını gösteriyor.

Değer atama döngüsü Şu anda değer atama döngüsü ile ilgili modeli geliştirmeye uğraşıyoruz. Modelimizi geliştirirken değer atamada görev alması gerektiğini düşündüğümüz limbik sistem elemanları

DEĞER ATAMA SİSTEMİ En etkili nörotransmiter dopamin DA salgısı açısından VTA önemli VTA DA nöronları Harekete geçirici: PFC → Glu, çok az Ach + PFC Baskılayıcı: VTA GABA, NAc, VP → GABA - gaba - NAc VTA GABA nöronları Harekete geçirici: PPTg → Ach + PPTg Baskılayıcı: GABA, ayrıca PFC → Glu - gaba - PFC

DEĞER ATAMA SİSTEMİ DA salgısının etkilediği yapılar Bunların VTA nöronlarına etkileri Amigdala + Lateral Hipotalamus → aml Pedunculopontine Tegmental Nukleus + Laterodorsal Tegmental Nukleus → pptg I → dış dünya uyaranları, sigara içme/içmeme eylemi, artan nikotin seviyesi

VTA DA ve GABA NÖRONLARININ ÜRETTİĞİ İŞARET Tüm sistemin 1000 adım çalışması sonucunda DA ve GABA nöronlarının çıkışlarının zamanla değişimi

VTA DA ve GABA NÖRONLARININ ÜRETTİĞİ İŞARET VTA DA ve GABA nöronlarının kendi döngülerinde ürettikleri işaretin tüm sistemin çalışması süresince değişimi DA-GABA döngüsü her seferinde 100 adım çalışır. Tüm sistem 1000 adım çalışır, her 100 adımlık döngü çıkışı üst üste çizdirilmiştir.

DEĞER ATAMA SİSTEMİNİN ÜRETTİĞİ AML, PPT, NAC İŞARETLERİ Tüm sistem 1000 adım çalıştırıldığında değer atama döngüsündeki AML, PPT, NAC yapılarının ürettikleri işaretler

Bağımlılık gelişiminde, hatta duygusal süreçlerde görev alan limbik sistem elemanları Bu yapıların işlevlerini büyük ölçüde çözmüş olmakla birlikte şekildeki sistemi henüz oturtabilmiş değiliz.

UDA ri SONUÇLAR …. Neler yapıldı? Eylem Seçici Eylem Değer. Değer Atama UDA ri Neler yapıldı? Geçmiş çalışmalardan ayrıldığı noktalar … Sonraki adımlar … Neler yapıldı? Tez çalışmasında geliştirilen model, beyindeki nikotin bağımlılığına götüren nörodinamik süreci incelemektedir. Geliştirilen modelde nAchR almaçlarının nikotine karşı verdikleri kısa, orta ve uzun vadedeki tepkiler Gutkin’deki gibi bir dinamik sistem olarak ele alınmıştır. Bu sistemin çıkışı, toplam nikotin cevabını belirler ve VTA DA nöronlarının salgılamasını betimleyen aktivasyon fonksiyonunun hesaplanmasında kullanılır. DA salgısı ise bazal ganglia-korteks-talamus döngülerinden oluşan eylem seçici dinamik devrenin girişini sürer. Eylem seçicinin çıkışı ise bir önceki eylem olarak değer fonksiyonunu etkiler. Bu model ile bağımlılığın bir çeşit amaca yönelik davranış geliştirme süreci olduğu ortaya konmaktadır. Diğer çalışmalardan ayrıldığımız noktalar: Modelimiz, bazal ganglia, talamus ve PFC’in eylem seçimine etkisini gösteren sistemi içermesi ve bunu ayrıntılı açıklayabilmesi bakımından ‎Gutkin’den farklıdır. Ancak modelde kararları etkileyen değer atama süreci tam anlamıyla olması gerektiği gibi bir dinamik sistem olarak ele alınmamıştır. Değer atama sürecini daha doğru olarak ele alan ‎Dranias ve Litt’deki sistemler örnek alınarak modelin bu bölümünün geliştirilmesi düşünülmektedir. Bu durumda, değer atama döngüsü çalışarak eylem seçme döngüsünü sürecektir; yani model iki ana döngü üzerinden işleyecektir. Sonraki adımlar? Karşıt süreçlerin işlevi ve özellikle çalıştıkları zaman aralıkları, var olan modelde yeterince iyi açıklanamamıştır. Yeni bilgiler ışığında modelin karşıt süreçler ile ilgili bölümü yeniden çalışılacaktır. Bu şekilde değer atama bloğu ile DA salgısının tetiklenmesi sürecinin daha sağlam bir dinamik sistem üzerine kurulması hedeflenmektedir. Modelin bir önemli eksikliği de özellikle değer atama sırasında etkin olarak çalışan amigdala, hipokampus, hipotalamus, OFC gibi beyin alt yapılarını içermemesidir. Bu yapılardan öncelikle amigdalanın değer atama fonksiyonunu etkileyecek biçimde modele eklenmesi düşünülmektedir. Iowa Gambling Test ile modelin karar verme mekanizmalarındaki etkinliğini sınamak

Modelleri nasıl daha gerçekçi yapabiliriz? TC: STN: Gerçekci ama süreçleri modelleyebilecek kadar da hesaplanabilir olmalı GPe: GPi: Y.Guo, J.E.Rubin, “Multi-site stimulation of subthalamic nucleus diminishes thalamacortical relay errors in a biophysical network model”, Neural Networks, 2011

Bu model nasıl elde edilmiş?

SORULARINIZ?

TEŞEKKÜRLER!

KAYNAKLAR Gutkin, B.S., Dehaene, S., Changeux, J.P., “A Neurocomputational Hypothesis for Nicotine Addiction”, PNAS, vol.103, no.4, 1106-1111, Jan 24, 2006. Mayhew, K.P., Flay, B.R., Mott, J.A., “Stages in the development of adolescent smoking”, Drug and Alcohol Dependence 59 Suppl. 1, S61–S81, 2000. Spanagel, R., Heilig, M., “Addiction and Its Brain Science”, Addiction, vol.100, no.12, 1813-1822, Aralık 2005. Kalivas, P.W., “Neurocircuitry of Addiction”, Neuropsychopharmacology: The Fifth Generation of Progress, bölüm 95, 1357-1366, Lippincott, Williams & Wilkins, 2002. Peele, S., Alexander, B.K., “The Meaning of Addiction”, chapter 3 – Theories of Addiction, <http://www.peele.net/lib/moa3.html>, alındığı tarih 24.05.2010. Metin, S., “Doğrusal Olmayan Sistem Yaklaşımı ile Duygusal Davranışlarda Etkin Sinir Sistemi Altyapılarının İncelenmesi”, İTÜ FBE Doktora Tezi Önerisi, Aralık 2009. Metin, S., “Doğrusal Olmayan Sistem Yaklaşımı ile Duygusal Davranışlarda Etkin Sinir Sistemi Altyapılarının İncelenmesi”, İTÜ FBE Doktora Tezi İlerleme Raporu, Haziran 2010. Metin, S., Şengör, N.S., “Dynamical System Approach in Modeling Addiction”, BICS, Madrid, İspanya, Temmuz 2010. Metin, S., Şengör, N.S., “A Neurocomputational Model of Nicotine Addiction Based on Reinforcement Learning”, ICANN 2010, Selanik, Eylül 2010. Jarvis, M.J., “ABC of smoking cessation - Why people smoke”, BMJ, 328(7434): 277–279, 31 Ocak 2004. Ortells, M.O., Barrantes GE, “Tobacco addiction: a biochemical model of nicotine dependence”, Med Hypotheses., 74(5):884-94, Mayıs 2010. Foulds, J., “The neurobiological basis for partial agonist treatment of nicotine dependence: varenicline”, Int J. Clin. Pract., 60(5):571-6, Mayıs 2006. Solomon, R.L., Corbit, J.D., “An Opponent-Process Theory of Motivation”, The American Economic Review, Vol. 68, No. 6, 12-24, Aralık 1978. Koob, G.F., Le Moal, M., “Neurobiological mechanisms for opponent motivational processes in addiction”, Phil. Trans. R. Soc. B, 363, 3113–3123, 2008. Koob, G.F., Le Moal, M., “Drug Addiction, Dysregulation of Reward, and Allostasis”, Neuropsychopharmacology, vol.24, no.2, 97-129, 2001 Grossberg, S., Gutowski, W.E., “Neural Dynamics of Decision Making Under Risk: Affective Balance and Cognitive-Emotional Interactions”, Psychological Review, Vol. 94, No. 3, 300-318, 1987. Grossberg, S., Schmajuk, N.A., “Neural dynamics of attentionally modulated Pavlovian conditioning: Conditioned reinforcement, inhibition, and opponent processing”, Psychobiology Vol.15, No.3, 195-240, 1987. Daw, N.D., Kakade, S., Dayan, P., “Opponent Interactions Between Serotonin and Dopamine”, Neural Networks 15, 603-616, 2002. Dezfouli, A., Piray, P., Keramati, M.M., Ekhtiari, H., Lucas, C., Mokri, A., “A Neurocomputational Model for Cocaine Addiction”, Neural Computation 21, 2869-2893, 2009. Daw, N. D., “Reinforcement learning models of the dopamine system and their behavioral implications”, basılmamış doktora tezi, Carnegie Mellon University, 2003. Dranias, M.R., Grossberg, S., Bullock, D., “Dopaminergic and non-dopaminergic value systems in conditioning and outcome-specific revaluation”, Brain Research, Vol.1238, 239-287, 31 Ekim 2008 Litt, A., Eliasmith, C., Thagard, P., “Neural affective decision theory: choices, brains, and emotions”, Cognitive Systems Research, 9(4), 252-273, 2008. Frank, M.J., Claus, E.D., “Anatomy of a decision: striato-orbitofrontal interactions in reinforcement learning, decision making, and reversal”, Psychological review, Vol. 113, No. 2, 300-326, Nisan 2006. Levine, D.S,, “Emotion and Decision Making: Short-term Reactions versus Long-term Evaluations”, International Joint Conference on Neural Networks 2006 (IJCNN '06). Şengör, N.S., Karabacak, Ö., Steinmetz, U., “A Computational Model of Cortico-Striato-Thalamic Circuits in Goal-Directed Behaviour”, LNCS 5163, Proceedings of ICANN, 328-337, 2008. Karabacak, Ö., Şengör, N.S., “A computational model for the effect of dopamine on action selection during Stroop test”, ICANN’06, Atina, 2006. Soylu, C., Karabacak, Ö., Şengör, N.S., “Investigating the Dynamics of the Neural Substrates Taking Part in Goal-Directed Behaviour”, SIAM Conference on Applications of Dynamical Systems (DS09), Utah, Mayıs 17-21, 2009. Delgado, M.R., “Reward-Related Resposes in the Human Striatum”, Annals of the New York Academy of Sciences, 1104, 70-88, 2007. Hyman, S.E., Malenka, R.C., Nestler, E.J., “Neural Mechanisms of Addiction: The Role of Reward-Related Learning and Memory”, Annual Review of Neuroscience, vol.29, 565-598, 2006.