İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ NİKOTİN BAĞIMLILIĞI İÇİN PEKİŞTİRMELİ ÖĞRENMEYE DAYALI BİR HESAPLAMALI MODEL SELİN METİN & NESLİHAN S. ŞENGÖR 9 Aralık 2010, Çapa Perşembe Toplantısı

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 2 Ödül mekanizmasını anlamak Bağımlılığı açıklayan bir hesaplamalı model geliştirmek Karşıt süreçlerin ödül sistemindeki yerini kavramak HEDEFİMİZ Göz ardı ettiklerimiz: Kalıtsal, sosyolojik etkenler Duygusal süreçler için genel bir sistem ortaya koymak

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 3 BAĞIMLILIĞI AÇIKLAMADA KARŞIT SÜREÇLER Eşleştirilmiş duygular Bağımlılık oluşmasında nasıl bir etkisi var? Karşıt süreçler açısından beyinde hangi bölgeler önemli? Bağımlılık karşıt süreçlerde nasıl bir bozulmaya yol açar? Solomon, R.L., Corbit, J.D.: An Opponent-Process Theory of Motivation The American Economic Review, Vol. 68, No. 6., (1978)

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 4 BAĞIMLILIKTA PEKİŞTİRMELİ ÖĞRENME Ödüle dayalı öğrenme Amaca yönelik davranışlar Dayan, P.: Dopamine, Reinforcement Learning, and Addiction, Pharmacopsychiatry 42 (2009) S56-S65 Aktör Çevre Eylem a i Ödül r i Durum s i Değer Fonk. Eleştirmen Hata Bu modelde karşıt sürecin yeri?

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 5 ÖDÜL SİSTEMİ İÇİN BİR MODEL Dranias, M.R., Grossberg, S., Bullock, D., Dopaminergic and non-dopaminergic value systems in conditioning and outcome-specific revaluation, Brain Res Oct 31;1238: ITA: anterior inferotemporal korteks, RHIN: rhinal korteks, AMYG: amigdala, LH: lateral hipotalamus, MORB: medial OFC, ORB: lateral OFC, VS: ventral striatum, VP: ventral pallidum, SD: striosomal delay cells, PPTN: pedunculopontine nukleus, SNc/VTA: substantia nigra pars compacta/ventral tegmental area

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 6 ÖDÜL SİSTEMİ İÇİN BİR MODEL Dranias, M.R., Grossberg, S., Bullock, D., Dopaminergic and non-dopaminergic value systems in conditioning and outcome-specific revaluation, Brain Res Oct 31;1238: Girişler Fazik şartlı uyaran işareti Fazik şartsız uyaran işareti Güdü Canlandırma (arousal) Çıkışlar Kan basıncına bağlı LH çıkışı OFC’in ürettiği nesne değeri Denklemler Kısa dönemli etkiler Orta dönemli etkiler Uzun dönemli etkiler

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 7 NİKOTİN BAĞIMLILIĞI İÇİN BİR MODEL Gutkin, B.S., Dehaene, S., Changeux, J.P., “A Neurocomputational Hypothesis for Nicotine Addiction”, PNAS, vol.103, no.4, , Jan 24, 2006

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 8 NİKOTİN BAĞIMLILIĞI İÇİN BİR MODEL Gutkin, B.S., Dehaene, S., Changeux, J.P., “A Neurocomputational Hypothesis for Nicotine Addiction”, PNAS, vol.103, no.4, , Jan 24, 2006 Sorunlar: Karşıt süreçler bu modelin neresinde? n-s-c süreçlerinde zaman skalası Nikotin bağımlılığında n-s-c yeri Bağımlılık gelişince n-s-c nasıl değişir? Bağımlılarda nAchR sayısı azalır mı? n s c

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 9 NİKOTİN BAĞIMLILIĞI İÇİN YENİ BİR MODEL WrWr Pekiştirmeli Öğrenme Eylem Seçici Devre Eylem Değerlendirme Değer Atama UDAUDA riri

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 10 Modelde kullanılan limbik altyapılar:

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 11 SİSTEM DAVRANIŞI - BAĞIMLILIK δ hata işareti ve sigara içme seçimleri

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 12 SİSTEM DAVRANIŞI – BAĞIMLILIK GELİŞTİRMEYEN δ hata işareti ve sigara içmeme seçimleri

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 13 SİSTEM DAVRANIŞI - KARARSIZLIK İki davranış da öğrenilmediğinde δ hata işareti

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 14 W PARAMETRELERİNİN DEĞERLERİ Bağımlılık halinde:

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 15 W PARAMETRELERİNİN DEĞERLERİ Bağımlılık geliştirmeyen durumda:

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 16 W PARAMETRELERİNİN DEĞERLERİ Kararsızlık durumunda:

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 17 Değer atama döngüsü

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 18 Eylem seçici devre

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 19

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 20 Eksikler, öneriler: Etkin nörotransmiter yalnızca DA Çıkış karar yerine fizyolojik değerler olsa … Siyah bağlantılar aslında hangi nörotransmiterler? Amigdala ve hipokampus birlikte ele alınsa, hatta LH da eklense … Sonuçları neyle karşılaştırabiliriz?

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 21 SONUÇLAR …. Neler yapıldı? Geçmiş çalışmalardan ayrıldığı noktalar … Sonraki adımlar … Eylem Seçici Eylem Değer. Değer Atama UDAUDA riri

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 22 SORULARINIZ?

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 23 TE Ş EKKÜRLER!

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ 24 References 1. Hyman, S.E., Malenka, R.C., Nestler, E.J. (2006) Neural Mechanisms of Addiction: The Role of Reward-Related Learning and Memory. Annual Review of Neuroscience Spanagel, R., Heilig, M. (December 2005) Addiction and Its Brain Science. Addiction 100 no.12, Solomon, R.L., Corbit, J.D.: An Opponent-Process Theory of Motivation The American Economic Review, Vol. 68, No. 6., 12{24 (1978) 4. Koob, G.F., Le Moal, M.: Neurobiological mechanisms for opponent motivational processes in addiction, Phil. Trans. R. Soc. B {3123 (2008) 5. Dayan, P.: Dopamine, Reinforcement Learning, and Addiction, Pharmacopsychiatry 42 (2009) Peele, S., Alexander, B.K.: The Meaning of Addiction, Chapter 3: Theories of Addiction, Delgado, M.R. (2007) Reward-Related Responses in the Human Striatum. Annals of the New York Academy of Sciences, Gutkin, B.S., Dehaene, S., Changeux, J.P. (Jan 24, 2006) A Neurocomputational Hypothesis for Nicotine Addiction. PNAS 103 no.4, Metin, S., Sengor, N.S.: Dynamical System Approach in Modeling Addiction, Accepted to be published in Proceedings of BICS, (2010) 10. Sengor, N.S., Karabacak, O., Steinmetz, U. (2008) A Computational Model of Cortico-Striato-Thalamic Circuits in Goal- Directed Behavior. LNCS 5163, Proceedings of ICANN Taylor, J.G., Taylor, N.R.: Analysis of Recurrent Cortico-Basal Ganglia-Thalamic Loops for Working Memory. Biological Cybernetics, 82, (2000) 12. Gurney, K., Prescott, T.J., Redgrave, P.: A Computational Model of Action Selection in the Basal Ganglia I: A New Functional Anatomy. Biological Cybernetics, 84, (2001) 13. Dranias, M.R., Grossberg, S., Bullock, D., Dopaminergic and non-dopaminergic value systems in conditioning and outcome-specific revaluation, Brain Res Oct 31;1238:239-87