NİKOTİN BAĞIMLILIĞI İÇİN PEKİŞTİRMELİ ÖĞRENMEYE DAYALI BİR HESAPLAMALI MODEL

1. NİKOTİN BAĞIMLILIĞI İÇİN PEKİŞTİRMELİ ÖĞRENMEYE DAYALI BİR HESAPLAMALI MODEL SELİN METİN & NESLİHAN S. ŞENGÖR 9 Aralık 2010, Çapa Perşembe Toplantısı

2. HEDEFİMİZ • Ödül mekanizmasını anlamak • Karşıt süreçlerin ödül sistemindeki yerini kavramak • Bağımlılığı açıklayan bir hesaplamalı model geliştirmek • Duygusal süreçler için genel bir sistem ortaya koymak • Göz ardı ettiklerimiz: • Kalıtsal, sosyolojik etkenler

3. BAĞIMLILIĞI AÇIKLAMADA KARŞIT SÜREÇLER • Eşleştirilmiş duygular • Bağımlılık oluşmasında nasıl bir etkisi var? • Karşıt süreçler açısından beyinde hangi bölgeler önemli? • Bağımlılık karşıt süreçlerde nasıl bir bozulmaya yol açar? Solomon, R.L., Corbit, J.D.: An Opponent-Process Theory of Motivation The American Economic Review, Vol. 68, No. 6., 12-24 (1978)

4. Aktör Hata Eylem ai Durum si Değer Fonk. Eleştirmen Ödül ri Çevre BAĞIMLILIKTA PEKİŞTİRMELİ ÖĞRENME • Ödüle dayalı öğrenme • Amaca yönelik davranışlar • Bu modelde karşıt sürecin yeri? Dayan, P.: Dopamine, Reinforcement Learning, and Addiction, Pharmacopsychiatry 42 (2009) S56-S65

5. ÖDÜL SİSTEMİ İÇİN BİR MODEL ITA: anterior inferotemporal korteks, RHIN: rhinal korteks, AMYG: amigdala, LH: lateral hipotalamus, MORB: medial OFC, ORB: lateral OFC, VS: ventral striatum, VP: ventral pallidum, SD: striosomal delay cells, PPTN: pedunculopontine nukleus, SNc/VTA: substantia nigra pars compacta/ventral tegmental area Dranias, M.R., Grossberg, S., Bullock, D., Dopaminergic and non-dopaminergic value systems in conditioning and outcome-specific revaluation, Brain Res. 2008 Oct 31;1238:239-87

6. ÖDÜL SİSTEMİ İÇİN BİR MODEL • Girişler • Fazik şartlı uyaran işareti • Fazik şartsız uyaran işareti • Güdü • Canlandırma (arousal) • Çıkışlar • Kan basıncına bağlı LH çıkışı • OFC’in ürettiği nesne değeri • Denklemler • Kısa dönemli etkiler • Orta dönemli etkiler • Uzun dönemli etkiler Dranias, M.R., Grossberg, S., Bullock, D., Dopaminergic and non-dopaminergic value systems in conditioning and outcome-specific revaluation, Brain Res. 2008 Oct 31;1238:239-87

7. NİKOTİN BAĞIMLILIĞI İÇİN BİR MODEL Gutkin, B.S., Dehaene, S., Changeux, J.P., “A Neurocomputational Hypothesis for Nicotine Addiction”, PNAS, vol.103, no.4, 1106-1111, Jan 24, 2006

8. NİKOTİN BAĞIMLILIĞI İÇİN BİR MODEL • Sorunlar: • Karşıt süreçler bu modelin neresinde? • n-s-c süreçlerinde zaman skalası • Nikotin bağımlılığında n-s-c yeri • Bağımlılık gelişince n-s-c nasıl değişir? • Bağımlılarda nAchR sayısı azalır mı? n s c Gutkin, B.S., Dehaene, S., Changeux, J.P., “A Neurocomputational Hypothesis for Nicotine Addiction”, PNAS, vol.103, no.4, 1106-1111, Jan 24, 2006

9. Eylem Seçici Devre Wr UDA ri Eylem Değerlendirme Değer Atama Pekiştirmeli Öğrenme NİKOTİN BAĞIMLILIĞI İÇİN YENİ BİR MODEL

10. Modelde kullanılan limbik altyapılar:

11. δ hata işareti ve sigara içme seçimleri SİSTEM DAVRANIŞI - BAĞIMLILIK

12. δ hata işareti ve sigara içmeme seçimleri SİSTEM DAVRANIŞI – BAĞIMLILIK GELİŞTİRMEYEN

13. İki davranış da öğrenilmediğinde δ hata işareti SİSTEM DAVRANIŞI - KARARSIZLIK

14. W PARAMETRELERİNİN DEĞERLERİ Bağımlılık halinde:

15. W PARAMETRELERİNİN DEĞERLERİ Bağımlılık geliştirmeyen durumda:

16. W PARAMETRELERİNİN DEĞERLERİ Kararsızlık durumunda:

17. Değer atama döngüsü

18. Eylem seçici devre

20. Eksikler, öneriler: • Etkin nörotransmiter yalnızca DA • Çıkış karar yerine fizyolojik değerler olsa … • Siyah bağlantılar aslında hangi nörotransmiterler? • Amigdala ve hipokampus birlikte ele alınsa, hatta LH da eklense … • Sonuçları neyle karşılaştırabiliriz?

21. Eylem Seçici UDA ri Değer Atama Eylem Değer. SONUÇLAR …. • Neler yapıldı? • Geçmiş çalışmalardan ayrıldığı noktalar … • Sonraki adımlar …

22. SORULARINIZ?

23. TEŞEKKÜRLER!