利用fMRI研究人類決策中估計誤差的表征和學習的神經機制.pdf

1、決策過程中，選項的實際獎賞/風險與預期獎賞/風險之間的差別，稱之為獎賞/風險估計誤差。強化學習的計算模型認為，估計誤差的學習在強化學習過程中起到了關鍵作用。神經生物學的研究表明，估計誤差的學習的神經基礎可能存在于中腦多巴胺能神經元及其投射的紋狀體和前額葉等。
　　然而，強化學習的估計誤差處理過程中，這些腦區(qū)的作用區(qū)分、以及是否都參與了估計誤差的學習，并不清楚。我們提出這個問題主要從以下三個角度考慮:
　　首先，不同的決策任務

2、中，估計誤差的作用不同。有的任務中，各選項的輸/贏概率是明確的。此時，各選項的期望獎賞/風險可以直接估算出來。只因為是概率事件，所以即便可以計算出期望獎賞/風險，實際結果也可能和期望值之間存在差別，即獎賞/風險估計誤差。但這種情況下，估計誤差不代表期望獎賞/風險改變了，即不被學習，也不影響之后的預期;相反，有的任務中，各選項的概率是未知的。此時，個體預估各選項的獎賞/風險時，之前的估計誤差是重要的學習內容，可以幫助修正對輸/贏概率的認知

3、和各選項的預期。由此可見，估計誤差的在不同的任務中，作用不同。為了表述的方便，這里，我們把與學習或者修正無關的認知加工過程稱為估計誤差的表征，而用來學習和修正的認知加工過程稱為估計誤差的學習。
　　其次，估計誤差的不同作用的神經機制仍然不清楚。例如，Schonberg采用了一個概率未知的決策任務，發(fā)現(xiàn)，最終掌握概率的學會組，在產生獎賞估計誤差時紋狀體激活;相反，未學會組的紋狀體則沒有激活。但是，在這個任務中，估計誤差可能有表征和學

4、習兩個加工過程。未學會組的障礙可能是在表征，也可能是在學習，所以紋狀體到底是參與了獎賞估計誤差的表征還是學習仍然不清楚。此外，前人的神經成像研究，也提示了強化學習中，估計誤差的處理存在不同的神經基礎。在概率已知的決策任務中，風險估計誤差會引起腦島的激活。而在概率未知的決策任務中，風險估計誤差不僅與腦島有關，還與前扣帶回、額葉等有關。這些結果提示，這兩種不同的決策任務中的估計誤差，可能有一部分共有的神經基礎（如腦島），這些腦區(qū)的神經活動可

5、能參與了估計誤差的表征;而概率未知的決策任務中，估計誤差可能涉及到了額外的腦區(qū)（如前扣帶回、額葉），這些腦區(qū)可能參與了修正估計，即參與了估計誤差的學習。
　　最后，關于多巴胺的功能，目前主要的兩個理論是獎賞估計誤差假設和動機顯著假說。前者認為多巴胺的主要功能是學習，尤其是對估計誤差的學習;而后者卻認為，獎賞估計誤差假設存在混淆因素，即動機問題，并且認為多巴胺的功能不是參與估計誤差的學習。所以，我們區(qū)分估計誤差相關的腦區(qū)中的各自功能

6、及與估計誤差學習有關的腦區(qū)，有利于我們了解多巴胺系統(tǒng)的功能。
　　綜上，估計誤差的表征與學習的神經機制是一個有意義，但尚未解決的問題。為此，本研究采用兩個對比任務，概率未知的愛荷華博弈任務(IGT)和概率已知的風險決策任務(RDT)。這兩個任務中，被試都需要對多個選項做出判斷，通過選擇有利的選項以獲得獎賞。這兩個任務不同的是，在RDT中，由于獎賞/風險的大小和概率都是已知的，個體在每次選擇時無需對估計誤差進行學習，就能夠直接做出判

7、斷;然而在IGT中，對獎賞/風險的概率和較優(yōu)選項的習得需要通過學習估計誤差來實現(xiàn)。兩個任務的核心差別在于是否需要學習估計誤差。所以，IGT和RDT中的共同腦區(qū)，提示著可能與估計誤差表征相關;而IGT中特有的腦區(qū)，可能與估計誤差的學習相關。
　　在本項fMRI研究中，有41名受試者完成了IGT任務，另40名受試者完成RDT任務。通過比較IGT和RDT中估計誤差相關腦區(qū)的異同，我們發(fā)現(xiàn):(1)在IGT和RDT中共同激活的腦區(qū)，包括雙側

8、尾核、前腦島和右側顳上回;只在IGT中激活的腦區(qū)，包括喙側前扣帶回、后扣帶回和左側顳中回;(2)在兩種任務中共同激活的腦區(qū)中，獎賞估計誤差相關腦區(qū)為雙側尾核，風險估計誤差相關腦區(qū)為前腦島，背側扣帶回和右側顳上回，沒有發(fā)現(xiàn)與兩種估計誤差都相關的腦區(qū);而IGT獨有的腦區(qū)中，兩種估計誤差都和喙側前扣帶回、后扣帶回和左側顳中回相關，卻沒有發(fā)現(xiàn)只與某種估計誤差相關的腦區(qū)。這些結果提示，共同腦區(qū)中的尾核參與了獎賞估計誤差的表征，前腦島、背側扣帶回和

9、右側顳上回參與風險估計誤差的表征;而IGT獨有腦區(qū)，即喙側前扣帶回、后扣帶回和左側顳中回，參與了兩種估計誤差的學習。特別地，兩種估計誤差的表征可能具有獨立的神經基礎，而兩種估計誤差的學習則具有共同的神經基礎。
　　然而，IGT中獨有的腦區(qū)，其功能可能存在其他的解釋（而不是估計誤差的學習），例如任務難度的增加導致的更多表征腦區(qū)。為了更直接地驗證，IGT和RDT共同的腦區(qū)與IGT獨有腦區(qū)的功能不同，我們做了進一步補充分析。因為估計誤差

10、學習相關的腦區(qū)，其活動水平應該與學習進程相關，所以我們分析了這兩種腦區(qū)的活動與“不確定性”的關系;此外，估計誤差學習相關的腦區(qū)如果參與了估計的修正，那么可能與獎賞/風險估計有關腦區(qū)的存在功能連接，因此我們用生理心理交互作用的方法加以驗證。
　　結果發(fā)現(xiàn):(1) IGT獨有腦區(qū)（喙側前扣帶回、后扣帶回和左側顳中回）中，喙側前扣帶回對獎賞估計誤差的響應水平隨著不確定水平的降低而明顯增加(p＜0.05)，而兩種任務共同的腦區(qū)對獎賞/風險

11、估計誤差的響應水平則與不確定性無明顯關系;(2)在產生獎賞估計誤差時，喙側前扣帶回、后扣帶回與獎賞估計的相關腦區(qū)存在功能連接，而其他腦區(qū)與獎賞估計的相關腦區(qū)不存在顯著功能連接。
　　最后，由于fMRI的數據本質上反映的是相關關系，所以我們運用多通道經顱直流電刺激（High-definition transcranial direct current stimulation，HD-tDCS），以微弱的電流暫時性抑制IGT獨有的腦區(qū)（

12、喙側前扣帶回，后扣帶回）。結果發(fā)現(xiàn)，抑制這些腦區(qū)，降低了個體在IGT中的行為成績，但不影響RDT的成績。這一結果進一步提示了，IGT獨有的腦區(qū)對估計誤差的學習和決策優(yōu)化是必要的。
　　總之，我們通過對比IGT和RDT中估計誤差的相關腦區(qū)，獲得了IGT和RDT中共有的腦區(qū)和IGT中獨有的腦區(qū)，并發(fā)現(xiàn)，共有的腦區(qū)中，獎賞估計誤差和風險估計誤差有獨立的神經基礎，而在IGT獨有的腦區(qū)中，獎賞估計誤差和風險估計誤差有共同的神經基礎。此外，我