利用fMRI研究人類決策中估計誤差的表征和學(xué)習(xí)的神經(jīng)機(jī)制.pdf

1、決策過程中，選項的實際獎賞/風(fēng)險與預(yù)期獎賞/風(fēng)險之間的差別，稱之為獎賞/風(fēng)險估計誤差。強(qiáng)化學(xué)習(xí)的計算模型認(rèn)為，估計誤差的學(xué)習(xí)在強(qiáng)化學(xué)習(xí)過程中起到了關(guān)鍵作用。神經(jīng)生物學(xué)的研究表明，估計誤差的學(xué)習(xí)的神經(jīng)基礎(chǔ)可能存在于中腦多巴胺能神經(jīng)元及其投射的紋狀體和前額葉等。
　　然而，強(qiáng)化學(xué)習(xí)的估計誤差處理過程中，這些腦區(qū)的作用區(qū)分、以及是否都參與了估計誤差的學(xué)習(xí)，并不清楚。我們提出這個問題主要從以下三個角度考慮:
　　首先，不同的決策任務(wù)

2、中，估計誤差的作用不同。有的任務(wù)中，各選項的輸/贏概率是明確的。此時，各選項的期望獎賞/風(fēng)險可以直接估算出來。只因為是概率事件，所以即便可以計算出期望獎賞/風(fēng)險，實際結(jié)果也可能和期望值之間存在差別，即獎賞/風(fēng)險估計誤差。但這種情況下，估計誤差不代表期望獎賞/風(fēng)險改變了，即不被學(xué)習(xí)，也不影響之后的預(yù)期;相反，有的任務(wù)中，各選項的概率是未知的。此時，個體預(yù)估各選項的獎賞/風(fēng)險時，之前的估計誤差是重要的學(xué)習(xí)內(nèi)容，可以幫助修正對輸/贏概率的認(rèn)知

3、和各選項的預(yù)期。由此可見，估計誤差的在不同的任務(wù)中，作用不同。為了表述的方便，這里，我們把與學(xué)習(xí)或者修正無關(guān)的認(rèn)知加工過程稱為估計誤差的表征，而用來學(xué)習(xí)和修正的認(rèn)知加工過程稱為估計誤差的學(xué)習(xí)。
　　其次，估計誤差的不同作用的神經(jīng)機(jī)制仍然不清楚。例如，Schonberg采用了一個概率未知的決策任務(wù)，發(fā)現(xiàn)，最終掌握概率的學(xué)會組，在產(chǎn)生獎賞估計誤差時紋狀體激活;相反，未學(xué)會組的紋狀體則沒有激活。但是，在這個任務(wù)中，估計誤差可能有表征和學(xué)

4、習(xí)兩個加工過程。未學(xué)會組的障礙可能是在表征，也可能是在學(xué)習(xí)，所以紋狀體到底是參與了獎賞估計誤差的表征還是學(xué)習(xí)仍然不清楚。此外，前人的神經(jīng)成像研究，也提示了強(qiáng)化學(xué)習(xí)中，估計誤差的處理存在不同的神經(jīng)基礎(chǔ)。在概率已知的決策任務(wù)中，風(fēng)險估計誤差會引起腦島的激活。而在概率未知的決策任務(wù)中，風(fēng)險估計誤差不僅與腦島有關(guān)，還與前扣帶回、額葉等有關(guān)。這些結(jié)果提示，這兩種不同的決策任務(wù)中的估計誤差，可能有一部分共有的神經(jīng)基礎(chǔ)（如腦島），這些腦區(qū)的神經(jīng)活動可

5、能參與了估計誤差的表征;而概率未知的決策任務(wù)中，估計誤差可能涉及到了額外的腦區(qū)（如前扣帶回、額葉），這些腦區(qū)可能參與了修正估計，即參與了估計誤差的學(xué)習(xí)。
　　最后，關(guān)于多巴胺的功能，目前主要的兩個理論是獎賞估計誤差假設(shè)和動機(jī)顯著假說。前者認(rèn)為多巴胺的主要功能是學(xué)習(xí)，尤其是對估計誤差的學(xué)習(xí);而后者卻認(rèn)為，獎賞估計誤差假設(shè)存在混淆因素，即動機(jī)問題，并且認(rèn)為多巴胺的功能不是參與估計誤差的學(xué)習(xí)。所以，我們區(qū)分估計誤差相關(guān)的腦區(qū)中的各自功能

6、及與估計誤差學(xué)習(xí)有關(guān)的腦區(qū)，有利于我們了解多巴胺系統(tǒng)的功能。
　　綜上，估計誤差的表征與學(xué)習(xí)的神經(jīng)機(jī)制是一個有意義，但尚未解決的問題。為此，本研究采用兩個對比任務(wù)，概率未知的愛荷華博弈任務(wù)(IGT)和概率已知的風(fēng)險決策任務(wù)(RDT)。這兩個任務(wù)中，被試都需要對多個選項做出判斷，通過選擇有利的選項以獲得獎賞。這兩個任務(wù)不同的是，在RDT中，由于獎賞/風(fēng)險的大小和概率都是已知的，個體在每次選擇時無需對估計誤差進(jìn)行學(xué)習(xí)，就能夠直接做出判

7、斷;然而在IGT中，對獎賞/風(fēng)險的概率和較優(yōu)選項的習(xí)得需要通過學(xué)習(xí)估計誤差來實現(xiàn)。兩個任務(wù)的核心差別在于是否需要學(xué)習(xí)估計誤差。所以，IGT和RDT中的共同腦區(qū)，提示著可能與估計誤差表征相關(guān);而IGT中特有的腦區(qū)，可能與估計誤差的學(xué)習(xí)相關(guān)。
　　在本項fMRI研究中，有41名受試者完成了IGT任務(wù)，另40名受試者完成RDT任務(wù)。通過比較IGT和RDT中估計誤差相關(guān)腦區(qū)的異同，我們發(fā)現(xiàn):(1)在IGT和RDT中共同激活的腦區(qū)，包括雙側(cè)

8、尾核、前腦島和右側(cè)顳上回;只在IGT中激活的腦區(qū)，包括喙側(cè)前扣帶回、后扣帶回和左側(cè)顳中回;(2)在兩種任務(wù)中共同激活的腦區(qū)中，獎賞估計誤差相關(guān)腦區(qū)為雙側(cè)尾核，風(fēng)險估計誤差相關(guān)腦區(qū)為前腦島，背側(cè)扣帶回和右側(cè)顳上回，沒有發(fā)現(xiàn)與兩種估計誤差都相關(guān)的腦區(qū);而IGT獨(dú)有的腦區(qū)中，兩種估計誤差都和喙側(cè)前扣帶回、后扣帶回和左側(cè)顳中回相關(guān)，卻沒有發(fā)現(xiàn)只與某種估計誤差相關(guān)的腦區(qū)。這些結(jié)果提示，共同腦區(qū)中的尾核參與了獎賞估計誤差的表征，前腦島、背側(cè)扣帶回和

9、右側(cè)顳上回參與風(fēng)險估計誤差的表征;而IGT獨(dú)有腦區(qū)，即喙側(cè)前扣帶回、后扣帶回和左側(cè)顳中回，參與了兩種估計誤差的學(xué)習(xí)。特別地，兩種估計誤差的表征可能具有獨(dú)立的神經(jīng)基礎(chǔ)，而兩種估計誤差的學(xué)習(xí)則具有共同的神經(jīng)基礎(chǔ)。
　　然而，IGT中獨(dú)有的腦區(qū)，其功能可能存在其他的解釋（而不是估計誤差的學(xué)習(xí)），例如任務(wù)難度的增加導(dǎo)致的更多表征腦區(qū)。為了更直接地驗證，IGT和RDT共同的腦區(qū)與IGT獨(dú)有腦區(qū)的功能不同，我們做了進(jìn)一步補(bǔ)充分析。因為估計誤差

10、學(xué)習(xí)相關(guān)的腦區(qū)，其活動水平應(yīng)該與學(xué)習(xí)進(jìn)程相關(guān)，所以我們分析了這兩種腦區(qū)的活動與“不確定性”的關(guān)系;此外，估計誤差學(xué)習(xí)相關(guān)的腦區(qū)如果參與了估計的修正，那么可能與獎賞/風(fēng)險估計有關(guān)腦區(qū)的存在功能連接，因此我們用生理心理交互作用的方法加以驗證。
　　結(jié)果發(fā)現(xiàn):(1) IGT獨(dú)有腦區(qū)（喙側(cè)前扣帶回、后扣帶回和左側(cè)顳中回）中，喙側(cè)前扣帶回對獎賞估計誤差的響應(yīng)水平隨著不確定水平的降低而明顯增加(p＜0.05)，而兩種任務(wù)共同的腦區(qū)對獎賞/風(fēng)險

11、估計誤差的響應(yīng)水平則與不確定性無明顯關(guān)系;(2)在產(chǎn)生獎賞估計誤差時，喙側(cè)前扣帶回、后扣帶回與獎賞估計的相關(guān)腦區(qū)存在功能連接，而其他腦區(qū)與獎賞估計的相關(guān)腦區(qū)不存在顯著功能連接。
　　最后，由于fMRI的數(shù)據(jù)本質(zhì)上反映的是相關(guān)關(guān)系，所以我們運(yùn)用多通道經(jīng)顱直流電刺激（High-definition transcranial direct current stimulation，HD-tDCS），以微弱的電流暫時性抑制IGT獨(dú)有的腦區(qū)（

12、喙側(cè)前扣帶回，后扣帶回）。結(jié)果發(fā)現(xiàn)，抑制這些腦區(qū)，降低了個體在IGT中的行為成績，但不影響RDT的成績。這一結(jié)果進(jìn)一步提示了，IGT獨(dú)有的腦區(qū)對估計誤差的學(xué)習(xí)和決策優(yōu)化是必要的。
　　總之，我們通過對比IGT和RDT中估計誤差的相關(guān)腦區(qū)，獲得了IGT和RDT中共有的腦區(qū)和IGT中獨(dú)有的腦區(qū)，并發(fā)現(xiàn)，共有的腦區(qū)中，獎賞估計誤差和風(fēng)險估計誤差有獨(dú)立的神經(jīng)基礎(chǔ)，而在IGT獨(dú)有的腦區(qū)中，獎賞估計誤差和風(fēng)險估計誤差有共同的神經(jīng)基礎(chǔ)。此外，我