利用fMRI研究人類決策中估計(jì)誤差的表征和學(xué)習(xí)的神經(jīng)機(jī)制.pdf

1、決策過程中，選項(xiàng)的實(shí)際獎(jiǎng)賞/風(fēng)險(xiǎn)與預(yù)期獎(jiǎng)賞/風(fēng)險(xiǎn)之間的差別，稱之為獎(jiǎng)賞/風(fēng)險(xiǎn)估計(jì)誤差。強(qiáng)化學(xué)習(xí)的計(jì)算模型認(rèn)為，估計(jì)誤差的學(xué)習(xí)在強(qiáng)化學(xué)習(xí)過程中起到了關(guān)鍵作用。神經(jīng)生物學(xué)的研究表明，估計(jì)誤差的學(xué)習(xí)的神經(jīng)基礎(chǔ)可能存在于中腦多巴胺能神經(jīng)元及其投射的紋狀體和前額葉等。
　　然而，強(qiáng)化學(xué)習(xí)的估計(jì)誤差處理過程中，這些腦區(qū)的作用區(qū)分、以及是否都參與了估計(jì)誤差的學(xué)習(xí)，并不清楚。我們提出這個(gè)問題主要從以下三個(gè)角度考慮:
　　首先，不同的決策任務(wù)

2、中，估計(jì)誤差的作用不同。有的任務(wù)中，各選項(xiàng)的輸/贏概率是明確的。此時(shí)，各選項(xiàng)的期望獎(jiǎng)賞/風(fēng)險(xiǎn)可以直接估算出來。只因?yàn)槭歉怕适录?，所以即便可以?jì)算出期望獎(jiǎng)賞/風(fēng)險(xiǎn)，實(shí)際結(jié)果也可能和期望值之間存在差別，即獎(jiǎng)賞/風(fēng)險(xiǎn)估計(jì)誤差。但這種情況下，估計(jì)誤差不代表期望獎(jiǎng)賞/風(fēng)險(xiǎn)改變了，即不被學(xué)習(xí)，也不影響之后的預(yù)期;相反，有的任務(wù)中，各選項(xiàng)的概率是未知的。此時(shí)，個(gè)體預(yù)估各選項(xiàng)的獎(jiǎng)賞/風(fēng)險(xiǎn)時(shí)，之前的估計(jì)誤差是重要的學(xué)習(xí)內(nèi)容，可以幫助修正對(duì)輸/贏概率的認(rèn)知

3、和各選項(xiàng)的預(yù)期。由此可見，估計(jì)誤差的在不同的任務(wù)中，作用不同。為了表述的方便，這里，我們把與學(xué)習(xí)或者修正無關(guān)的認(rèn)知加工過程稱為估計(jì)誤差的表征，而用來學(xué)習(xí)和修正的認(rèn)知加工過程稱為估計(jì)誤差的學(xué)習(xí)。
　　其次，估計(jì)誤差的不同作用的神經(jīng)機(jī)制仍然不清楚。例如，Schonberg采用了一個(gè)概率未知的決策任務(wù)，發(fā)現(xiàn)，最終掌握概率的學(xué)會(huì)組，在產(chǎn)生獎(jiǎng)賞估計(jì)誤差時(shí)紋狀體激活;相反，未學(xué)會(huì)組的紋狀體則沒有激活。但是，在這個(gè)任務(wù)中，估計(jì)誤差可能有表征和學(xué)

4、習(xí)兩個(gè)加工過程。未學(xué)會(huì)組的障礙可能是在表征，也可能是在學(xué)習(xí)，所以紋狀體到底是參與了獎(jiǎng)賞估計(jì)誤差的表征還是學(xué)習(xí)仍然不清楚。此外，前人的神經(jīng)成像研究，也提示了強(qiáng)化學(xué)習(xí)中，估計(jì)誤差的處理存在不同的神經(jīng)基礎(chǔ)。在概率已知的決策任務(wù)中，風(fēng)險(xiǎn)估計(jì)誤差會(huì)引起腦島的激活。而在概率未知的決策任務(wù)中，風(fēng)險(xiǎn)估計(jì)誤差不僅與腦島有關(guān)，還與前扣帶回、額葉等有關(guān)。這些結(jié)果提示，這兩種不同的決策任務(wù)中的估計(jì)誤差，可能有一部分共有的神經(jīng)基礎(chǔ)（如腦島），這些腦區(qū)的神經(jīng)活動(dòng)可

5、能參與了估計(jì)誤差的表征;而概率未知的決策任務(wù)中，估計(jì)誤差可能涉及到了額外的腦區(qū)（如前扣帶回、額葉），這些腦區(qū)可能參與了修正估計(jì)，即參與了估計(jì)誤差的學(xué)習(xí)。
　　最后，關(guān)于多巴胺的功能，目前主要的兩個(gè)理論是獎(jiǎng)賞估計(jì)誤差假設(shè)和動(dòng)機(jī)顯著假說。前者認(rèn)為多巴胺的主要功能是學(xué)習(xí)，尤其是對(duì)估計(jì)誤差的學(xué)習(xí);而后者卻認(rèn)為，獎(jiǎng)賞估計(jì)誤差假設(shè)存在混淆因素，即動(dòng)機(jī)問題，并且認(rèn)為多巴胺的功能不是參與估計(jì)誤差的學(xué)習(xí)。所以，我們區(qū)分估計(jì)誤差相關(guān)的腦區(qū)中的各自功能

6、及與估計(jì)誤差學(xué)習(xí)有關(guān)的腦區(qū)，有利于我們了解多巴胺系統(tǒng)的功能。
　　綜上，估計(jì)誤差的表征與學(xué)習(xí)的神經(jīng)機(jī)制是一個(gè)有意義，但尚未解決的問題。為此，本研究采用兩個(gè)對(duì)比任務(wù)，概率未知的愛荷華博弈任務(wù)(IGT)和概率已知的風(fēng)險(xiǎn)決策任務(wù)(RDT)。這兩個(gè)任務(wù)中，被試都需要對(duì)多個(gè)選項(xiàng)做出判斷，通過選擇有利的選項(xiàng)以獲得獎(jiǎng)賞。這兩個(gè)任務(wù)不同的是，在RDT中，由于獎(jiǎng)賞/風(fēng)險(xiǎn)的大小和概率都是已知的，個(gè)體在每次選擇時(shí)無需對(duì)估計(jì)誤差進(jìn)行學(xué)習(xí)，就能夠直接做出判

7、斷;然而在IGT中，對(duì)獎(jiǎng)賞/風(fēng)險(xiǎn)的概率和較優(yōu)選項(xiàng)的習(xí)得需要通過學(xué)習(xí)估計(jì)誤差來實(shí)現(xiàn)。兩個(gè)任務(wù)的核心差別在于是否需要學(xué)習(xí)估計(jì)誤差。所以，IGT和RDT中的共同腦區(qū)，提示著可能與估計(jì)誤差表征相關(guān);而IGT中特有的腦區(qū)，可能與估計(jì)誤差的學(xué)習(xí)相關(guān)。
　　在本項(xiàng)fMRI研究中，有41名受試者完成了IGT任務(wù)，另40名受試者完成RDT任務(wù)。通過比較IGT和RDT中估計(jì)誤差相關(guān)腦區(qū)的異同，我們發(fā)現(xiàn):(1)在IGT和RDT中共同激活的腦區(qū)，包括雙側(cè)

8、尾核、前腦島和右側(cè)顳上回;只在IGT中激活的腦區(qū)，包括喙側(cè)前扣帶回、后扣帶回和左側(cè)顳中回;(2)在兩種任務(wù)中共同激活的腦區(qū)中，獎(jiǎng)賞估計(jì)誤差相關(guān)腦區(qū)為雙側(cè)尾核，風(fēng)險(xiǎn)估計(jì)誤差相關(guān)腦區(qū)為前腦島，背側(cè)扣帶回和右側(cè)顳上回，沒有發(fā)現(xiàn)與兩種估計(jì)誤差都相關(guān)的腦區(qū);而IGT獨(dú)有的腦區(qū)中，兩種估計(jì)誤差都和喙側(cè)前扣帶回、后扣帶回和左側(cè)顳中回相關(guān)，卻沒有發(fā)現(xiàn)只與某種估計(jì)誤差相關(guān)的腦區(qū)。這些結(jié)果提示，共同腦區(qū)中的尾核參與了獎(jiǎng)賞估計(jì)誤差的表征，前腦島、背側(cè)扣帶回和

9、右側(cè)顳上回參與風(fēng)險(xiǎn)估計(jì)誤差的表征;而IGT獨(dú)有腦區(qū)，即喙側(cè)前扣帶回、后扣帶回和左側(cè)顳中回，參與了兩種估計(jì)誤差的學(xué)習(xí)。特別地，兩種估計(jì)誤差的表征可能具有獨(dú)立的神經(jīng)基礎(chǔ)，而兩種估計(jì)誤差的學(xué)習(xí)則具有共同的神經(jīng)基礎(chǔ)。
　　然而，IGT中獨(dú)有的腦區(qū)，其功能可能存在其他的解釋（而不是估計(jì)誤差的學(xué)習(xí)），例如任務(wù)難度的增加導(dǎo)致的更多表征腦區(qū)。為了更直接地驗(yàn)證，IGT和RDT共同的腦區(qū)與IGT獨(dú)有腦區(qū)的功能不同，我們做了進(jìn)一步補(bǔ)充分析。因?yàn)楣烙?jì)誤差

10、學(xué)習(xí)相關(guān)的腦區(qū)，其活動(dòng)水平應(yīng)該與學(xué)習(xí)進(jìn)程相關(guān)，所以我們分析了這兩種腦區(qū)的活動(dòng)與“不確定性”的關(guān)系;此外，估計(jì)誤差學(xué)習(xí)相關(guān)的腦區(qū)如果參與了估計(jì)的修正，那么可能與獎(jiǎng)賞/風(fēng)險(xiǎn)估計(jì)有關(guān)腦區(qū)的存在功能連接，因此我們用生理心理交互作用的方法加以驗(yàn)證。
　　結(jié)果發(fā)現(xiàn):(1) IGT獨(dú)有腦區(qū)（喙側(cè)前扣帶回、后扣帶回和左側(cè)顳中回）中，喙側(cè)前扣帶回對(duì)獎(jiǎng)賞估計(jì)誤差的響應(yīng)水平隨著不確定水平的降低而明顯增加(p＜0.05)，而兩種任務(wù)共同的腦區(qū)對(duì)獎(jiǎng)賞/風(fēng)險(xiǎn)

11、估計(jì)誤差的響應(yīng)水平則與不確定性無明顯關(guān)系;(2)在產(chǎn)生獎(jiǎng)賞估計(jì)誤差時(shí)，喙側(cè)前扣帶回、后扣帶回與獎(jiǎng)賞估計(jì)的相關(guān)腦區(qū)存在功能連接，而其他腦區(qū)與獎(jiǎng)賞估計(jì)的相關(guān)腦區(qū)不存在顯著功能連接。
　　最后，由于fMRI的數(shù)據(jù)本質(zhì)上反映的是相關(guān)關(guān)系，所以我們運(yùn)用多通道經(jīng)顱直流電刺激（High-definition transcranial direct current stimulation，HD-tDCS），以微弱的電流暫時(shí)性抑制IGT獨(dú)有的腦區(qū)（

12、喙側(cè)前扣帶回，后扣帶回）。結(jié)果發(fā)現(xiàn)，抑制這些腦區(qū)，降低了個(gè)體在IGT中的行為成績，但不影響RDT的成績。這一結(jié)果進(jìn)一步提示了，IGT獨(dú)有的腦區(qū)對(duì)估計(jì)誤差的學(xué)習(xí)和決策優(yōu)化是必要的。
　　總之，我們通過對(duì)比IGT和RDT中估計(jì)誤差的相關(guān)腦區(qū)，獲得了IGT和RDT中共有的腦區(qū)和IGT中獨(dú)有的腦區(qū)，并發(fā)現(xiàn)，共有的腦區(qū)中，獎(jiǎng)賞估計(jì)誤差和風(fēng)險(xiǎn)估計(jì)誤差有獨(dú)立的神經(jīng)基礎(chǔ)，而在IGT獨(dú)有的腦區(qū)中，獎(jiǎng)賞估計(jì)誤差和風(fēng)險(xiǎn)估計(jì)誤差有共同的神經(jīng)基礎(chǔ)。此外，我