圍棋人機(jī)大戰(zhàn)背后與人工智能發(fā)展

1、圍棋人機(jī)大戰(zhàn)的背后與人工智能發(fā)展趨勢(shì),劉知青 北京郵電大學(xué)教授、計(jì)算機(jī)圍棋研究所所長(zhǎng)（注：本文由劉教授于2016年4月在圍棋TV上的發(fā)言整理而成）,報(bào)告提綱,什么是本次圍棋人機(jī)大戰(zhàn)的看點(diǎn)？為什么是圍棋問題？AlphaGo是如何解決圍棋問題的？如何展望圍棋人機(jī)大戰(zhàn)之后的人工智能？,樊麾，與圍棋人機(jī)大戰(zhàn)的賽前預(yù)測(cè),AlphaGo開發(fā)過程：1）項(xiàng)目正式開始于2014年2）2015年7月已完全超越現(xiàn)有AI3）2015年10

2、月已5:0戰(zhàn)勝了樊麾4）2016年1月完全超越了普通職業(yè)棋手樊麾的提示：說我棋臭的，我承認(rèn)，確實(shí)棋臭,李世石，與圍棋人機(jī)大戰(zhàn)的結(jié)果,李世石完敗李世石贏的一盤也是因?yàn)锳lphaGo在大幅領(lǐng)先局勢(shì)下的失誤AlphaGo在展現(xiàn)強(qiáng)大力量的同時(shí)，也暴露潛在的問題和弱點(diǎn),柯杰，與圍棋人機(jī)大戰(zhàn)的看點(diǎn),不是普通意義上的挑戰(zhàn)比賽，更是公司內(nèi)部的系統(tǒng)測(cè)試AlphaGo展現(xiàn)了獨(dú)特的圍棋風(fēng)格優(yōu)秀的大局觀和強(qiáng)大的總體把握能力簡(jiǎn)明直接的局部定

3、型，，雖非最優(yōu)，但瑕不掩瑜算法仍然存在弱點(diǎn)，還有很大改進(jìn)空間柯杰：“就算AlphaGo戰(zhàn)勝了李世石，但它贏不了我”,為什么是圍棋？,最復(fù)雜（注：狀態(tài)復(fù)雜度與博弈復(fù)雜度）的智力游戲：看似簡(jiǎn)單，實(shí)為復(fù)雜，具有10的170次方狀態(tài)復(fù)雜空間。涉及邏輯推理，形象思維，優(yōu)化選擇等多種人類智能（注：國(guó)際象棋只有邏輯推理，沒有形象思維）公認(rèn)是人工智能領(lǐng)域長(zhǎng)期以來的重大挑戰(zhàn)國(guó)際學(xué)術(shù)界曾經(jīng)普遍認(rèn)為解決圍棋問題需要15-20年時(shí)間,Alph

4、aGo的核心方法,由于天文數(shù)字的狀態(tài)空間和搜索空間，蠻力計(jì)算無法解決圍棋問題（注：解決國(guó)際象棋的IBM深藍(lán)是用蠻力方法，就是靠計(jì)算，這種方法在圍棋這么大的計(jì)算與搜索空間是無法進(jìn)行的）圍棋職業(yè)棋手的解決方法：棋感直覺+搜索驗(yàn)證AlphaGo的核心方法完全類似于完全職業(yè)棋手的解決方法AlphaGo的優(yōu)勢(shì)：完全以勝率為目標(biāo)，不受任何其它因素影響,深度神經(jīng)網(wǎng)絡(luò)：棋感直覺,棋感直覺，是高水平圍棋對(duì)弈的要素反應(yīng)了職業(yè)棋手長(zhǎng)期學(xué)習(xí)、訓(xùn)練、對(duì)弈

5、的經(jīng)驗(yàn)積累AlphaGo通過深度神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)，獲得圍棋棋感直覺，并且訓(xùn)練強(qiáng)度遠(yuǎn)超出任何棋手的個(gè)人能力（注：有的圍棋對(duì)弈軟件如：Zen，沒有棋感直覺，每走一步軟件是硬寫上去的，這個(gè)是規(guī)則，不是棋感直覺。規(guī)則的覆蓋面非常小，圍棋的變化太多）（訓(xùn)練兩個(gè)網(wǎng)絡(luò)，policy network走子網(wǎng)絡(luò)和value network估值網(wǎng)絡(luò)）,策略網(wǎng)絡(luò)：落子棋感,深度神經(jīng)網(wǎng)絡(luò)的有監(jiān)督學(xué)習(xí)學(xué)習(xí)職業(yè)棋手和業(yè)余高段棋 手的棋譜（數(shù)十萬份棋譜，

6、 上億數(shù)量級(jí)的落子方式）獲得在圍棋盤面下的落子棋感,價(jià)值網(wǎng)絡(luò)：勝負(fù)棋感,深度神經(jīng)網(wǎng)絡(luò)的增強(qiáng)型學(xué)習(xí)（DeepMind獨(dú)創(chuàng)）通過自我博弈，學(xué)習(xí)不同盤面下的勝負(fù)情況（三千萬盤自我對(duì)局）獲取在圍棋盤面的勝負(fù)棋感（注：對(duì)每一個(gè)落子點(diǎn)給一個(gè)當(dāng)時(shí)的快速的勝負(fù)感（估算），這個(gè)勝負(fù)估算并不是根據(jù)分析計(jì)算出來的，而是直覺）（通過AlphaGo幾千萬盤的訓(xùn)練學(xué)習(xí)得來的）,蒙特卡洛樹搜索：搜索驗(yàn)證,沒有棋感直覺不行，完全依賴棋感直覺也不行

7、直覺需要通過嚴(yán)格的數(shù)學(xué)模型和計(jì)算方法，對(duì)棋感直覺進(jìn)行驗(yàn)證AlphaGo使用蒙特卡洛樹搜索，對(duì)落子棋感和勝負(fù)感進(jìn)行計(jì)算驗(yàn)證。,蒙特卡洛樹搜索,蒙特卡洛模擬采樣：勝負(fù)棋感驗(yàn)證,基于數(shù)學(xué)期望的勝負(fù)評(píng)估模型（勝率）基于蒙特卡洛模擬進(jìn)行勝負(fù)結(jié)果采樣（模擬采樣比直覺更可靠）根據(jù)模擬采樣結(jié)果驗(yàn)證盤面勝負(fù)的數(shù)學(xué)期望可靠程度與采樣規(guī)模相關(guān)（采樣越大，離真理會(huì)更近些）,勝負(fù)棋感驗(yàn)證（采用b圖）,最大信心上限搜索：落子棋感驗(yàn)證,最大信心上限

8、搜索是在線機(jī)器學(xué)習(xí)的重要方法（不同的選點(diǎn)通過樹搜索）平衡機(jī)器學(xué)習(xí)過程中探索與利用之間的矛盾搜索最優(yōu)的落子點(diǎn)，同時(shí)也是搜索次數(shù)最多的、信心最大的、勝率最高的落子點(diǎn)（在最優(yōu)的落子點(diǎn)做大量的搜索）,落子棋感驗(yàn)證（采用e圖）,搜索結(jié)果：雙方最佳的落子序列,落子過程的最終搜索結(jié)果是雙方最佳的落子序列，反映了對(duì)棋局進(jìn)程的展望（不太靠譜的可能搜索5-6步就停下來，最有可能的就搜索深一些，學(xué)習(xí)上限自動(dòng)做的）在一般情況下，28步落子序列展望遠(yuǎn)遠(yuǎn)

9、超出圍棋職業(yè)選手的搜索深度在特殊情況下（一本道），28步的搜索深度仍顯不足（例如打劫，由于步數(shù)較多搜索深度可能不足，如果機(jī)器被引入一個(gè)比較復(fù)雜的局面，這個(gè)局面有可能會(huì)超出它的思維搜索深度）注：AlphaGo的底層技術(shù)還是蒙特卡洛樹搜索，它用了神經(jīng)網(wǎng)絡(luò)的棋感直覺進(jìn)行有效剪枝（樹可以分枝不要那么寬，到了某個(gè)程度就不需要往下搜索沒有意義，是過去技術(shù)的升級(jí)）,搜索結(jié)果：雙方最佳的落子序列-28步搜索,圍棋人機(jī)大戰(zhàn)之后的人工智能展望,人工智能

10、的技術(shù)基礎(chǔ)人工智能的核心方法：直覺獲取、搜索驗(yàn)證、優(yōu)化選擇人工智能的應(yīng)用展望,人工智能的三大技術(shù)基礎(chǔ),1、大數(shù)據(jù)2、廉價(jià)的并行計(jì)算3、深度神經(jīng)網(wǎng)絡(luò)（其直覺的東西就是通過深度神經(jīng)網(wǎng)絡(luò)利用大數(shù)據(jù)進(jìn)行訓(xùn)練）,人工智能的核心方法：直覺獲取,直覺：不經(jīng)過思考過程，很快就能出現(xiàn)的直接想法、感覺、信念或者偏好（這個(gè)非常重要，其強(qiáng)大的力量。如：落子的直覺，勝負(fù)的直覺、棋盤的直覺、棋形的直覺）英文Intuition來自于拉丁語：int

11、ueri，意思是“往里看”、“默觀”通過深度神經(jīng)網(wǎng)絡(luò)和大數(shù)據(jù)的訓(xùn)練而獲得,人工智能的核心方法：搜索驗(yàn)證,驗(yàn)證：為直覺建立真實(shí)性、準(zhǔn)確性和可靠性的檢驗(yàn)過程驗(yàn)證是核實(shí)直覺不存在偏差的一個(gè)充分條件由于廉價(jià)并行計(jì)算和大數(shù)據(jù)的支持，直覺可以通過搜索計(jì)算來驗(yàn)證,人工智能的核心方法：優(yōu)化選擇,人類生活面臨一系列的抉擇問題（注：有了直覺和驗(yàn)證就可以找一個(gè)最好的）A.手里的股票是持有還是拋售B.駕駛員到交通燈前是左拐還是右拐直覺獲取和

12、搜索驗(yàn)證的結(jié)合使用，可以提供優(yōu)化選擇,人工智能的應(yīng)用展望：優(yōu)化決策,國(guó)防：戰(zhàn)略決策與戰(zhàn)術(shù)決策醫(yī)療：診斷決策與治療決策金融：投資決策與市場(chǎng)決策交通：資源決策與物流決策,劉知青教授的總結(jié)1,過去10年計(jì)算機(jī)圍棋一直使用新的技術(shù)：蒙特卡洛樹搜索蒙特卡洛樹搜索底層有一個(gè)堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)：上層使用并行計(jì)算，通過計(jì)算進(jìn)行模擬、采樣一系列的數(shù)學(xué)方法使計(jì)算機(jī)圍棋有明顯提高蒙特卡洛樹搜索也是AlphaGo的一個(gè)基本技術(shù)點(diǎn),劉知青教授的總

13、結(jié)2,在此之上又使用了新的技術(shù)，就是基于機(jī)器學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)這個(gè)神經(jīng)網(wǎng)絡(luò)有很大的作用：1、通過學(xué)習(xí)高水平棋手的棋譜，獲得如何在盤面落子的棋感2、提高機(jī)器的增強(qiáng)型學(xué)習(xí)，獲得形勢(shì)判斷的棋感這兩個(gè)棋感提供給蒙特卡洛樹搜索技術(shù)進(jìn)行驗(yàn)證，從而達(dá)到目前的技術(shù)突破,劉知青教授的總結(jié)3,計(jì)算機(jī)在這次人機(jī)大戰(zhàn)中使用了與職業(yè)棋手相似的方式，通過棋感（落子棋感、形勢(shì)判斷棋感）再加上邏輯判斷進(jìn)行落子。計(jì)算機(jī)沒有其它因素的干擾，不受情緒影響。這是它在這