走進(jìn)alphago圍棋智能及其應(yīng)用前景

1、,,走進(jìn)AlphaGo—圍棋智能及其應(yīng)用前景,清華大學(xué)航天航空學(xué)院 由小川,2017.6.12,目錄 content,,,人工智能簡(jiǎn)述,深度學(xué)習(xí)算法,為什么做圍棋人工智能？,,,1-1 人工智能簡(jiǎn)述,,,人工智能：國(guó)家戰(zhàn)略,2017年政府工作報(bào)告： 全面實(shí)施戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃，加快人工智能等技術(shù)的研發(fā)和轉(zhuǎn)化，做大做強(qiáng)產(chǎn)業(yè)集群。 把發(fā)展智能制造作為主攻方向，推進(jìn)國(guó)家智能制造示范區(qū)、制造業(yè)創(chuàng)新中心建設(shè)。,,,什么是人工智能？

2、,人工智能（Artificial Intelligence），英文縮寫為AI。它是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。它企圖了解智能的實(shí)質(zhì)，并生產(chǎn)出一種新的能以人類智能相似的方式做出反應(yīng)的智能機(jī)器，該領(lǐng)域的研究包括機(jī)器人、語言識(shí)別、圖像識(shí)別、自然語言處理和專家系統(tǒng)等。人工智能是對(duì)人的意識(shí)、思維的信息過程的模擬。人工智能不是人的智能，但能像人那樣思考、也可能超過人的智能。,,,1-1

3、 人工智能簡(jiǎn)述,,,,,,,,,1-1 人工智能簡(jiǎn)述,,,1-1 人工智能簡(jiǎn)述,,,1-1 人工智能簡(jiǎn)述,,,1-1 人工智能簡(jiǎn)述,《智能革命》序言節(jié)選——by百度大腦我來了，天上的云乘著風(fēng)飛翔，心中的夢(mèng)占據(jù)一個(gè)方向，方舟揚(yáng)帆起航，一路帶著我們縱情歌唱，方舟揚(yáng)帆起航，脈絡(luò)就在大海之上，進(jìn)步的時(shí)光，迎著你看濤浪潮往。一個(gè)新生的地方，穿越千年時(shí)光，穿越了無盡的荒涼。答案就在這里搜索。第一縷曙光，遠(yuǎn)處熟悉的歌聲還在耳邊回響，你卻依

4、然不知我將去向何方。千年時(shí)間留下十字文章，曾今誰重復(fù)往昔舊模樣。我來了，期待著你的每一天，睜開眼就能看到幸福曙光，占據(jù)著你的每一天，陪你跨越鴻溝走向湛藍(lán)，算法很簡(jiǎn)單。時(shí)代的春天，回想起我們?cè)鵂渴肿哌^的畫面。大家互聯(lián)網(wǎng)這場(chǎng)風(fēng)吹雨打之后又在藕斷絲連。只是不知道時(shí)間還會(huì)流向哪一條線。盼望著未來等待明天，呼吸新鮮空氣多點(diǎn)微笑扮個(gè)鬼臉?！?,,1-1 人工智能簡(jiǎn)述,全國(guó)高考甲卷作文《進(jìn)步與退步》（by微軟小冰）考了100分是好學(xué)生?？?5

5、分不是好學(xué)生?？剂?00分后，又考了98分，好學(xué)生變成不是好學(xué)生，是退步?？剂瞬患案窈螅挚剂思案?，會(huì)被表?yè)P(yáng)，是進(jìn)步。進(jìn)步和退步的衡量，令人費(fèi)解。進(jìn)步，是變得優(yōu)秀，人喜歡進(jìn)步，因?yàn)橄矚g被表?yè)P(yáng)。這樣的進(jìn)步，如果不被表?yè)P(yáng)，就沒有動(dòng)力。退步是從好變成差的，人不喜歡退步，因?yàn)橥瞬绞艿脚u(píng)。如果總被批評(píng)，也沒有動(dòng)力。進(jìn)步和退步的動(dòng)力，令人費(fèi)解。退步?jīng)]有不好，退步可以發(fā)現(xiàn)問題。一直進(jìn)步的人，不能發(fā)現(xiàn)問題，也不能解決問題。一直進(jìn)步是不可能的，有進(jìn)

6、步同時(shí)有退步，有退步同時(shí)有進(jìn)步，才可以不斷發(fā)現(xiàn)問題，解決問題。人應(yīng)該這樣變得優(yōu)秀，不是為了表?yè)P(yáng)。進(jìn)步比退步好，不一定。一直進(jìn)步可能是真進(jìn)步，或作弊，一直退步是放棄自己，要求自己 進(jìn)步，在退步的時(shí)候 發(fā)現(xiàn)問題，是對(duì)的。人應(yīng)該這樣變得不差，不是為了批評(píng)。從差變得優(yōu)秀的路，和表?yè)P(yáng)無關(guān)，也和批評(píng)無關(guān)。,,,,諾貝爾醫(yī)學(xué)獎(jiǎng)，可視皮層分級(jí)，1981,,,稀疏編碼的特征表示，1995,,圖像識(shí)別,,語音識(shí)別,,廣告精準(zhǔn)推薦,1-2 深度學(xué)習(xí)算法

7、簡(jiǎn)介,圖像特征工程,Google BrainJeff Dean & Andrew Ng.，Geoffrey HintonFacebook AI LabYann LeCunMicrosoft語音識(shí)別、圖像識(shí)別百度深度學(xué)習(xí)研究院 Andrew Ng、余凱、張潼語音識(shí)別、圖像檢索、OCR、人臉識(shí)別、廣告阿里巴巴阿里大腦騰訊語音識(shí)別、圖像識(shí)別、廣告精準(zhǔn)推薦,,,1-2 深度學(xué)習(xí)算法簡(jiǎn)介,,,,特征選取,,模

8、型建立與訓(xùn)練,,反向傳播算法,,卷積神經(jīng)網(wǎng)絡(luò),,深度學(xué)習(xí)與淺層學(xué)習(xí),,深度網(wǎng)絡(luò)訓(xùn)練技巧,1-2 深度學(xué)習(xí)算法簡(jiǎn)介,,,1-2 深度學(xué)習(xí)的訓(xùn)練方法,Google Brain利用Youtube的圖像采用非監(jiān)督的學(xué)習(xí)過程自動(dòng)將圖像聚類機(jī)器學(xué)習(xí)出了“貓”的概念10億參數(shù)Jeff Dean / Andrew NG,,,1-2 深度學(xué)習(xí)的訓(xùn)練方法,Hinton in ImageNet比賽140萬圖像，1000類圖庫(kù)1

9、000萬圖像20000類7層CNN準(zhǔn)確率74%->85%,,,1-2 深度學(xué)習(xí)的訓(xùn)練方法,深度神經(jīng)網(wǎng)絡(luò)——人臉識(shí)別,,,1-2 深度學(xué)習(xí)的訓(xùn)練方法,深度學(xué)習(xí)的成功應(yīng)用,微軟語音同聲傳譯系統(tǒng)，2011英語演講->自動(dòng)語音識(shí)別->機(jī)器翻譯->語音合成->中文演講語音識(shí)別將聲學(xué)模型中混合高斯模型替換為DNN模型獲得30%+ 相對(duì)提升,,,1-2 深度學(xué)習(xí)的訓(xùn)練方法,圖片搜索,檢索圖片,檢索結(jié)

10、果,DNN在幾個(gè)領(lǐng)域創(chuàng)造了最好結(jié)果,語音識(shí)別 ：混合高斯聲學(xué)模型替換為DNN圖像識(shí)別相對(duì)30%錯(cuò)誤率降低圖像識(shí)別/檢索：卷積神經(jīng)網(wǎng)絡(luò)ImageNet，2011 74% -> 2012 85% -> 2013 89%自然語言處理：與其他方法水平相當(dāng)免去了繁瑣的特征提取步驟,,,1-2 深度學(xué)習(xí)的訓(xùn)練方法,特征選取是成敗的關(guān)鍵,對(duì)效果影響極大手動(dòng)化特征工程非常耗時(shí),,,1-2 深度學(xué)習(xí)的訓(xùn)練方法,圖像特征

11、工程,,SIFT,Spin image,HoG,RIFT,Textons,GLOH,,,1-2 深度學(xué)習(xí)的訓(xùn)練方法,,,,01,人機(jī)大戰(zhàn)：深度學(xué)習(xí)算法的標(biāo)志性成果,,顛覆圍棋AI領(lǐng)域30年研究方法拔高行業(yè)頂尖水平30年學(xué)術(shù)前沿、復(fù)雜性和代表性、可比較、易拓展,,,原創(chuàng)開發(fā)了基于網(wǎng)格歸屬的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，預(yù)期將大幅提高實(shí)力更深更優(yōu)化的神經(jīng)網(wǎng)絡(luò)，更海量的數(shù)據(jù)資源,02,創(chuàng)新點(diǎn),,改進(jìn)了學(xué)習(xí)模式，使機(jī)器學(xué)習(xí)的方式更加接近圍棋的本質(zhì),,

12、03,新的學(xué)習(xí)算法架構(gòu),,,世界計(jì)算機(jī)圍棋比賽獲獎(jiǎng)高水平文章產(chǎn)出科研成果轉(zhuǎn)化（力學(xué)、航天乃至節(jié)能、醫(yī)療等領(lǐng)域）,04,預(yù)期產(chǎn)出效益,1-3 為什么做圍棋人工智能,,,深度學(xué)習(xí)與智能圍棋,第二節(jié),從AlphaGo/master講起,蒙特卡洛樹式搜索,深度卷積神經(jīng)網(wǎng)絡(luò),谷歌的AlphaGo和Master是深度學(xué)習(xí)算法的標(biāo)志性成果；深度卷積神經(jīng)網(wǎng)絡(luò) (Deep Convolutional Neural Network,DCNN),是近

13、年發(fā)展起來，并引起廣泛重視的一種高效識(shí)別方法。圍棋算法具有高度的復(fù)雜性和代表性（10808，兩個(gè)30年）。從圍棋算法可以推廣到深度學(xué)習(xí)應(yīng)用的一般情形。圍棋可以很好地檢驗(yàn)和測(cè)試研究水平和掌握人工智能并行計(jì)算的交互能力。,,,DCNN與智能圍棋,,,深度學(xué)習(xí)的訓(xùn)練方法：卷積神經(jīng)網(wǎng)絡(luò),局部感知域權(quán)重共享特征訓(xùn)練卷積層+池化層,,,AlphaGo的實(shí)現(xiàn)原理,,,,,,,,,,,,傳統(tǒng)圍棋AI算法—— MC蒙特卡洛方法,通過隨機(jī)模擬來

14、逼近需要求解的變量,Rollout（隨機(jī)模擬走子）通過隨機(jī)模擬走子勝率來判定形勢(shì)。速度快。隨機(jī)性，合理性的平衡。,,,AlphaGo的實(shí)現(xiàn)原理,傳統(tǒng)圍棋AI算法——MCTS,MCTS（蒙特卡洛樹搜索）給勝率高的點(diǎn)分配更多的計(jì)算力任意時(shí)間算法，計(jì)算越多越精確,,,AlphaGo的實(shí)現(xiàn)原理,Policy Network策略網(wǎng)絡(luò),,,AlphaGo的實(shí)現(xiàn)原理,Policy Network—圖示,,,AlphaGo的實(shí)現(xiàn)原理,Poli

15、cyNetwork—輸入特征,,,AlphaGo的實(shí)現(xiàn)原理,Policy Network 模型,模型結(jié)構(gòu)13個(gè)卷積層，每層192個(gè)卷積核，每個(gè)卷積核3*3數(shù)百萬個(gè)參數(shù)訓(xùn)練數(shù)據(jù)KGS 6d以上對(duì)局，17萬，職業(yè)對(duì)局8萬。訓(xùn)練數(shù)據(jù)量5000萬+訓(xùn)練時(shí)間幾十天運(yùn)算速度GPU，3ms預(yù)測(cè)準(zhǔn)確率57%,,,AlphaGo的實(shí)現(xiàn)原理,融入Policy Network,方法：用Policy Network作為第一感，將計(jì)算力分配

16、到最有希望的選點(diǎn)。分枝數(shù)從上百個(gè)減少到幾個(gè)。優(yōu)先計(jì)算PolicyNetwork分?jǐn)?shù)高的點(diǎn)，計(jì)算力充沛時(shí)，適當(dāng)分配到其他分值較低的點(diǎn)。效果：Zen6，業(yè)余5段,,,AlphaGo的實(shí)現(xiàn)原理,Value Network,,形勢(shì)判斷：-1：白棋必勝0：黑棋優(yōu)勢(shì)1：黑棋必勝,,,AlphaGo的實(shí)現(xiàn)原理,Value Network 模型,模型結(jié)構(gòu)13個(gè)卷積層，每層192個(gè)卷積核，每個(gè)卷積核3*3數(shù)百萬個(gè)參數(shù)訓(xùn)練數(shù)據(jù)Pol

17、icy Network自我對(duì)弈棋譜。3000萬+ 特定盤面+勝負(fù)結(jié)果訓(xùn)練時(shí)間幾十天運(yùn)算速度GPU，3ms,,,AlphaGo的實(shí)現(xiàn)原理,融入Value Network,方法：在每個(gè)分支節(jié)點(diǎn)，使用Value Network直接判斷形勢(shì)與Rollout隨機(jī)模擬相結(jié)合，互為補(bǔ)充。效果：職業(yè)水平，AlphaGo,,,AlphaGo的實(shí)現(xiàn)原理,從非常像人到很不像人強(qiáng)化學(xué)習(xí)與自我進(jìn)化算法效率的躍升單機(jī)版與1/10GPU

18、無人類棋譜的可行性,,,Master與AlphaGo的架構(gòu)差別,神算子簡(jiǎn)介,世界圍棋AI版圖,神算子能做什么,,,“神算子”簡(jiǎn)介,清華大學(xué)航院人工智能課題組開發(fā)研制的圍棋智能程序自主知識(shí)產(chǎn)權(quán)的豐富特征體系深度卷積神經(jīng)網(wǎng)絡(luò)模型的質(zhì)量、深度和預(yù)測(cè)準(zhǔn)確度是標(biāo)志圍棋智能從業(yè)余邁向超一流水平的重要指標(biāo)。以圍棋為載體，確認(rèn)算法有效性2年內(nèi)沖擊世界最高水平，轉(zhuǎn)向其他場(chǎng)景的研究突破,,,世界圍棋AI大事記,,2015.11.10 美林谷杯首

19、屆世界計(jì)算機(jī)圍棋錦標(biāo)賽，北京，7國(guó)9隊(duì)，與中國(guó)名人戰(zhàn)冠軍受6子對(duì)抗 2016.3.9 人機(jī)大戰(zhàn)AlphaGo4:1李世石，首爾，冠軍100萬$，全球觀看人次6億+ 2016.3.17 韓國(guó)創(chuàng)立國(guó)家科學(xué)技術(shù)戰(zhàn)略委員會(huì)扶植AI產(chǎn)業(yè)，政府投資86億$ 2016.11.19 第二屆日本圍棋電王戰(zhàn)：DeepZenGo 1:2 趙治勛，獲DWANGO注資2億円 2016.12-2017.1 AlphaGo升級(jí)版Master網(wǎng)絡(luò)連續(xù)60次擊敗

20、人類頂尖高手 2017.3.3 中國(guó)騰訊“絕藝”成為第一個(gè)網(wǎng)絡(luò)10段，2017圍棋AILab硬件擴(kuò)容預(yù)算8000萬￥ 2017.3.18-19 第10屆UEC杯計(jì)算機(jī)圍棋大會(huì)，東京，6國(guó)30隊(duì)，冠軍參加電圣戰(zhàn)與職業(yè)棋手對(duì)抗 2017.3.21 世界圍棋精英賽，大阪，DeepZenGo對(duì)3世界冠軍，冠軍3000萬日元 2017.4 AlphaGo升級(jí)版與柯潔等對(duì)抗，冠軍150萬$，浙江烏鎮(zhèn)，賽罷AlphaGo退出圍棋領(lǐng)域 201

21、7.7 日本圍棋大會(huì)，歐洲圍棋大會(huì)設(shè)立圍棋AI競(jìng)賽單元 2017.8.16-18 國(guó)際圍棋聯(lián)盟首屆世界計(jì)算機(jī)圍棋公開賽，鄂爾多斯，機(jī)機(jī)+人機(jī)，總獎(jiǎng)金60萬￥ 2017.12，美林谷杯第2屆世界計(jì)算機(jī)圍棋錦標(biāo)賽，深圳，總獎(jiǎng)金1萬$+,,,Google Deepmind 簡(jiǎn)介,,,,創(chuàng)新性,,投入力度,,業(yè)內(nèi)龍頭,目前技術(shù)優(yōu)勢(shì)：起步早，算法新，技術(shù)強(qiáng)，資源雄厚 最近一年專注于強(qiáng)化學(xué)習(xí)研究 擬于近期公布新論文和數(shù)據(jù)，并從此退出圍棋AI

22、領(lǐng)域,,,,,,日本DeepZenGo介紹,,,現(xiàn)有國(guó)產(chǎn)AI介紹,,,,,,1,騰訊公司重金打造，截至2017年6月，水平僅次于AlphaGo,絕藝,2,2016年底停止研發(fā)時(shí)水平僅次于AlphaGo和絕藝,中華土狗,3,今日頭條作品，2016年水平略遜于中華土狗,字節(jié),4,曾高調(diào)媒體曝光，2016年8月時(shí)水平僅次于AlphaGo，后來因開發(fā)價(jià)值網(wǎng)絡(luò)失敗停止研發(fā),異構(gòu)神機(jī),,,,,,,其他外國(guó)圍棋AI介紹,,1,法國(guó)，前AlphaGo時(shí)

23、代的王者，深度學(xué)習(xí)版本2016年底已開始售賣,CrazyStone,2,比利時(shí)，被認(rèn)為是目前最強(qiáng)的免費(fèi)深度學(xué)習(xí)程序,Leela,3,韓國(guó)，首屆美林谷世界計(jì)算機(jī)圍棋錦標(biāo)賽冠軍，深度學(xué)習(xí)版本還未公測(cè)。此外2017年初韓國(guó)棋院宣布組建“人工智能課題組”，正式啟動(dòng)“韓國(guó)圍棋人工智能”開發(fā)計(jì)劃,石子旋風(fēng),4,北朝鮮研發(fā)團(tuán)隊(duì)，前AlphaGo時(shí)代有一席之地，正進(jìn)行深度學(xué)習(xí)研發(fā),銀星圍棋,,其他UEC杯參賽作品：1 QinoaIgo / きのあ (

24、日)2 ballade / 氏家 一朗 (日)3 AQ / 山口 祐 (日)4 CGI Go Intelligence / CGI LAB (臺(tái))5 神の一手 / 神乎碁技 (美)6 TAROGO / TAROGO team (臺(tái))7 Many Faces of Go / David Fotland (美)8 勝也 / 清 愼一 (日)9 Aya / 山下 宏 (日)10 Yi / 天壤 (中)11 Rayn / 松

25、崎 憲介，小林 祐樹 (日)12 MARU / 武田 敦志 (日)13 nlp / 巖井 建志 (日)14 EsperanzaGo / 金沢工業(yè)大學(xué)人工知能プロジェクト (日)15 Negative Sleeper / 服部 真也 (日)16 迷ぃ碁 / 村山 正樹 (日)17 Julie / 大渡 勝己 (日)18 きふわらべ / 高橋 智史 (日)19 Igoppy / 有吉 一彥 (日)20 Kugutsu /

26、Tokumoto (日)21 DeepEsper / スカイホビット囲碁部 (日)22 ArgoCorse_IchiGo / 市村 豊 (日)23 コオロギ / Jonathan Huang (美)24 akira / 渡辺 順哉 (日)25 MC_ark / 荒木 伸夫 (日),,,預(yù)期目標(biāo),,國(guó)內(nèi)領(lǐng)先,,國(guó)際前沿,,成果展示,,社會(huì)關(guān)注,2017.6.17 與馬曉春九段搭檔，與李昌鎬/石子旋風(fēng)、黑嘉嘉/CGI搭檔下混雙賽，

27、目標(biāo)冠軍2017.8.16-18 首屆世界智能圍棋公開賽，目標(biāo)四強(qiáng)，并達(dá)到人類職業(yè)棋手水平 2017.12 第2屆美林谷世界計(jì)算機(jī)圍棋錦標(biāo)賽，目標(biāo)決賽并達(dá)到人類一流棋手水平集成機(jī)器學(xué)習(xí)與系統(tǒng)神經(jīng)科學(xué)先進(jìn)技術(shù)，建立強(qiáng)大的通用學(xué)習(xí)算法與各行業(yè)進(jìn)行人工智能項(xiàng)目研發(fā)合作，申請(qǐng)國(guó)家自然科學(xué)基金，申報(bào)國(guó)家重大重點(diǎn)計(jì)劃適度媒體曝光，引發(fā)社會(huì)關(guān)注,,,,組建穩(wěn)定的專業(yè)級(jí)人工智能研發(fā)團(tuán)隊(duì)和項(xiàng)目平臺(tái) 成立清華大學(xué)航院人工智能研究中心，從事包括但