基于Spark的大規(guī)模RNNLM系統(tǒng).pdf

1、自然語(yǔ)言處理作為人工智能中的重要問(wèn)題，一直是研究與開(kāi)發(fā)的熱點(diǎn)；其中基于遞歸神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型（RNNLM）具有非常強(qiáng)大的功能和魯棒性，但由于傳統(tǒng)計(jì)算技術(shù)和計(jì)算系統(tǒng)的限制，難以構(gòu)建大規(guī)模的RNNLM系統(tǒng)，制約了RNNLM的準(zhǔn)確性等。
　　本文在分析現(xiàn)有串行和基于GPU的RNNLM系統(tǒng)的基礎(chǔ)上，針對(duì)影響RNNLM中計(jì)算量的因素，在Spark平臺(tái)上，設(shè)計(jì)了面向大規(guī)模RNNLM的結(jié)構(gòu)。
　　改變了通過(guò)提高矩陣計(jì)算速度提高RNNLM系

2、統(tǒng)性能的方式，模擬生物神經(jīng)網(wǎng)絡(luò)的并行特性，設(shè)計(jì)了基于并行神經(jīng)元的RNNLM，以邏輯神經(jīng)元為單位，實(shí)現(xiàn) RNNLM的分布式并發(fā)，從而將龐大的矩陣運(yùn)算轉(zhuǎn)變?yōu)榉植际竭壿嬌窠?jīng)元的一階運(yùn)算，極大的提高了RNNLM的效率，為構(gòu)建大規(guī)模RNNLM奠定了基礎(chǔ)。經(jīng)過(guò)測(cè)試，利用Spark計(jì)算框架優(yōu)化RNNLM系統(tǒng)，將NxM的矩陣拆分到各個(gè)節(jié)點(diǎn)中計(jì)算，每個(gè)神經(jīng)元只需要計(jì)算某一行數(shù)據(jù)，將龐大的計(jì)算量遷移到計(jì)算節(jié)點(diǎn)中這會(huì)大大降低時(shí)間開(kāi)銷(xiāo)，系統(tǒng)計(jì)算速率提升將近20

3、倍，將語(yǔ)料擴(kuò)大之后仍然適用。
　　接著分析了分布式平臺(tái)和RNNLM中制約計(jì)算性能的因素，設(shè)計(jì)了基于參數(shù)合并的廣播式傳輸策略、基于NVM的容錯(cuò)機(jī)制和面向分布式RNNLM的內(nèi)存優(yōu)化機(jī)制，從提高分布式RNNLM中參數(shù)通信效率和針對(duì)RNNLM提高Spark性能兩方面進(jìn)行了改進(jìn)，系統(tǒng)計(jì)算速率提升7-15倍。
　　最后在Spark平臺(tái)上，實(shí)現(xiàn)了大規(guī)模分布式RNNLM的原型系統(tǒng)，分別使用微軟語(yǔ)料和RNNLM Toolkit語(yǔ)料，對(duì)傳統(tǒng)的R