基于CUDA的Word2Vec設(shè)計(jì)與實(shí)現(xiàn).pdf

1、Word2Vec是Google在2013年年底推出的自然語(yǔ)言處理領(lǐng)域的一款實(shí)用工具，它可以將自然語(yǔ)言中的單詞轉(zhuǎn)換成數(shù)學(xué)計(jì)算中的向量形式。隨著Internet的普及和信息的爆炸式增長(zhǎng)，Word2Vec在實(shí)際應(yīng)用方面所面臨的問(wèn)題是，在待訓(xùn)練的語(yǔ)料文本很大時(shí)，Word2Vec訓(xùn)練詞向量的耗時(shí)比較長(zhǎng)，效率不高。
　　CUDA是由NVIDIA推出的一種通用并行計(jì)算架構(gòu)，能夠解決復(fù)雜的計(jì)算問(wèn)題，實(shí)現(xiàn)計(jì)算的加速，極大的提升時(shí)間效率。為了提高Wo

2、rd2Vec的時(shí)間效率，把CUDA和Word2Vec結(jié)合起來(lái)是一個(gè)很好的思路。
　　論文研究了詞向量和神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型，分析了Word2Vec模型中的四種算法，基于CUDA技術(shù)設(shè)計(jì)并實(shí)現(xiàn)了一種新的并行Word2Vec軟件工具。
　　研究了CUDA程序優(yōu)化技術(shù)。分析了優(yōu)化CUDA程序的四種方法：任務(wù)劃分優(yōu)化、存儲(chǔ)器訪問(wèn)優(yōu)化、指令流優(yōu)化以及均衡GPU資源?；诰仃囅喑说睦佑懻摿嗽贑UDA程序中如何應(yīng)用這些優(yōu)化方法，測(cè)試結(jié)果表明

3、優(yōu)化后的CUDA矩陣相乘計(jì)算時(shí)間相對(duì)于CPU計(jì)算時(shí)間有大幅度的縮短。
　　設(shè)計(jì)并實(shí)現(xiàn)基于CUDA的Word2Vec。分析了Word2Vec算法的并行化可行性，對(duì)Word2Vec的任務(wù)進(jìn)行了劃分，對(duì)Word2Vec的算法進(jìn)行了CUDA并行化改進(jìn)。在此基礎(chǔ)上，結(jié)合CUDA編程技術(shù)，實(shí)現(xiàn)了基于CUDA的Word2Vec。最后，使用CUDA優(yōu)化方法對(duì)基于CUDA的Word2Vec代碼進(jìn)行了進(jìn)一步的優(yōu)化。
　　給出了實(shí)驗(yàn)測(cè)試并對(duì)結(jié)果進(jìn)

4、行了分析。運(yùn)用Word2Vec的兩個(gè)經(jīng)典應(yīng)用計(jì)算詞向量距離和向量加減，驗(yàn)證了基于CUDA的Word2Vec得到的詞向量結(jié)果的正確性。使用了七組不同大小的語(yǔ)料文本文件，分別對(duì)CPU串行的Word2Vec和基于CUDA的Word2Vec進(jìn)行對(duì)比測(cè)試實(shí)驗(yàn)，比對(duì)其時(shí)間性能，基于CUDA的Word2Vec相對(duì)于CPU串行的Word2Vec加速比最高達(dá)到27.09倍。
　　本文分析了Word2Vec的網(wǎng)絡(luò)模型結(jié)構(gòu)，總結(jié)了CUDA程序優(yōu)化技術(shù)，