基于CUDA的Word2Vec設(shè)計與實現(xiàn).pdf

1、Word2Vec是Google在2013年年底推出的自然語言處理領(lǐng)域的一款實用工具，它可以將自然語言中的單詞轉(zhuǎn)換成數(shù)學(xué)計算中的向量形式。隨著Internet的普及和信息的爆炸式增長，Word2Vec在實際應(yīng)用方面所面臨的問題是，在待訓(xùn)練的語料文本很大時，Word2Vec訓(xùn)練詞向量的耗時比較長，效率不高。
　　CUDA是由NVIDIA推出的一種通用并行計算架構(gòu)，能夠解決復(fù)雜的計算問題，實現(xiàn)計算的加速，極大的提升時間效率。為了提高Wo

2、rd2Vec的時間效率，把CUDA和Word2Vec結(jié)合起來是一個很好的思路。
　　論文研究了詞向量和神經(jīng)網(wǎng)絡(luò)語言模型，分析了Word2Vec模型中的四種算法，基于CUDA技術(shù)設(shè)計并實現(xiàn)了一種新的并行Word2Vec軟件工具。
　　研究了CUDA程序優(yōu)化技術(shù)。分析了優(yōu)化CUDA程序的四種方法：任務(wù)劃分優(yōu)化、存儲器訪問優(yōu)化、指令流優(yōu)化以及均衡GPU資源?；诰仃囅喑说睦佑懻摿嗽贑UDA程序中如何應(yīng)用這些優(yōu)化方法，測試結(jié)果表明

3、優(yōu)化后的CUDA矩陣相乘計算時間相對于CPU計算時間有大幅度的縮短。
　　設(shè)計并實現(xiàn)基于CUDA的Word2Vec。分析了Word2Vec算法的并行化可行性，對Word2Vec的任務(wù)進行了劃分，對Word2Vec的算法進行了CUDA并行化改進。在此基礎(chǔ)上，結(jié)合CUDA編程技術(shù)，實現(xiàn)了基于CUDA的Word2Vec。最后，使用CUDA優(yōu)化方法對基于CUDA的Word2Vec代碼進行了進一步的優(yōu)化。
　　給出了實驗測試并對結(jié)果進

4、行了分析。運用Word2Vec的兩個經(jīng)典應(yīng)用計算詞向量距離和向量加減，驗證了基于CUDA的Word2Vec得到的詞向量結(jié)果的正確性。使用了七組不同大小的語料文本文件，分別對CPU串行的Word2Vec和基于CUDA的Word2Vec進行對比測試實驗，比對其時間性能，基于CUDA的Word2Vec相對于CPU串行的Word2Vec加速比最高達到27.09倍。
　　本文分析了Word2Vec的網(wǎng)絡(luò)模型結(jié)構(gòu)，總結(jié)了CUDA程序優(yōu)化技術(shù)，