基于CUDA的Word2Vec設計與實現(xiàn).pdf

1、Word2Vec是Google在2013年年底推出的自然語言處理領域的一款實用工具，它可以將自然語言中的單詞轉換成數(shù)學計算中的向量形式。隨著Internet的普及和信息的爆炸式增長，Word2Vec在實際應用方面所面臨的問題是，在待訓練的語料文本很大時，Word2Vec訓練詞向量的耗時比較長，效率不高。
　　CUDA是由NVIDIA推出的一種通用并行計算架構，能夠解決復雜的計算問題，實現(xiàn)計算的加速，極大的提升時間效率。為了提高Wo

2、rd2Vec的時間效率，把CUDA和Word2Vec結合起來是一個很好的思路。
　　論文研究了詞向量和神經(jīng)網(wǎng)絡語言模型，分析了Word2Vec模型中的四種算法，基于CUDA技術設計并實現(xiàn)了一種新的并行Word2Vec軟件工具。
　　研究了CUDA程序優(yōu)化技術。分析了優(yōu)化CUDA程序的四種方法：任務劃分優(yōu)化、存儲器訪問優(yōu)化、指令流優(yōu)化以及均衡GPU資源?；诰仃囅喑说睦佑懻摿嗽贑UDA程序中如何應用這些優(yōu)化方法，測試結果表明

3、優(yōu)化后的CUDA矩陣相乘計算時間相對于CPU計算時間有大幅度的縮短。
　　設計并實現(xiàn)基于CUDA的Word2Vec。分析了Word2Vec算法的并行化可行性，對Word2Vec的任務進行了劃分，對Word2Vec的算法進行了CUDA并行化改進。在此基礎上，結合CUDA編程技術，實現(xiàn)了基于CUDA的Word2Vec。最后，使用CUDA優(yōu)化方法對基于CUDA的Word2Vec代碼進行了進一步的優(yōu)化。
　　給出了實驗測試并對結果進

4、行了分析。運用Word2Vec的兩個經(jīng)典應用計算詞向量距離和向量加減，驗證了基于CUDA的Word2Vec得到的詞向量結果的正確性。使用了七組不同大小的語料文本文件，分別對CPU串行的Word2Vec和基于CUDA的Word2Vec進行對比測試實驗，比對其時間性能，基于CUDA的Word2Vec相對于CPU串行的Word2Vec加速比最高達到27.09倍。
　　本文分析了Word2Vec的網(wǎng)絡模型結構，總結了CUDA程序優(yōu)化技術，