詞向量的動態(tài)加權(quán)及分布式學(xué)習(xí)策略.pdf

1、互聯(lián)網(wǎng)的日益普及和迅速發(fā)展，催生了大規(guī)模的非結(jié)構(gòu)化數(shù)據(jù)，在這些非結(jié)構(gòu)化數(shù)據(jù)中，文本數(shù)據(jù)又是其中很重要的一類。如何從數(shù)據(jù)量龐大的文本數(shù)據(jù)中提取和學(xué)習(xí)有效的信息是當前熱門的研究領(lǐng)域。其中，文本分類是文本挖掘領(lǐng)域一個重要的研究方向，并且有著廣泛的應(yīng)用場景。而文本分類本身是一個極具挑戰(zhàn)性的問題。首先，傳統(tǒng)的文本表示模型認為文本是由無數(shù)個單詞構(gòu)成，并基于特征詞典采用one-hot編碼的形式，用一個高維稀疏向量表示一篇文檔，該方法由于向量的高稀疏度

2、限制了文本分類的準確性。其次，傳統(tǒng)的文本分類算法大部分都直接應(yīng)用基本機器學(xué)習(xí)分類算法，模型過于簡單導(dǎo)致其分類結(jié)果也并不理想。針對以上挑戰(zhàn)，本文首先提出了一種文本表示模型;其次，基于該文本表示模型，利用分類器集成的方法，構(gòu)建了一個高效的文本分類模型，實現(xiàn)了對文本更加準確地分類。
　　本文研究了文本分類的原理和實現(xiàn)步驟，首先對中文文檔進行了預(yù)處理，具體包括分詞，去停詞，然后對詞進行特征選擇，基于選取的特征詞，提出了一種基于詞向量Wor

3、d2Vec動態(tài)加權(quán)的文本表示模型，充分考慮了不同語義特征在不同文章中的不同重要程度?；谠撐谋颈硎灸Ｐ停疚奶岢隽艘环N基于分類器集成思想的文本分類算法，提高了文本分類的準確率。
　　本文提出的文本表示模型中，首先采用Word2Vec算法將文檔特征詞轉(zhuǎn)換成固定維度的詞向量，然后計算每個特征詞在文檔中的TF-IDF值，并以特征詞的TF-IDF值作為權(quán)重，對所有特征詞的詞向量進行動態(tài)加權(quán)。該文本表示模型可以同時充分利用不同特征詞在不同文

4、檔中的重要度信息和詞向量的語義信息，實現(xiàn)了對文檔的有效表示。實驗結(jié)果表明，本文提出的基于詞向量Word2Vec動態(tài)加權(quán)的文本表示模型較傳統(tǒng)文本表示方法具有更好的文本特征表示效果。
　　基于本文提出的文本表示模型，利用集成分類的思想，本文通過Bagging算法，提出了基于詞向量動態(tài)加權(quán)模型的支持向量機集成方法，分別就不同基分類器數(shù)量的集成情況進行了對比實驗，并與單個SVM分類效果進行了比較。實驗驗證了我們提出的基于詞向量動態(tài)加權(quán)的分