基于Word2Vec語言模型與圖核設計的文本分類研究.pdf

1、隨著信息化網絡時代的飛速發(fā)展，數據爆炸性增長的“大數據”時代已經到來。而現實生活中，文本仍是數據的主要存在形式。面對如此浩如煙海、雜亂無章的文本數據，傳統(tǒng)的人工處理手段不僅費時費力，而且效果并不理想。因此，利用機器學習的方法對文本進行表示并進行自動分類已然成為一個重要的科研方向。文本分類任務中最重要的就是文本的特征表示，主要方法包括詞頻技術（TF-IDF）、詞袋模型（Bag-of-Words）以及主題模型（LDA）等。但這些方法都存在一

2、定的不足，如缺乏語義信息、受維數災難困擾、忽略上下文結構等等。這都會對分類準確性造成一定的影響。
　　本研究主要內容包括：⑴提出新的文本特征提取方法。受詞袋模型思想的啟發(fā)，在Word2Vec語言模型訓練得到的詞向量（Word Embedding）基礎上，本文提出了聚類詞袋模型（Bag-of-Clusters）。該方法通過分析語言模型中詞向量的相關屬性，構建文本的聚類詞袋模型，從而完成文本的特征向量表示。最后在標準數據集中完成文本分

3、類任務，實驗結果表明新特征表示方法在分類精度上有一定的提高。⑵構建文本語義圖。新的文本特征提取方法雖然在一定程度上提高了文本分類精度，但是，直接將文本進行向量化表示必然會忽略很多單詞結構信息。為了能充分利用文本中單詞之間的上下文結構關系，本文引入圖結構來進行文本表示。通過分析Word2Vec語言模型訓練得到的詞向量的聚類屬性對文本圖結構中的結點進行語義編碼，從而構建文本語義圖。⑶設計能適用于文本圖結構的新圖核。圖核（Graph Kern

4、el）是近幾年來計算圖相似度的有效方法，然而現有圖核卻存在一些局限：時間復雜度較高；擴展性較差；圖結點類型較少等。為了能有效地完成文本語義圖的匹配，本文設計了新的能適用于文本語義圖的圖核。首先，根據文本語義圖設計合理的位標簽運算，豐富結點的結構信息；然后，通過迭代得到圖結構的標簽表示；最后，設計合理的圖核函數計算圖之間的相似度。通過在標準數據集上的文本分類實驗證明，新圖核不僅在一定程度上提高了分類精度，而且降低了圖核計算的時間復雜度，具