基于Word2Vec語言模型與圖核設(shè)計的文本分類研究.pdf

1、隨著信息化網(wǎng)絡(luò)時代的飛速發(fā)展，數(shù)據(jù)爆炸性增長的“大數(shù)據(jù)”時代已經(jīng)到來。而現(xiàn)實生活中，文本仍是數(shù)據(jù)的主要存在形式。面對如此浩如煙海、雜亂無章的文本數(shù)據(jù)，傳統(tǒng)的人工處理手段不僅費時費力，而且效果并不理想。因此，利用機器學(xué)習(xí)的方法對文本進(jìn)行表示并進(jìn)行自動分類已然成為一個重要的科研方向。文本分類任務(wù)中最重要的就是文本的特征表示，主要方法包括詞頻技術(shù)（TF-IDF）、詞袋模型（Bag-of-Words）以及主題模型（LDA）等。但這些方法都存在一

2、定的不足，如缺乏語義信息、受維數(shù)災(zāi)難困擾、忽略上下文結(jié)構(gòu)等等。這都會對分類準(zhǔn)確性造成一定的影響。
　　本研究主要內(nèi)容包括：⑴提出新的文本特征提取方法。受詞袋模型思想的啟發(fā)，在Word2Vec語言模型訓(xùn)練得到的詞向量（Word Embedding）基礎(chǔ)上，本文提出了聚類詞袋模型（Bag-of-Clusters）。該方法通過分析語言模型中詞向量的相關(guān)屬性，構(gòu)建文本的聚類詞袋模型，從而完成文本的特征向量表示。最后在標(biāo)準(zhǔn)數(shù)據(jù)集中完成文本分

3、類任務(wù)，實驗結(jié)果表明新特征表示方法在分類精度上有一定的提高。⑵構(gòu)建文本語義圖。新的文本特征提取方法雖然在一定程度上提高了文本分類精度，但是，直接將文本進(jìn)行向量化表示必然會忽略很多單詞結(jié)構(gòu)信息。為了能充分利用文本中單詞之間的上下文結(jié)構(gòu)關(guān)系，本文引入圖結(jié)構(gòu)來進(jìn)行文本表示。通過分析Word2Vec語言模型訓(xùn)練得到的詞向量的聚類屬性對文本圖結(jié)構(gòu)中的結(jié)點進(jìn)行語義編碼，從而構(gòu)建文本語義圖。⑶設(shè)計能適用于文本圖結(jié)構(gòu)的新圖核。圖核（Graph Kern

4、el）是近幾年來計算圖相似度的有效方法，然而現(xiàn)有圖核卻存在一些局限：時間復(fù)雜度較高；擴展性較差；圖結(jié)點類型較少等。為了能有效地完成文本語義圖的匹配，本文設(shè)計了新的能適用于文本語義圖的圖核。首先，根據(jù)文本語義圖設(shè)計合理的位標(biāo)簽運算，豐富結(jié)點的結(jié)構(gòu)信息；然后，通過迭代得到圖結(jié)構(gòu)的標(biāo)簽表示；最后，設(shè)計合理的圖核函數(shù)計算圖之間的相似度。通過在標(biāo)準(zhǔn)數(shù)據(jù)集上的文本分類實驗證明，新圖核不僅在一定程度上提高了分類精度，而且降低了圖核計算的時間復(fù)雜度，具