基于Word2Vec語(yǔ)言模型與圖核設(shè)計(jì)的文本分類(lèi)研究.pdf

1、隨著信息化網(wǎng)絡(luò)時(shí)代的飛速發(fā)展，數(shù)據(jù)爆炸性增長(zhǎng)的“大數(shù)據(jù)”時(shí)代已經(jīng)到來(lái)。而現(xiàn)實(shí)生活中，文本仍是數(shù)據(jù)的主要存在形式。面對(duì)如此浩如煙海、雜亂無(wú)章的文本數(shù)據(jù)，傳統(tǒng)的人工處理手段不僅費(fèi)時(shí)費(fèi)力，而且效果并不理想。因此，利用機(jī)器學(xué)習(xí)的方法對(duì)文本進(jìn)行表示并進(jìn)行自動(dòng)分類(lèi)已然成為一個(gè)重要的科研方向。文本分類(lèi)任務(wù)中最重要的就是文本的特征表示，主要方法包括詞頻技術(shù)（TF-IDF）、詞袋模型（Bag-of-Words）以及主題模型（LDA）等。但這些方法都存在一

2、定的不足，如缺乏語(yǔ)義信息、受維數(shù)災(zāi)難困擾、忽略上下文結(jié)構(gòu)等等。這都會(huì)對(duì)分類(lèi)準(zhǔn)確性造成一定的影響。
　　本研究主要內(nèi)容包括：⑴提出新的文本特征提取方法。受詞袋模型思想的啟發(fā)，在Word2Vec語(yǔ)言模型訓(xùn)練得到的詞向量（Word Embedding）基礎(chǔ)上，本文提出了聚類(lèi)詞袋模型（Bag-of-Clusters）。該方法通過(guò)分析語(yǔ)言模型中詞向量的相關(guān)屬性，構(gòu)建文本的聚類(lèi)詞袋模型，從而完成文本的特征向量表示。最后在標(biāo)準(zhǔn)數(shù)據(jù)集中完成文本分

3、類(lèi)任務(wù)，實(shí)驗(yàn)結(jié)果表明新特征表示方法在分類(lèi)精度上有一定的提高。⑵構(gòu)建文本語(yǔ)義圖。新的文本特征提取方法雖然在一定程度上提高了文本分類(lèi)精度，但是，直接將文本進(jìn)行向量化表示必然會(huì)忽略很多單詞結(jié)構(gòu)信息。為了能充分利用文本中單詞之間的上下文結(jié)構(gòu)關(guān)系，本文引入圖結(jié)構(gòu)來(lái)進(jìn)行文本表示。通過(guò)分析Word2Vec語(yǔ)言模型訓(xùn)練得到的詞向量的聚類(lèi)屬性對(duì)文本圖結(jié)構(gòu)中的結(jié)點(diǎn)進(jìn)行語(yǔ)義編碼，從而構(gòu)建文本語(yǔ)義圖。⑶設(shè)計(jì)能適用于文本圖結(jié)構(gòu)的新圖核。圖核（Graph Kern

4、el）是近幾年來(lái)計(jì)算圖相似度的有效方法，然而現(xiàn)有圖核卻存在一些局限：時(shí)間復(fù)雜度較高；擴(kuò)展性較差；圖結(jié)點(diǎn)類(lèi)型較少等。為了能有效地完成文本語(yǔ)義圖的匹配，本文設(shè)計(jì)了新的能適用于文本語(yǔ)義圖的圖核。首先，根據(jù)文本語(yǔ)義圖設(shè)計(jì)合理的位標(biāo)簽運(yùn)算，豐富結(jié)點(diǎn)的結(jié)構(gòu)信息；然后，通過(guò)迭代得到圖結(jié)構(gòu)的標(biāo)簽表示；最后，設(shè)計(jì)合理的圖核函數(shù)計(jì)算圖之間的相似度。通過(guò)在標(biāo)準(zhǔn)數(shù)據(jù)集上的文本分類(lèi)實(shí)驗(yàn)證明，新圖核不僅在一定程度上提高了分類(lèi)精度，而且降低了圖核計(jì)算的時(shí)間復(fù)雜度，具