基于卷積神經(jīng)網(wǎng)絡(luò)的文本表示建模方法研究.pdf

1、在機(jī)器學(xué)習(xí)中，數(shù)據(jù)表示是決定后續(xù)任務(wù)性能的關(guān)鍵所在。文本是數(shù)據(jù)的一大類，文本表示是許多自然語(yǔ)言處理任務(wù)的基礎(chǔ)工作，建立文本表示模型的目的是分析和表示文本的語(yǔ)義信息，得以在文本分類、機(jī)器翻譯、自動(dòng)問(wèn)答等自然語(yǔ)言處理任務(wù)上取得更好的效果。
　　在傳統(tǒng)的文本表示方法中，例如詞袋子模型，具有數(shù)據(jù)稀疏和容易產(chǎn)生維度災(zāi)難等問(wèn)題，模型的泛化能力較差。近年來(lái)，隨著機(jī)器學(xué)習(xí)的發(fā)展，各種神經(jīng)網(wǎng)絡(luò)建立的文本表示模型開(kāi)始出現(xiàn)。基于神經(jīng)網(wǎng)絡(luò)的文本表示模型是

2、將多種層次結(jié)構(gòu)的文本，通過(guò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)映射得到低維連續(xù)的向量，所有向量都在同一個(gè)低維向量空間中，提高了模型的表示能力。同時(shí)卷積神經(jīng)網(wǎng)絡(luò)在各種神經(jīng)網(wǎng)絡(luò)中具有較好的特征選取能力。然而，現(xiàn)有神經(jīng)網(wǎng)絡(luò)文本表示模型存在著一些問(wèn)題。首先，對(duì)于不同文本中相同的詞，在神經(jīng)網(wǎng)絡(luò)中使用相同的單一的向量，在特征提取時(shí)勢(shì)必對(duì)一詞多義、同形異義等情況不能夠做出較好的區(qū)分，得到的特征不能較好地完成分類任務(wù)。然后，對(duì)于通常的神經(jīng)網(wǎng)絡(luò)模型文本表示模型，無(wú)法有效地捕獲

3、不同文本單元和可變長(zhǎng)度的組合序列的語(yǔ)義和結(jié)構(gòu)信息，對(duì)文檔級(jí)別的文本進(jìn)行處理時(shí)模型性能會(huì)大大的降低。根據(jù)上述存在的問(wèn)題，本文分別從句子和文檔兩個(gè)層次，對(duì)比了多種神經(jīng)網(wǎng)絡(luò)文本表示方法，根據(jù)現(xiàn)有文本表示方法的不足，提出了改進(jìn)后的表示模型。以下是本文所做出的主要工作:
　　第一，提出了基于主題詞向量的卷積神經(jīng)網(wǎng)絡(luò)句子文本表示模型。在該模型中，針對(duì)神經(jīng)網(wǎng)絡(luò)輸入層的詞向量矩陣，利用了相同的詞在不同的文本中的語(yǔ)義信息應(yīng)該有所差異的特性，為句子文

4、本中的每個(gè)詞語(yǔ)分配所在文本對(duì)應(yīng)的主題信息，得到了每個(gè)詞的主題詞向量。同時(shí)為了不把不相關(guān)的主題信息引入到神經(jīng)網(wǎng)絡(luò)中，在中間層加入了主題轉(zhuǎn)移矩陣過(guò)濾無(wú)用的主題信息，主題轉(zhuǎn)移矩陣是根據(jù)詞與主題的相似度和概率分布計(jì)算得到。通過(guò)主題轉(zhuǎn)移矩陣將主題詞向量融入神經(jīng)網(wǎng)絡(luò)模型中，使模型可以消除詞在不同文本中的歧義。實(shí)驗(yàn)證明了得到的文本表示在句子級(jí)別的情感分類任務(wù)上有更好的表現(xiàn)。
　　第二，提出基于長(zhǎng)距離關(guān)聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)文檔文本表示模型。針對(duì)了通常