面向文本分類(lèi)任務(wù)的主題強(qiáng)化詞句嵌入模型研究.pdf

1、近年來(lái)，深度學(xué)習(xí)在自然語(yǔ)言處理領(lǐng)域受到了更多的重視，基于深度學(xué)習(xí)的神經(jīng)語(yǔ)言模型和詞句嵌入模型相繼被提出，這類(lèi)模型以其高準(zhǔn)確率、低復(fù)雜度的優(yōu)點(diǎn)被學(xué)術(shù)界和工業(yè)界廣泛研究和應(yīng)用。然而，將原本依賴(lài)語(yǔ)言模型分布假設(shè)的詞句嵌入模型直接用于文本分類(lèi)等任務(wù)，顯然是不合適的，因?yàn)槲谋痉诸?lèi)任務(wù)所需要的是高極性的主題特征，而原詞句嵌入模型只是單純的捕捉語(yǔ)言規(guī)律，沒(méi)有重視主題信息的挖掘。
　　為了使基于深度學(xué)習(xí)的詞句嵌入模型更加適合應(yīng)用到文本分類(lèi)任務(wù)中，

2、本文對(duì)原模型進(jìn)行主題強(qiáng)化，提出了主題強(qiáng)化的詞句嵌入模型，期望獲得更高的文本分類(lèi)性能。由于語(yǔ)義極性相反的單詞可能擁有相似的局部上下文，而原模型只利用局部上下文訓(xùn)練該單詞的分布式嵌入表示，是無(wú)法捕捉到具有相反極性的語(yǔ)義的。因此，本文提出用高階純依賴(lài)建模詞句嵌入模型中的長(zhǎng)程上下文，從而加強(qiáng)詞句分布式嵌入表示的情感或者主題信息，進(jìn)而提高情感分析和主題挖掘任務(wù)的性能。高階純依賴(lài)方法有嚴(yán)格的理論依據(jù)保證長(zhǎng)程上下文單詞間的依賴(lài)是“純”的，即單詞依賴(lài)是

3、一個(gè)完整的語(yǔ)義實(shí)體，并且單詞的聯(lián)合概率分布不能夠被條件分解（當(dāng)然也不能被非條件分解）。這樣保證了高階的單詞依賴(lài)不能夠分解成幾個(gè)低階依賴(lài)的隨機(jī)共現(xiàn)，從而高階純依賴(lài)可以有效地建模出語(yǔ)義豐富的、非歧義的主題信息。
　　本文將主題強(qiáng)化的詞句嵌入模型應(yīng)用到基于標(biāo)準(zhǔn)數(shù)據(jù)集的情感分析和主題挖掘任務(wù)中，均超過(guò)了所有現(xiàn)有模型的性能。在中文新聞?wù)Z料的分類(lèi)項(xiàng)目中，與詞袋模型、LDA主題模型特征作對(duì)比，分別應(yīng)用了線性和非線性分類(lèi)器，從多角度調(diào)研了其分類(lèi)結(jié)