文檔表示與雙語詞嵌入算法研究.pdf

1、文檔表示和雙語詞嵌入是自然語言處理中兩個(gè)重要的文本表示學(xué)習(xí)技術(shù)，它們?yōu)槠渌匀徽Z言處理任務(wù)提供了良好的特征表示。這兩個(gè)方向是本文的主要研究內(nèi)容。
　　文檔表示將文檔表示成一個(gè)固定長度的向量，現(xiàn)有的工作簡單地認(rèn)為文檔是一個(gè)文本序列，沒有考慮文檔中的層級關(guān)系，另一方面也忽視了文檔不同部分有不同重要性。本文提出一個(gè)基于層級注意力機(jī)制的文檔表示模型(HADR)，同時(shí)考慮了文檔中句子的差異性和句子中詞的差異性兩方面因素。實(shí)驗(yàn)結(jié)果表明，在考慮

2、了詞重要性和句子重要性差異之后，得到文檔表示具有更好的性能。并且HADR模型在文檔的情感分類上效果高于Doc2vec和word2vec模型。
　　由于表示學(xué)習(xí)在單語上的成功應(yīng)用，一些方法因?yàn)榭缯Z言自然語言處理任務(wù)的需求開始研究跨語言的本文表示，構(gòu)建雙語詞嵌入模型。雙語詞嵌入既可以在共享的向量空間中表示不同的語言，又可以進(jìn)行跨語言知識轉(zhuǎn)移。為了學(xué)習(xí)這樣的表示，大多數(shù)現(xiàn)有工作需要具有詞對齊的平行句子，并假定對齊的詞具有相似的詞袋(Bo