面向全文標注的未登錄詞語義預測研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的普及和時代的發(fā)展，大量新生詞匯和網(wǎng)絡用語不斷涌現(xiàn)，隨之而來，未登錄詞的規(guī)模也呈現(xiàn)逐年上升的趨勢。未登錄詞是在語料中出現(xiàn)而未收錄在詞典中的詞語，大量涌現(xiàn)的未登錄詞給自然語言處理領域眾多任務帶來極大挑戰(zhàn)。因此，針對未登錄詞的處理應該引起自然語言處理領域研究人員足夠的重視。
　　目前，關于未登錄詞處理的任務主要包括未登錄詞識別、未登錄詞詞性預測和未登錄詞語義預測這三部分。對未登錄詞識別和詞性預測的相關研究相對較多，而專門針對

2、未登錄詞語義預測處理任務的研究則較少。本文主要專注于漢語未登錄詞的語義預測研究。總結前人關于漢語未登錄詞語義預測相關研究，發(fā)現(xiàn)在對漢語未登錄詞進行語義預測過程中主要基于兩類特征，分別是未登錄詞內(nèi)部特征和外部特征。其中未登錄詞的內(nèi)部特征主要是指未登錄詞的組成成分和詞性，外部特征主要是指未登錄詞在語料中的上下文。
　　本文的研究是基于已有研究基礎之上的。前人的漢語未登錄詞語義預測模型主要基于未登錄詞的內(nèi)部特征，然而相關研究表明未登錄詞

3、的外部特征對于漢語未登錄詞的語義預測也是有價值的。本文將未登錄詞的內(nèi)部特征和外部特征進行結合，分別設計了兩種語義預測模型，即基于詞向量的漢語未登錄詞語義預測模型和基于百度百科的漢語未登錄詞語義預測模型，用于漢語未登錄詞語義預測研究。經(jīng)過對比實驗，分析了前人模型和上述兩種模型在漢語未登錄詞語義預測方面的優(yōu)缺點，結合各模型的預測優(yōu)勢，設計了一種級聯(lián)模型，用于漢語未登錄詞語義預測工作，實驗結果驗證了方法的有效性。
　　本文在此基礎上，實