篇章級聯(lián)想模型的研究與實現(xiàn).pdf

1、隨著自然語言處理和文本挖掘技術(shù)推陳出新，快速發(fā)展，人們的需求也日益升級，給搜索引擎、深度問答等應(yīng)用帶來了新的挑戰(zhàn)和機遇，對文本處理技術(shù)提出了更高的要求。應(yīng)對挑戰(zhàn)的方法主要是精準的語義分析技術(shù)。在現(xiàn)有的語義分析研究中，主要針對詞匯級別、短語級別和句子級別的語義進行深入挖掘，篇章級別的語義分析研究目前尚未成熟。本文從篇章級別的語義分析角度出發(fā)，通過引入篇章外部的信息對文本內(nèi)容進行補充，彌補計算機對篇章內(nèi)容相關(guān)背景信息的缺乏這一問題，更好的完

2、成篇章的語義分析。
　　本文針對外部信息引入文本內(nèi)部這一問題提出了三種模型，統(tǒng)稱為聯(lián)想模型，分別是基于序列迭代的聯(lián)想模型、基于權(quán)重傳播的聯(lián)想模型和融合句間關(guān)系的聯(lián)想模型。聯(lián)想模型的設(shè)計結(jié)合了認知心理學和人類的閱讀習慣、思維習慣以及信息檢索領(lǐng)域經(jīng)典算法，實現(xiàn)了對大量外部信息進行篩選，挑選出與文本語義更契合的一部分外部信息引入文本中。在引入外部信息之余，本文還將引入的外部信息應(yīng)用在文本分類這一傳統(tǒng)任務(wù)上，和未加入外部信息的方法相比取得

3、了更好的結(jié)果。
　　聯(lián)想模型主要包含文本表示、知識表示和模型算法這三個方面。在文本表示方面結(jié)合認知心理學中的“可教的語言理解者”（Teachable-Language Comprehender，簡稱TLC）模型設(shè)計出了基于序列迭代的聯(lián)想模型，結(jié)合“激活擴散模型”設(shè)計出了基于權(quán)重傳播的聯(lián)想模型。此外本文還關(guān)注到了篇章內(nèi)部結(jié)構(gòu)對引入外部信息的重要性，結(jié)合篇章結(jié)構(gòu)分析中的句間關(guān)系識別和中文上主流的CDTB語料庫，利用簡便易行的句間關(guān)系識

4、別方法，識別篇章結(jié)構(gòu)，并將篇章的結(jié)構(gòu)信息加入文本表示方案中，提出了融合句間關(guān)系的聯(lián)想模型。
　　在知識表示方面，本文采用目前大型語義知識庫通用的三元組的表示方法，利用“Argument-Relation-Argument”這樣的三元組表示知識概念。通過隱含狄利克雷（LDA）模型對詞進行向量化，并將詞向量整合成三元組的向量表示，最后將三元組表示為連續(xù)的實數(shù)向量的形式。
　　在模型算法方面，文本結(jié)合了序列模型和圖模型這兩種經(jīng)典模