篇章級聯想模型的研究與實現.pdf

1、隨著自然語言處理和文本挖掘技術推陳出新，快速發(fā)展，人們的需求也日益升級，給搜索引擎、深度問答等應用帶來了新的挑戰(zhàn)和機遇，對文本處理技術提出了更高的要求。應對挑戰(zhàn)的方法主要是精準的語義分析技術。在現有的語義分析研究中，主要針對詞匯級別、短語級別和句子級別的語義進行深入挖掘，篇章級別的語義分析研究目前尚未成熟。本文從篇章級別的語義分析角度出發(fā)，通過引入篇章外部的信息對文本內容進行補充，彌補計算機對篇章內容相關背景信息的缺乏這一問題，更好的完

2、成篇章的語義分析。
　　本文針對外部信息引入文本內部這一問題提出了三種模型，統(tǒng)稱為聯想模型，分別是基于序列迭代的聯想模型、基于權重傳播的聯想模型和融合句間關系的聯想模型。聯想模型的設計結合了認知心理學和人類的閱讀習慣、思維習慣以及信息檢索領域經典算法，實現了對大量外部信息進行篩選，挑選出與文本語義更契合的一部分外部信息引入文本中。在引入外部信息之余，本文還將引入的外部信息應用在文本分類這一傳統(tǒng)任務上，和未加入外部信息的方法相比取得

3、了更好的結果。
　　聯想模型主要包含文本表示、知識表示和模型算法這三個方面。在文本表示方面結合認知心理學中的“可教的語言理解者”（Teachable-Language Comprehender，簡稱TLC）模型設計出了基于序列迭代的聯想模型，結合“激活擴散模型”設計出了基于權重傳播的聯想模型。此外本文還關注到了篇章內部結構對引入外部信息的重要性，結合篇章結構分析中的句間關系識別和中文上主流的CDTB語料庫，利用簡便易行的句間關系識

4、別方法，識別篇章結構，并將篇章的結構信息加入文本表示方案中，提出了融合句間關系的聯想模型。
　　在知識表示方面，本文采用目前大型語義知識庫通用的三元組的表示方法，利用“Argument-Relation-Argument”這樣的三元組表示知識概念。通過隱含狄利克雷（LDA）模型對詞進行向量化，并將詞向量整合成三元組的向量表示，最后將三元組表示為連續(xù)的實數向量的形式。
　　在模型算法方面，文本結合了序列模型和圖模型這兩種經典模