基于潛在語義分析的單文本自動摘要方法研究.pdf

1、網(wǎng)絡技術的快速發(fā)展使得Internet 成為當今人們交換信息的主要場所，信息呈爆炸式的增長，檢索難度加大。信息摘要對于信息的發(fā)布者、使用者以及搜索引擎都有著重要的作用，它能夠提高搜索引擎的檢索速度和用戶獲取信息的速度，然而人工提取摘要工作量巨大，因此自動摘要技術得到了廣泛的重視和研究。
　　 基于篇章結(jié)構的自動文本摘要方法在近年來發(fā)展迅速。潛在語義分析是一種篇章結(jié)構分析方法，其核心是用于描述文本產(chǎn)生機制的主題模型。一個好的主題模

2、型應該能把握創(chuàng)作者的思路，即文章所表達的意思和這些意思之間的轉(zhuǎn)折情況，并且能夠根據(jù)意思選擇合適的詞組織成句。HMM（Hidden Markov Model ）模型將文本看成由句子構成的觀察序列，隱藏狀態(tài)是文本的主題，該模型取消了主題的獨立性假設，在理論上比較成功地描述了文本的發(fā)生機制，但是對于文本摘要，特別是單文本摘要，如果能得知文本各部分主題的長度，就能夠保證摘要內(nèi)容的平衡性。主題模型的訓練離不開詞頻統(tǒng)計，詞語多義現(xiàn)象造成基于詞形的詞

3、頻統(tǒng)計不準確，因此需要先對文本進行詞語消歧。
　　 本文的主要工作和貢獻在于：1.研究比較了各種基于WordNet的詞語相關度計算方法，做出了一些改進；提出了句子連貫度這個概念，給出了計算方法，用于詞語消歧任務；基于WordNet 實現(xiàn)了自動文本摘要的預處理工作——詞語消歧。2.在詞語消歧的基礎上，基于句際相關度而不是相似度進行句子聚類，從而能夠更加合理地初始化潛在語義分析模型。3.提出了一種HMM 擴展模型即非獨立HMM模型—