面向查詢的多文檔自動文摘關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展和文本信息的日益增多，從大量信息中快速查找和獲取有用信息的迫切需求使得自動文摘技術(shù)日益重要。自動文摘是指由計算機自動從一篇或多篇文本中概括出主要內(nèi)容，從而把大量原來需要用戶來完成的工作都交給計算機自動完成，節(jié)省了用戶瀏覽信息的時間，減輕了用戶負擔(dān)。這個任務(wù)涉及到文本理解、文本生成等自然語言處理領(lǐng)域的多個方面，對于計算機具有很大的挑戰(zhàn)性。本文正是在這種前提下，對自動文摘技術(shù)進行了探索性研究。
　　 本文在面向查

2、詢的多文檔自動文摘方面以及文摘連貫性的自動評價方面做了深入的研究工作。我們在這兩年參加文摘方面的國際評測會議DUC的基礎(chǔ)上，研究并實現(xiàn)了多種面向查詢的多文檔自動文摘技術(shù)。
　　 我們采用了最大熵模型來實現(xiàn)基于機器學(xué)習(xí)的自動文摘系統(tǒng)。為了進一步找出文檔句之間以及句子與查詢之間的語義關(guān)聯(lián)，我們提出了一種在文摘系統(tǒng)中進行語義擴展的方法，該方法通過WordNet中定義的同義詞集以及詞與詞之間的語義關(guān)系，對傳統(tǒng)的基于詞的句子向量進行語義擴

3、展，從而將語義信息融入到句子中，使得系統(tǒng)性能比起語義擴展前得到了顯著提高。
　　 本文還提出了一種基于圖排序算法的查詢擴展方法，將其結(jié)合到面向查詢的自動文摘系統(tǒng)中，可以很好的解決原始查詢中通常包含信息量不足的問題。該擴展方法在句一句關(guān)系以及句一詞關(guān)系的基礎(chǔ)上利用上下文信息對查詢進行擴展，能夠以較少的噪聲獲取到更多相關(guān)信息。加入了查詢擴展后的文摘系統(tǒng)在性能上比擴展前有明顯的提高，在DUC標(biāo)準評測語料上達到了目前的最好結(jié)果，充分表明

4、了該查詢擴展方法的有效性。
　　 自動文摘研究的另一個主要方面是文摘的評測。當(dāng)前對文摘的自動評測主要在于考察文摘的內(nèi)容覆蓋率，對文摘語言質(zhì)量如可讀性、連貫性等方面的評測則由人工完成，由于需要消耗大量人力而且缺乏客觀性，使得人工評測方法不能普及，所以如何能對文摘的語言質(zhì)量進行自動評測是一個重要研究問題。本文提出了一種對文摘連貫性的自動評價模型。在文摘連貫性的自動評價上，我們對基于實體的連貫性基本模型從特征和實體選取等方面做了深入研