基于子主題劃分和句子特征的中文文檔自動文摘研究.pdf

1、隨著網(wǎng)絡(luò)上電子信息的劇增，如何準確高效的獲取需要的信息變得日益重要。文摘作為文檔內(nèi)容的概述，它的簡潔性、概括性、可讀性和客觀性能夠滿足人們高效挖掘有用信息的需求。因此，自動文摘逐漸成為近年來自然語言處理領(lǐng)域的一個研究熱點。
　　 本文首先介紹文摘的概念、自動文摘的國內(nèi)外研究現(xiàn)狀及研究方法。然后針對基于LexRank算法的文摘抽取存在的優(yōu)缺點進行了討論分析，提出了一種新的基于子主題劃分和句子特征的中文文檔自動文摘方法：
　　

2、 ①將中文文檔表示為以句子為頂點，句子之間的相似度為邊權(quán)值的無向加權(quán)圖結(jié)構(gòu)。然后得到其最大生成樹，并在最大生成樹上采用改進的K-means算法完成聚類，得到的每個子類代表一個子主題。對文檔進行子主題劃分可以解決摘要的低主題覆蓋率，得到更全面的文摘；
　　 ②在每個子主題內(nèi)，句子權(quán)重由LexRank算法得到的句子顯著度與句子特征的得分共同衡量，例如句子的長度、位置、標題詞匯、指示性短語、句子結(jié)構(gòu)等，從而得到更加準確和全面的句子權(quán)

3、重；
　　 ③在抽取文摘前，首先對子主題按照重要度由高到低進行排序，然后按照壓縮率依次從每個子主題中抽取當前權(quán)重最高的句子放入文摘句集合中。每當抽取一個文摘句后，就對該子主題中其他句子進行權(quán)重重置計算，以避免下次重復(fù)抽取相似度較高的句子。這樣不僅可以使文摘較全面的表達文檔的重要主題，而且可以減少文摘的冗余。
　　 最后使用哈爾濱工業(yè)大學(xué)社會計算與信息檢索研究中心提供的單文檔自動文摘語料庫，對三種不同的自動文摘方法進行了對