Web文檔自動摘要技術研究.pdf

1、隨著互聯網技術的迅速發(fā)展，網絡上的信息呈爆炸式增長，給人們帶來豐富信息的同時也帶來了一定的困擾。面對這海量的信息資源，如何能快速而又準確地獲取信息成為一個研究熱點。在這種需求背景下，對信息檢索中的自動摘要技術的研究顯得尤為重要，用戶只瀏覽摘要信息而不必點開全文即可做出相關性判斷，方便而快捷，進而改善信息檢索的效率。
　　 互聯網本身具有開放性、自由性，且人們的交互信息也呈現出電子化、海量化、網絡化的特點，而Web資源大部分都是以

2、非結構化的形式保存的，這些因素給信息檢索中自動摘要技術的研究帶來了極大的困擾，尤其在處理互聯網中的海量信息文本時，為了能夠得到更準確全面的摘要信息，自動摘要技術在選取主題句方面面臨著極大的挑戰(zhàn)。
　　 針對現有自動摘要技術在選取主題句時準確率低的問題，本文以Web文檔作為主要處理對象，研究了Web文檔自動摘要技術，設計并實現了一個它的原型系統(tǒng)。本文主要內容的詳細描述如下:
　　 (1)研究并分析了自動摘要理論以及信息檢索

3、中所涉及到的關鍵技術。為了獲得高質量的文檔摘要，需綜合分析Web文檔自身特征以及檢索相關技術，主要包括題材、結構等文檔特征以及查詢擴展等技術，這些因素有助于提高摘要質量。
　　 (2)對傳統(tǒng)的VSM模型進行了研究與改進。傳統(tǒng)的VSM模型采用的是基于詞頻統(tǒng)計的方法，對文檔中詞語出現頻率實行淺層意義上的疊加，認為高頻詞最能表達文章主旨，而忽視了一詞多義、同義詞等現象，致使信息檢索時出現話題漂移現象，故為了獲取能準確表達文檔中心意思的

4、詞或短語，本文采用基于概念統(tǒng)計的方法，充分考慮了這些關鍵詞的詞性、位置以及自身長度等特征。
　　 (3)為了得到較高質量的自動摘要，本文在基于概念統(tǒng)計方法的基礎上，利用本體技術對查詢關鍵詞及語義上下文進行擴展，并得到用戶對該查詢詞的語義興趣度，進而構造出一種新的詞語權重計算公式，該公式的運用可大大提高能表達文章主旨的詞或短語的權重。同時在句子權重計算過程中，為避免人為主觀因素的影響，采用非線性加權方法來自動調節(jié)相關詞的重要程度。