基于主題劃分的Web文檔自動摘要研究.pdf

1、隨著Internet的迅速發(fā)展，Web上的各種數(shù)據(jù)急劇增加，網(wǎng)絡(luò)已經(jīng)成為數(shù)據(jù)的倉庫和知識的潛在源泉。用戶如何才能快速有效地獲取和利用這些資源，已經(jīng)成為迫切需要解決的一個問題，而信息檢索和自動摘要是目前解決這一難題的關(guān)鍵技術(shù)。自動摘要技術(shù)將文檔內(nèi)容以簡潔精練的形式呈現(xiàn)出來，是信息檢索技術(shù)發(fā)展到一定程度的自然延伸。目前，搜索引擎作為信息檢索的一個重要工具，往往只是簡單截取關(guān)鍵字所在的部分句子或段落作為摘要提供給用戶，造成用戶在瀏覽搜索結(jié)果時

2、無法把握整個網(wǎng)頁的內(nèi)容提要，進而影響檢索效率。而傳統(tǒng)基于詞頻統(tǒng)計的摘要方法又主要針對純文本文檔，且單純考慮文本的表層特征，缺乏對文檔的語義分析，生成的文摘質(zhì)量不高，因此也難以直接適用于Web文檔摘要的自動提取。 本課題針對傳統(tǒng)摘要技術(shù)的不足，提出了一種基于主題劃分的Web文檔自動摘要方法。該方法以非受限領(lǐng)域的Web文檔為處理對象，在機械文摘基礎(chǔ)上融合了理解文摘中的相關(guān)語義分析技術(shù)，充分挖掘Web文檔的結(jié)構(gòu)特征來提取摘要。首先，利

3、用HTML文檔的標記信息劃分網(wǎng)頁主題，以劃分的主題為單位抽取摘要，使得最終文摘覆蓋的內(nèi)容更加全面。其次，利用WordNet中的語義關(guān)系以概念統(tǒng)計代替?zhèn)鹘y(tǒng)的詞頻統(tǒng)計以消除同義詞的影響，使得提取的主題特征更加準確。最后，根據(jù)句子之間的語義相似度，提出一種新的文摘句動態(tài)抽取算法，有效避免了文摘內(nèi)容的重復。在具體研究過程中，本論文所作的主要工作如下：網(wǎng)頁主題劃分：利用Web文檔的標記信息構(gòu)建相應(yīng)的DOM樹，設(shè)計了兩級不同粒度的過濾器對網(wǎng)頁進行預(yù)

4、處理。在此基礎(chǔ)上，通過樹中節(jié)點的自然分割功能和節(jié)點間的語義相似性比較，將文檔劃分成不同的主題塊。 主題概念提?。豪肳ordNet詞典中的同義和上下位關(guān)系，將同義詞歸結(jié)為它們的祖先概念，對同義詞的統(tǒng)計就歸結(jié)為對它們上位詞的統(tǒng)計，從而有效降低向量空間的維數(shù)。并針對網(wǎng)頁特點，通過對自身頻率、覆蓋度等指標的衡量來選取主題概念。 摘要動態(tài)生成：基于上述工作提取的主題概念，為文檔中的每個句子構(gòu)建向量空間模型，利用網(wǎng)頁標簽對摘要的重