基于頁面分塊的網(wǎng)頁內(nèi)容提取的研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)時代的來臨，Web已經(jīng)成為世界上最大的信息源，給人們生活帶來了極大的方便。但是Web在給人們提供豐富信息的同時，又使人們在對它們的有效使用方面面臨一個巨大的挑戰(zhàn)。一方面網(wǎng)上的信息多種多樣、豐富多彩，另一方面用戶卻找不到他們所需要的信息。為了更好的使用Web上的信息，人們不斷研究能夠有效組織和利用網(wǎng)上信息的技術(shù)。然而，Web文檔不像傳統(tǒng)的文本那樣整齊、干凈，其中包含大量噪音內(nèi)容，例如為了增強用戶交互性而加入的腳本，為了便于用戶瀏

2、覽而加入的導(dǎo)航鏈接，以及出于商業(yè)因素所加入的廣告鏈接等。這些噪音內(nèi)容往往和網(wǎng)頁的主題不相關(guān)，在網(wǎng)頁分類、信息檢索等Web應(yīng)用中，如果不去除這些噪音內(nèi)容，不僅降低信息處理程序的執(zhí)行速度，還將影響分類和檢索的準確度。比如在信息檢索時，可能僅僅因為某一頁面廣告信息中包含用戶所查找的關(guān)鍵字而將該頁面返回給用戶。因此，快速準確地提取從網(wǎng)頁的主題內(nèi)容和主題相關(guān)內(nèi)容已經(jīng)成為Web信息處理系統(tǒng)預(yù)處理環(huán)節(jié)中一個必不可少的環(huán)節(jié)。
　　 本文在網(wǎng)頁內(nèi)

3、容提取方面主要做了以下幾點研究：
　　 (1)提出了并實現(xiàn)了一種主題型頁面識別算法，該算法利用主題型頁面的多個特征，首先通過啟發(fā)式規(guī)則過濾，然后再通過分類器對不能識別網(wǎng)頁進一步分類，實驗證明了該算法具有較好的識別效果。
　　 (2)針對以往網(wǎng)頁分塊算法只使用一種線索的不足，提出并實現(xiàn)了基于多線索的網(wǎng)頁分塊算法，該算法綜合利用了標簽線索，視覺線索和文本線索，對網(wǎng)頁進行分塊，生成語義塊樹結(jié)構(gòu)，并保留語義塊的視覺信息等，方便后

4、序利用。通過實驗證明和現(xiàn)有分塊算法相比，本文提出的算法提高了分塊準確率，并且更為魯棒，適用范圍更廣。
　　 (3)總結(jié)了網(wǎng)頁內(nèi)容塊的主要特征，提出并實現(xiàn)了一種基于組合特征的主題內(nèi)容塊識別算法，該算法將基于文字特征識別的算法和基于布局特征識別的算法組合起來?；谖谋咎卣髯R別算法偏重于語義塊內(nèi)部的文字內(nèi)容，而基于布局特征的算法反映的是語義塊內(nèi)部的結(jié)構(gòu)信息。兩個算法組合起來使用，最后識別出的主題塊既能反映其文本的重要性，又能反映其內(nèi)部