基于內容單元的網(wǎng)頁解析與內容提取.pdf

1、隨著互聯(lián)網(wǎng)技術的發(fā)展，在線中文網(wǎng)頁的數(shù)量迅速增加，互聯(lián)網(wǎng)上的信息量越來越大。搜索引擎能夠有效地組織和分析海量的信息資源，幫助用戶迅速地獲取所需要的知識和信息。然而互聯(lián)網(wǎng)上的網(wǎng)頁普遍存在著一些與用戶需求無關的噪聲內容，這些內容影響了搜索引擎對網(wǎng)頁的處理質量。因此，對全部網(wǎng)頁的預處理工作就必不可少。
　　本文的目的在于通過網(wǎng)頁預處理技術，為搜索引擎建立一個內容精煉、格式完整、編碼統(tǒng)一的凈化網(wǎng)頁庫，為其他模塊提供數(shù)據(jù)支持。
　　網(wǎng)

2、頁處理技術經(jīng)過多年的發(fā)展，逐漸形成了DOM結點解析與分塊解析兩種思路。然而由于對網(wǎng)頁分劃粒度的不當，前者容易割裂結點之間的語義關聯(lián)，后者很難過濾分塊內部的內容。為了彌補他們的缺陷，本文找到了一種介于二者之間的網(wǎng)頁解析粒度，稱為內容單元，并在內容單元粒度上完成了網(wǎng)頁預處理工作。本文的研究內容主要包括以下幾個方面：
　　(1)提出網(wǎng)頁內容單元的定義，并以內容單元為粒度完成網(wǎng)頁分割解析；
　　(2)利用內容單元反映出來的網(wǎng)頁結構特

3、征和語言特征，完成主題型網(wǎng)頁的識別；根據(jù)內容單元的組成、結構和功能，利用啟發(fā)式規(guī)則對其進行取舍，完成網(wǎng)頁正文內容的提?。蛔R別具有特定功能的內容單元，提取他們當中蘊含的網(wǎng)頁題目、時間、導航等信息；
　　(3)在單個網(wǎng)頁的基礎上構造并行凈化程序，完成搜索引擎T級(terabyte)原始數(shù)據(jù)的凈化，重組格式，統(tǒng)一編碼。
　　從實驗中得到的結論證明了網(wǎng)頁內容單元解析粒度的有效性，對比顯示了基于內容單元的網(wǎng)頁預處理對主題型網(wǎng)頁識別和正