基于內(nèi)容單元的網(wǎng)頁解析與內(nèi)容提取.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，在線中文網(wǎng)頁的數(shù)量迅速增加，互聯(lián)網(wǎng)上的信息量越來越大。搜索引擎能夠有效地組織和分析海量的信息資源，幫助用戶迅速地獲取所需要的知識和信息。然而互聯(lián)網(wǎng)上的網(wǎng)頁普遍存在著一些與用戶需求無關(guān)的噪聲內(nèi)容，這些內(nèi)容影響了搜索引擎對網(wǎng)頁的處理質(zhì)量。因此，對全部網(wǎng)頁的預(yù)處理工作就必不可少。
　　本文的目的在于通過網(wǎng)頁預(yù)處理技術(shù)，為搜索引擎建立一個內(nèi)容精煉、格式完整、編碼統(tǒng)一的凈化網(wǎng)頁庫，為其他模塊提供數(shù)據(jù)支持。
　　網(wǎng)

2、頁處理技術(shù)經(jīng)過多年的發(fā)展，逐漸形成了DOM結(jié)點(diǎn)解析與分塊解析兩種思路。然而由于對網(wǎng)頁分劃粒度的不當(dāng)，前者容易割裂結(jié)點(diǎn)之間的語義關(guān)聯(lián)，后者很難過濾分塊內(nèi)部的內(nèi)容。為了彌補(bǔ)他們的缺陷，本文找到了一種介于二者之間的網(wǎng)頁解析粒度，稱為內(nèi)容單元，并在內(nèi)容單元粒度上完成了網(wǎng)頁預(yù)處理工作。本文的研究內(nèi)容主要包括以下幾個方面：
　　(1)提出網(wǎng)頁內(nèi)容單元的定義，并以內(nèi)容單元為粒度完成網(wǎng)頁分割解析；
　　(2)利用內(nèi)容單元反映出來的網(wǎng)頁結(jié)構(gòu)特

3、征和語言特征，完成主題型網(wǎng)頁的識別；根據(jù)內(nèi)容單元的組成、結(jié)構(gòu)和功能，利用啟發(fā)式規(guī)則對其進(jìn)行取舍，完成網(wǎng)頁正文內(nèi)容的提取；識別具有特定功能的內(nèi)容單元，提取他們當(dāng)中蘊(yùn)含的網(wǎng)頁題目、時間、導(dǎo)航等信息；
　　(3)在單個網(wǎng)頁的基礎(chǔ)上構(gòu)造并行凈化程序，完成搜索引擎T級(terabyte)原始數(shù)據(jù)的凈化，重組格式，統(tǒng)一編碼。
　　從實(shí)驗(yàn)中得到的結(jié)論證明了網(wǎng)頁內(nèi)容單元解析粒度的有效性，對比顯示了基于內(nèi)容單元的網(wǎng)頁預(yù)處理對主題型網(wǎng)頁識別和正