搜索引擎中網(wǎng)頁分類和網(wǎng)頁凈化的研究與實現(xiàn).pdf

1、隨著社會的進(jìn)步和科技的飛速發(fā)展，人們的生活已經(jīng)越來越離不開網(wǎng)絡(luò)了，為了滿足人們?nèi)找嬖鲩L的需求，海量的網(wǎng)頁信息也隨之產(chǎn)生了，如何從這些海量的信息中找到人們所需要的信息變得越來越困難，搜索引擎正是為了解決這一難題而產(chǎn)生的。
　　 用戶瀏覽的網(wǎng)頁可以從內(nèi)容展現(xiàn)形式上分為目錄型網(wǎng)頁(hub)、主題型網(wǎng)頁(topic)和圖片型網(wǎng)頁(picture)這三類，現(xiàn)在將視頻型網(wǎng)頁也歸類為圖片型網(wǎng)頁。這三種類型的網(wǎng)頁在展現(xiàn)形式上的差異，直接影響到信

2、息提取的方法也有所不同，對于目錄型網(wǎng)頁，主要是提取中間的鏈接信息;而對于主題型網(wǎng)頁則是提取主題內(nèi)容;圖片型網(wǎng)頁則主要是圖片和視頻。如何能對網(wǎng)頁進(jìn)行快速、準(zhǔn)確的分類是搜索引擎在預(yù)處理階段必須完成的工作。現(xiàn)在的網(wǎng)頁在分類上呈現(xiàn)出模糊化，許多目錄型的網(wǎng)頁中間包含著大量的說明性文字，使其看起來跟主題型網(wǎng)頁又有幾分類似，這對網(wǎng)頁分類又是一個巨大的挑戰(zhàn)。
　　 搜索引擎在預(yù)處理階段最主要的目的是信息提取，由于網(wǎng)頁是一種半結(jié)構(gòu)化的數(shù)據(jù)，在信息

3、的提取過程中充滿著各種挑戰(zhàn)。為了頁面的內(nèi)容豐富、布局美觀還有商業(yè)因素的慘雜，使得網(wǎng)頁一般都包含著無用的鏈接、廣告信息、版權(quán)信息等。這些信息嚴(yán)重影響到了網(wǎng)頁內(nèi)容提取的準(zhǔn)確度，進(jìn)而影響到了返回給用戶檢索結(jié)果的準(zhǔn)確性，因此在進(jìn)行信息的提取過程中必須進(jìn)行去噪處理。
　　 如何提高搜索引擎的搜索質(zhì)量和搜索效率一直都是人們不斷研究和努力的方向，本文正是在研究搜索引擎的預(yù)處理過程中，著重研究了網(wǎng)頁分類和網(wǎng)頁凈化這兩點，研究的主要內(nèi)容有:

4、>　　 (1)提出并實現(xiàn)了一種網(wǎng)頁分類的方法，該算法主要是對目錄型和主題型的網(wǎng)頁進(jìn)行分類，通過一組多特征的啟發(fā)式的規(guī)則去甄別網(wǎng)頁的類型，實驗證明該算法在網(wǎng)頁分類上具有良好的效果。
　　 (2)采用網(wǎng)頁進(jìn)行分塊的思想，通過觀察統(tǒng)計網(wǎng)頁的主題內(nèi)容的特點，提出了通過計算該結(jié)構(gòu)塊對整個網(wǎng)頁類型的支持率來判斷該塊是否為主題塊，同時針對不規(guī)范的網(wǎng)頁中主題內(nèi)容離散的特點，針對性的采用了文本間相似度比較來判斷該塊是否為主題塊，實驗證明該算法是