中文重復(fù)網(wǎng)頁的檢測算法研究.pdf

1、隨著互聯(lián)網(wǎng)的日益普及和迅猛發(fā)展，網(wǎng)絡(luò)上的信息量呈現(xiàn)爆炸式的增長，搜索引擎成為人們獲取信息的主要方式，而且越來越受到重視。重復(fù)網(wǎng)頁檢測一直以來都是搜索引擎研究的重點。本文就如何提高中文重復(fù)網(wǎng)頁的檢測算法效率進(jìn)行研究。
　　 通過比較目前國內(nèi)外重復(fù)網(wǎng)頁檢測的若干方法，本人發(fā)現(xiàn)基于內(nèi)容的重復(fù)網(wǎng)頁檢測算法有較好的效果，而且加入鏈接和鏈接信息并沒有明顯改善算法性能，于是著手研究基于內(nèi)容的檢測算法。
　　 DSC重復(fù)網(wǎng)頁檢測算法是典

2、型的基于內(nèi)容的重復(fù)網(wǎng)頁檢測算法，并且被廣泛應(yīng)用。該算法基于網(wǎng)頁語法提取網(wǎng)頁特征，實驗發(fā)現(xiàn)該算法不適用于短小文檔的檢測。Google對DSC算法的試驗評估發(fā)現(xiàn)在該算法中加入詞頻信息會提高算法效率。本文結(jié)合了詞頻統(tǒng)計和自然語言理解等策略，在計算詞條權(quán)重時考慮了詞頻，倒置文檔頻率，位置等內(nèi)容信息，各種信息按一定比例用統(tǒng)計的方法得到關(guān)鍵詞權(quán)值；另外本文將向量空間模型應(yīng)用到網(wǎng)頁相似度計算中來，將網(wǎng)頁進(jìn)行解析預(yù)處理，提取出網(wǎng)頁純文本，然后進(jìn)行網(wǎng)頁中