搜索引擎重復(fù)網(wǎng)頁檢測技術(shù)研究.pdf

1、網(wǎng)絡(luò)的飛速發(fā)展，給人們帶來了一個信息的海洋，如何快速從中獲取真正重要的信息變得至關(guān)重要，搜索引擎便是提供這種功能的一種工具。然而在搜索引擎返回的檢索結(jié)果中，存在著大量的重復(fù)網(wǎng)頁。這不僅嚴(yán)重影響了搜索引擎檢索信息的效率，同時存儲這些重復(fù)網(wǎng)頁浪費(fèi)了巨大的存儲空間。而對于搜索引擎的用戶而言，在檢索含有大量重復(fù)網(wǎng)頁的系統(tǒng)時，提供給用戶的有效響應(yīng)明顯降低。因此，重復(fù)網(wǎng)頁檢測已成為搜索引擎提高檢索效率與服務(wù)質(zhì)量的關(guān)鍵技術(shù)之一。
　　 本文以

2、搜索引擎的重復(fù)網(wǎng)頁檢測問題為研究背景，首先對現(xiàn)存的主要重復(fù)網(wǎng)頁檢測算法進(jìn)行了深入的研究，總結(jié)了它們各自的優(yōu)缺點(diǎn)；并以此為基礎(chǔ)提出了一種基于語義的重復(fù)網(wǎng)頁檢測算法。該算法主要針對重復(fù)網(wǎng)頁檢測的兩個關(guān)鍵環(huán)節(jié)進(jìn)行優(yōu)化。
　　 在文本預(yù)處理中，根據(jù)詞語之間存在著大量的同義與近義的語義關(guān)系，增加了同義詞與近義詞的歸并；在特征提取環(huán)節(jié)，從詞語在文本中的語義角度出發(fā)，與傳統(tǒng)方法相比，增加了詞語的位置權(quán)值與長度權(quán)值；在特征比較環(huán)節(jié)，回避了傳統(tǒng)方

3、法對網(wǎng)頁的兩兩比較，采用了二叉排序樹的數(shù)據(jù)結(jié)構(gòu)，比較的效率得到很大的提高。并針對如何對提取的關(guān)鍵詞排序的問題，又提出了兩種關(guān)鍵詞排序方法，一種是按關(guān)鍵詞權(quán)值排序的SORTw(Kd)方法，另一種是按關(guān)鍵詞字母排序的SORTa(Kd)方法。
　　 為了驗(yàn)證所提出算法的有效性和效率，本文在Windows平臺實(shí)現(xiàn)了一個重復(fù)網(wǎng)頁檢測的原型系統(tǒng)。運(yùn)用此原型系統(tǒng)，進(jìn)行了一系列的實(shí)驗(yàn)分析與總結(jié)，并驗(yàn)證了本文所提出的基于語義的重復(fù)網(wǎng)頁檢測算法及兩