基于重復(fù)串的STC網(wǎng)頁去重算法研究.pdf

1、隨著網(wǎng)絡(luò)信息呈指數(shù)級的不斷膨脹,如何從這個信息的海洋快速獲得真正有價值的信息變得至關(guān)重要。搜索引擎應(yīng)運而生,提供了在互聯(lián)網(wǎng)上搜索信息的功能。然而在搜索引擎返回的檢索結(jié)果中,存在大量的重復(fù)網(wǎng)頁,其中大部分網(wǎng)頁主要來自網(wǎng)站之間的轉(zhuǎn)載。這些冗余網(wǎng)頁既占用了網(wǎng)絡(luò)帶寬,又浪費存儲資源,如何有效消除這些重復(fù)網(wǎng)頁,提高檢索的準(zhǔn)確率,節(jié)省用戶的時間和精力,提高用戶滿意度,成為當(dāng)今搜索引擎領(lǐng)域中一個重要的研究方向。因此,網(wǎng)頁去重工作有著十分重要的研究意義

2、。
　　本文在深入學(xué)習(xí)數(shù)據(jù)挖掘知識的基礎(chǔ)上,對搜索引擎工作原理進(jìn)行剖析,對現(xiàn)有去重算法進(jìn)行了分析。重點對STC算法和重復(fù)序列算法進(jìn)行了詳細(xì)比較,對兩種算法進(jìn)行性能測試后,分析二者利弊,提出一種基于重復(fù)串的STC改進(jìn)算法,核心思想是對字符重復(fù)串進(jìn)行抽取,使用重復(fù)串作為短語標(biāo)引生成后綴樹,并映射生成倒排索引進(jìn)行STC算法去重。實驗證實了改進(jìn)算法有著良好的準(zhǔn)確率和召回率,并有著優(yōu)良的時間和空間特性。
　　為了驗證所提出算法的有效性

3、并比較其去重效果,本文開發(fā)了一個搜索引擎實驗原型系統(tǒng),完成了該系統(tǒng)的總體設(shè)計和各個模塊的設(shè)計工作,通過該系統(tǒng)實現(xiàn)了算法的改進(jìn),并驗證了其有效性。
　　在實驗過程中,首先對算法進(jìn)行了編輯測試語料的模擬實驗,將一篇文檔內(nèi)容進(jìn)行標(biāo)題和正文的刪除、修改后生成修改文檔。使用改進(jìn)算法將修改文檔與原文進(jìn)行相似度判斷。結(jié)果表明,算法能有效判定文檔相似度。然后在實現(xiàn)了該算法的搜索引擎實驗原型系統(tǒng)中,進(jìn)行互聯(lián)網(wǎng)實測。實驗結(jié)果表明,本文的改進(jìn)算法具有較