版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
1、Internet上超過80億個網(wǎng)頁的海量數(shù)據(jù)使互聯(lián)網(wǎng)成為當(dāng)今世界上最大的信息庫和全球范圍內(nèi)傳播信息的最主要渠道,也為廣大用戶提供了一個巨大價值的,廣闊的獲取信息的渠道。但當(dāng)我們使用搜索引擎在互聯(lián)網(wǎng)中搜索信息的時候總是經(jīng)常會出現(xiàn)大量的重復(fù)信息,具體表現(xiàn)為搜索引擎的搜索結(jié)果極為龐大,在這浩瀚的數(shù)據(jù)中尋找我們需要的信息無異于是大海撈針。這是搜索引擎領(lǐng)域亟待解決的一個問題。網(wǎng)頁消重是搜索引擎領(lǐng)域里一個重要環(huán)節(jié)。由于網(wǎng)頁中存在難以辨別的模板信息,
2、廣告等噪音,當(dāng)前常用的檢測算法都無法有效排除這一影響,所以都存在根本性的缺陷。 本文提出了兩種網(wǎng)頁消重檢測算法能有效解決這一問題。并將這兩種算法跟兩種常見的算法進(jìn)行了對比測試,用實驗證明了這兩種算法的優(yōu)點。 本文在大量實驗和數(shù)據(jù)分析的基礎(chǔ)上,得到了如下研究成果和結(jié)論: 1)提出了一種基于單一MD5指紋的網(wǎng)頁消重高效檢測算法。該算法對網(wǎng)頁正文塊(可見文字)進(jìn)行排序,選取最大的t個文本塊,將這些文本塊連接在一起,生成
3、一個代表該網(wǎng)頁的MD5指紋,若兩個網(wǎng)頁有相同的指紋則認(rèn)為他們是近似網(wǎng)頁。 2)提出了一種改進(jìn)的基于關(guān)鍵詞匹配和向量空間模型的近似網(wǎng)頁檢測算法。該算法對網(wǎng)頁正文塊(可見文字)進(jìn)行排序,選取最大的t個文本塊,從這些文本塊中提取代表網(wǎng)頁的特征值,最后對特征值提取網(wǎng)頁指紋并進(jìn)行對比,得出最終結(jié)果。 3)最后將本文提出算法跟兩種常見的算法進(jìn)行了對比,并用實驗證明了本文提出的算法的優(yōu)點,這兩種算法在時間復(fù)雜度、空間復(fù)雜度、召回率等性
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于文本聚類的網(wǎng)頁消重算法研究.pdf
- 網(wǎng)頁消重技術(shù)的研究與實現(xiàn).pdf
- 網(wǎng)頁查重算法研究.pdf
- 基于布隆過濾器算法的網(wǎng)頁消重技術(shù)的實現(xiàn)與應(yīng)用.pdf
- 搜索引擎系統(tǒng)網(wǎng)頁消重的研究與實現(xiàn).pdf
- 基于網(wǎng)頁正文結(jié)構(gòu)樹的近似網(wǎng)頁去重算法研究.pdf
- 基于布爾模型的網(wǎng)頁查重算法研究.pdf
- 網(wǎng)頁消重和聚類算法在高校搜索引擎中的研究與應(yīng)用.pdf
- 搜索引擎中網(wǎng)頁凈化與消重技術(shù)研究.pdf
- 搜索引擎系統(tǒng)中網(wǎng)頁消重的研究與實現(xiàn).pdf
- 基于重復(fù)串的STC網(wǎng)頁去重算法研究.pdf
- 基于模糊匹配思想的網(wǎng)頁去重算法.pdf
- 相似網(wǎng)頁去重算法的并行化研究與實現(xiàn).pdf
- 中文網(wǎng)頁查重方法研究.pdf
- 近似鏡像網(wǎng)頁去重方法研究.pdf
- 網(wǎng)頁學(xué)習(xí)排序算法研究.pdf
- 網(wǎng)頁排重技術(shù)研究及應(yīng)用.pdf
- 漢語人名消歧算法研究.pdf
- 基于網(wǎng)頁結(jié)構(gòu)挖掘算法研究
- 網(wǎng)頁正文提取及去重技術(shù)研究.pdf
評論
0/150
提交評論