布隆過濾器在網(wǎng)頁去重中的研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)信息呈爆炸性的增長(zhǎng)。大量的信息一方面給人們帶來了更多的消息來源，而另一方面也給人們搜索有用的信息帶來巨大的負(fù)擔(dān)。根據(jù)中國互聯(lián)網(wǎng)絡(luò)信息中心CNNIC在2012年的統(tǒng)計(jì):2011年全球網(wǎng)頁的數(shù)量已經(jīng)達(dá)到866億個(gè)，而2012年這個(gè)數(shù)字已經(jīng)增加到了1227億個(gè)。因此如何更有效的消除互聯(lián)網(wǎng)中的重復(fù)信息，讓人們便捷的找到所求，已經(jīng)成為現(xiàn)代互聯(lián)網(wǎng)的一個(gè)重要的問題。
　　 布隆過濾器(Bloom Filter)是1970

2、年提出的一種去重算法，它實(shí)際上是由一個(gè)很長(zhǎng)的二進(jìn)制向量和一系列隨機(jī)映射函數(shù)組成的。如今，他已經(jīng)運(yùn)用在了很多領(lǐng)域，并且通過國內(nèi)外的研究，逐漸改進(jìn)了算法的缺點(diǎn)。
　　 本文從理論和應(yīng)用同時(shí)入手，通過實(shí)驗(yàn)的方法，找到布隆過濾器在網(wǎng)頁去重領(lǐng)域比較好的改進(jìn)方案。
　　 首先，本文介紹了重復(fù)網(wǎng)頁的概念和種類，總結(jié)了重復(fù)網(wǎng)頁產(chǎn)生的原因。并且簡(jiǎn)要介紹了一些相關(guān)概念。
　　 其次，重點(diǎn)介紹了布隆過濾器以及其改進(jìn)算法。以改進(jìn)布隆過濾