布魯姆過濾器查詢算法及其應(yīng)用研究.pdf

1、資源交互共享是計(jì)算機(jī)網(wǎng)絡(luò)和分布式系統(tǒng)的核心，如何有效的表示信息和查詢信息是資源交互共享中最本質(zhì)的問題。高速發(fā)展的計(jì)算機(jī)網(wǎng)絡(luò)和計(jì)算機(jī)系統(tǒng)中，當(dāng)數(shù)據(jù)不斷膨脹時(shí)，數(shù)據(jù)集合的表示和訪問越來越困難。因此，設(shè)計(jì)精簡(jiǎn)數(shù)據(jù)結(jié)構(gòu)支持日益增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需求，設(shè)計(jì)與之對(duì)應(yīng)的算法支持海量數(shù)據(jù)下的高效查詢交互成為當(dāng)前網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)、分布式系統(tǒng)中資源交互共享的核心問題與嚴(yán)峻挑戰(zhàn)。 布魯姆過濾器(Bloom filter)采用一個(gè)位串表示數(shù)據(jù)集合并能有效支持元

2、素的哈希查找，是一種能夠簡(jiǎn)潔的表示集合并支持集合查詢的數(shù)據(jù)結(jié)構(gòu)，廣泛應(yīng)用于數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)和分布式系統(tǒng)中。本文從理論和應(yīng)用兩個(gè)方面對(duì)布魯姆過濾器查詢算法進(jìn)行了深入的研究。系統(tǒng)地綜述了布魯姆過濾器查詢算法迄今為止的主要研究成果，分析了目前布魯姆過濾器查詢算法的研究現(xiàn)狀和缺陷，針對(duì)目前算法的不足，提出了分檔布魯姆過濾器查詢算法、可擴(kuò)展布魯姆過濾器查詢算法、聯(lián)合多維布魯姆過濾器查詢算法、基于布魯姆過濾器距離的集合變動(dòng)評(píng)估算法，并探討了布魯姆過濾器

3、代數(shù)運(yùn)算和集合查詢的關(guān)系。研究布魯姆過濾器在分布式系統(tǒng)中的應(yīng)用，提出了基于布魯姆過濾器的節(jié)點(diǎn)軌跡標(biāo)簽P2P副本一致性維護(hù)算法和基于布魯姆過濾器的混合移動(dòng)自組織網(wǎng)絡(luò)服務(wù)發(fā)現(xiàn)模型。本文的創(chuàng)新性成果主要體現(xiàn)在以下幾個(gè)方面： 1)提出代價(jià)敏感的分檔布魯姆過濾器查詢算法針對(duì)現(xiàn)有的布魯姆過濾器查詢算法沒有考慮查詢失效代價(jià)這一缺陷，本文提出一種新的代價(jià)敏感的分檔布魯姆過濾器查詢算法。它將元素根據(jù)不同的查詢代價(jià)分為不同的子集，通過考查每檔子集最

4、低查詢失效率的關(guān)系，建立由每檔子集最低查詢失效率表示的集合最低查詢失效總代價(jià)目標(biāo)函數(shù)，使用類目標(biāo)函數(shù)梯度遺傳算法獲得每檔的最優(yōu)哈希函數(shù)個(gè)數(shù)k<,i>，完成集合到向量的映射與查找。仿真實(shí)驗(yàn)結(jié)果表明，新的分檔布魯姆過濾器查詢算法和標(biāo)準(zhǔn)布魯姆過濾器算法相比，所用的查詢計(jì)算時(shí)間基本相同，而查詢失效總代價(jià)降低至少40％。 2)提出基于H<,3>哈希函數(shù)的可擴(kuò)展布魯姆過濾器查詢算法布魯姆過濾器可擴(kuò)展性主要是當(dāng)集合元素動(dòng)態(tài)增長(zhǎng)超出過濾器算法設(shè)

5、計(jì)的容量時(shí)，如何調(diào)整布魯姆過濾器參數(shù)，使得布魯姆過濾器查詢算法有較低的查詢誤判率，同時(shí)具有可接受的計(jì)算性能，保證過濾器的可用性。本文研究布魯姆過濾器的可擴(kuò)展性問題，提出基于H<,3>哈希函數(shù)的可擴(kuò)展布魯姆過濾器查詢算法，當(dāng)集合元素增長(zhǎng)超過布魯姆過濾器集合容量限制時(shí)，通過增加成倍數(shù)擴(kuò)大的布魯姆過濾器向量來保持很低的誤判率，利用H<,3>哈希函數(shù)實(shí)現(xiàn)可擴(kuò)展布魯姆過濾器的設(shè)計(jì)以及過濾器中元素的插入、查詢過程。實(shí)驗(yàn)分析表明，新的可擴(kuò)展布魯姆過濾

6、器的元素查詢誤判率永遠(yuǎn)小于動(dòng)態(tài)布魯姆過濾器，平均為它的21.3％，且查詢時(shí)間呈對(duì)數(shù)增長(zhǎng)，解決了現(xiàn)有算法查詢時(shí)間增長(zhǎng)過快問題。 3)研究多維布魯姆過濾器查詢算法針對(duì)現(xiàn)有多維布魯姆過濾器查詢算法(MDBF)在多維元素表示和查詢時(shí)分割了各維屬性為一體的缺陷，提出一種改進(jìn)的兩步表示和查詢的聯(lián)合多維布魯姆過濾器查詢算法(CMDBF)。CMDBF在MDBF的基礎(chǔ)上，增加一個(gè)聯(lián)合標(biāo)準(zhǔn)布魯姆過濾器CBF，將多維元素整體經(jīng)過兩次哈希運(yùn)算表示到CB

7、F中。CMDBF的元素表示和查找分兩步進(jìn)行，將MDBF作為元素表示和查找第一步，第二步聯(lián)合元素各屬性值利用CBF進(jìn)行確認(rèn)。仿真實(shí)驗(yàn)表明，CMDBF相比MDBF查詢誤判率降低明顯。 4)探討布魯姆過濾器的代數(shù)運(yùn)算布魯姆過濾器是集合到向量的一個(gè)映射，本文探討布魯姆過濾器的代數(shù)運(yùn)算和集合查詢的關(guān)系。定義布魯姆過濾器的“并”，“交”，“異或”，“補(bǔ)”，“差”代數(shù)運(yùn)算，從理論和仿真實(shí)驗(yàn)兩方面分析布魯姆過濾器的代數(shù)運(yùn)算和集合代數(shù)運(yùn)算并集，交

8、集，異或集，補(bǔ)集，差集的元素查詢性質(zhì)。理論分析和實(shí)驗(yàn)結(jié)果表明，布魯姆過濾器的“并”，“交”運(yùn)算能夠支持集合并集交集的元素查詢，這一結(jié)論可以大大簡(jiǎn)化利用布魯姆過濾器進(jìn)行的系統(tǒng)設(shè)計(jì)。 5)提出基于布魯姆過濾器的節(jié)點(diǎn)軌跡標(biāo)簽P2P副本一致性維護(hù)算法本文研究P2P系統(tǒng)副本一致性維護(hù)算法，從直接更改消息報(bào)文角度出發(fā)，提出一種基于布魯姆過濾器的節(jié)點(diǎn)軌跡標(biāo)簽無結(jié)構(gòu)P2P副本一致性維護(hù)算法。通過在傳輸消息的報(bào)文中添加已接收更新消息的節(jié)點(diǎn)軌跡地址

9、鏈表標(biāo)簽，可在消息傳輸源節(jié)點(diǎn)進(jìn)行冗余判斷來減少冗余消息數(shù)目。因?yàn)橹苯哟鎯?chǔ)節(jié)點(diǎn)地址軌跡標(biāo)簽算法的消息長(zhǎng)度隨著消息傳輸輪數(shù)和網(wǎng)絡(luò)度數(shù)增加而不斷加大，論文采用布魯姆過濾器表示地址鏈表軌跡標(biāo)簽。通過布魯姆過濾器這種簡(jiǎn)潔的結(jié)構(gòu)表示地址鏈表，可以減少添加到報(bào)文中的軌跡長(zhǎng)度，同時(shí)利用布魯姆過濾器的“并”運(yùn)算還可以簡(jiǎn)化傳輸節(jié)點(diǎn)的冗余判斷。仿真實(shí)驗(yàn)表明：基于布魯姆過濾器的節(jié)點(diǎn)軌跡標(biāo)簽算法可以大大降低冗余消息數(shù)目，提高P2P系統(tǒng)的可擴(kuò)展性。副本節(jié)點(diǎn)網(wǎng)絡(luò)連通

10、性越強(qiáng)，消息數(shù)目和傳輸帶寬減少越明顯。 6)提出基于布魯姆過濾器的混合移動(dòng)自組織網(wǎng)絡(luò)服務(wù)發(fā)現(xiàn)模型研究服務(wù)發(fā)現(xiàn)中服務(wù)信息的精簡(jiǎn)存儲(chǔ)和查詢方法，提出基于布魯姆過濾器的混合移動(dòng)自組織網(wǎng)絡(luò)服務(wù)發(fā)現(xiàn)模型。模型采用計(jì)數(shù)式布魯姆過濾器表示注冊(cè)服務(wù)目錄，采用兩層混合服務(wù)發(fā)現(xiàn)體系結(jié)構(gòu)和兩級(jí)服務(wù)信息存儲(chǔ)方式。論文詳細(xì)描述了基于布魯姆過濾器的服務(wù)發(fā)布、服務(wù)查詢、服務(wù)取消、服務(wù)注冊(cè)信息的擴(kuò)散與同步和節(jié)點(diǎn)移動(dòng)時(shí)對(duì)應(yīng)在服務(wù)協(xié)調(diào)者節(jié)點(diǎn)的相關(guān)操作和過程。定義布