數(shù)據(jù)中心環(huán)境下基于相似文件協(xié)同的鏡像分發(fā)技術(shù).pdf

1、相似文件的Top-k查詢屬于最近鄰查找問(wèn)題，是指查找用戶所指定文件的最相似的k個(gè)文件，其中必須要使用文件的相似度計(jì)算技術(shù)。文件相似度作為一種基礎(chǔ)性計(jì)算用于比較文件之間相似性程度，在網(wǎng)頁(yè)查重、文章抄襲、搜索引擎等諸多方面具有廣泛的應(yīng)用。傳統(tǒng)的線性查找方法簡(jiǎn)單易操作，但計(jì)算復(fù)雜度太高，而LSH函數(shù)方法雖然有效降低了計(jì)算復(fù)雜度，但查詢的精度不高。針對(duì)上述問(wèn)題，本文提出了基于Bloom filter的Top-k相似文件查詢算法，并在Spark平

2、臺(tái)上實(shí)現(xiàn)了算法的并行化。經(jīng)實(shí)驗(yàn)驗(yàn)證，基于Bloom filter的Top-k相似文件查詢算法不僅有精確的查準(zhǔn)率，而且在空間和時(shí)間效率有明顯的優(yōu)勢(shì)。
　　虛擬機(jī)鏡像分發(fā)技術(shù)一直是云計(jì)算研究的一個(gè)重要問(wèn)題，研究云環(huán)境下虛擬機(jī)鏡像的快速分發(fā)對(duì)于加速部署用戶所需應(yīng)用和提高云服務(wù)的質(zhì)量意義重大。采用基于P2P的鏡像分發(fā)技術(shù)是現(xiàn)有流行且有效的鏡像分發(fā)方法，但其忽略了鏡像存儲(chǔ)的相似性，無(wú)法挖掘網(wǎng)絡(luò)中冗余數(shù)據(jù)分塊資源，導(dǎo)致較低的網(wǎng)絡(luò)帶寬利用率。本

3、文以BitTorrent為基礎(chǔ)提出一種基于相似文件協(xié)作的P2P鏡像分發(fā)協(xié)議，并將基于Bloom filter的Top-k相似文件的并行查詢方法應(yīng)用到新協(xié)議的相似文件查詢模塊來(lái)提升查詢效率和準(zhǔn)確率。新的協(xié)議打通了不同下載群體間的傳輸通道，Peer不僅與下載相同鏡像的其他Peers交換數(shù)據(jù)，還能從相似鏡像的Seed獲得所需的數(shù)據(jù)塊，實(shí)現(xiàn)了虛擬機(jī)鏡像的跨鏡像分發(fā)。實(shí)驗(yàn)結(jié)果顯示，新協(xié)議分發(fā)鏡像的速度較標(biāo)準(zhǔn)BitTorrent協(xié)議提升了10％～7