

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、隨著信息化的發(fā)展,全球數(shù)據(jù)量呈指數(shù)式增長(zhǎng),數(shù)據(jù)中心存儲(chǔ)規(guī)??焖龠~向了PB級(jí)甚至是EB級(jí),其中包含了大量的冗余數(shù)據(jù)。這些冗余數(shù)據(jù)占用了大量的存儲(chǔ)資源,導(dǎo)致存儲(chǔ)系統(tǒng)性能降低,數(shù)據(jù)存儲(chǔ)和管理成本增加等問題。在此背景下,存儲(chǔ)容量縮減技術(shù)在不改變數(shù)據(jù)基本屬性前提下,通過采用重復(fù)數(shù)據(jù)刪除技術(shù)和數(shù)據(jù)壓縮技術(shù),有效地縮減數(shù)據(jù)量的規(guī)模,提高存儲(chǔ)資源利用率,降低管理成本。存儲(chǔ)容量縮減技術(shù)已經(jīng)成為業(yè)界研究的熱點(diǎn),顯示出重要的學(xué)術(shù)價(jià)值和應(yīng)用價(jià)值。
然
2、而,大數(shù)據(jù)的規(guī)模巨大、類型繁多、冗余量龐大以及對(duì)數(shù)據(jù)處理的速度要求較高等特點(diǎn),導(dǎo)致存儲(chǔ)容量縮減技術(shù)在面對(duì)大數(shù)據(jù)應(yīng)用時(shí)仍然存在許多需要解決的技術(shù)問題。例如如何降低數(shù)據(jù)分塊時(shí)間開銷,減少冗余數(shù)據(jù)塊發(fā)現(xiàn)時(shí)間以及提高數(shù)據(jù)壓縮速度和壓縮率等方面。針對(duì)上述問題,從存儲(chǔ)容量縮減技術(shù)的數(shù)據(jù)分塊策略、冗余數(shù)據(jù)塊的發(fā)現(xiàn)機(jī)制以及數(shù)據(jù)塊的高速壓縮機(jī)制等方面進(jìn)行深入的研究。具體來(lái)說(shuō),主要從以下三個(gè)方面提出了創(chuàng)新性理論或方法:
1.基于位串內(nèi)容感知的數(shù)據(jù)
3、分塊策略(Bit-string Content-aware Chunking Strategy,BCCS):圍繞影響數(shù)據(jù)分塊性能的各種因素進(jìn)行分析和討論,實(shí)現(xiàn)了一種新的基于位串的數(shù)字簽名技術(shù),并在此基礎(chǔ)上提出了BCCS。BCCS從數(shù)據(jù)塊每個(gè)正文字節(jié)中抽取某一特定比特來(lái)構(gòu)成窗口特征數(shù)據(jù),并使用位操作替代傳統(tǒng)的比較操作。該策略充分利用每一次失敗的匹配嘗試所帶來(lái)的特征信息,盡量排除盡可能多的不能匹配位置,從中獲取最大跳躍長(zhǎng)度,從而加快二進(jìn)制串
4、的匹配過程,降低確定塊邊界的CPU資源消耗。實(shí)驗(yàn)結(jié)果表明,對(duì)于可變數(shù)據(jù)測(cè)試集,相對(duì)Rabin算法,BCCS的數(shù)據(jù)塊劃分速度最多可以提高197%;對(duì)于固定數(shù)據(jù)測(cè)試集,相對(duì)于FSP算法,BCCS速度僅僅降低10.8%,而其數(shù)據(jù)壓縮率卻較FSP的0.977提高到了1.206,可以提高20%。
2.基于二級(jí)布隆過濾的冗余數(shù)據(jù)塊發(fā)現(xiàn)機(jī)制(Redundant ChunkQuery Mechanism based on Two-staged
5、 Bloom Filter,RCQM-TBF):針對(duì)數(shù)據(jù)指紋(FingerPrint,FP)數(shù)量巨大,不能完全存儲(chǔ)在內(nèi)存中,導(dǎo)致性能下降的問題,提出了RCQM-TBF。RCQM-TBF中第二級(jí)布隆過濾器作為第一級(jí)布隆過濾器結(jié)果的一個(gè)整體表現(xiàn),其每一個(gè)比特位代表進(jìn)入相同準(zhǔn)二級(jí)假陽(yáng)性誤判狀態(tài)的所有FP。對(duì)于FP假陽(yáng)性訪問,TBF通過降低二級(jí)布隆過濾機(jī)制中第一級(jí)和第二級(jí)過濾的假陽(yáng)性誤判率,快速判斷新到達(dá)數(shù)據(jù)塊的非存在性;對(duì)于FP正常性訪問,T
6、BF通過建立FP高速緩存鏈表和對(duì)應(yīng)的FP預(yù)取機(jī)制來(lái)減少直接的硬盤訪問,對(duì)新到達(dá)的數(shù)據(jù)塊存在性進(jìn)行快速判斷;同時(shí)TBF創(chuàng)建了一個(gè)具有強(qiáng)全局散列特性的哈希函數(shù)族,減小碰撞發(fā)生的可能性。實(shí)驗(yàn)結(jié)果表明,對(duì)于非冗余測(cè)試數(shù)據(jù)集,RCQM-TBF的FP查詢延遲性能和數(shù)據(jù)塊的存儲(chǔ)性能較采用標(biāo)準(zhǔn)布隆過濾算法的ZHU-BLOOM FILTER最多提升了28%;對(duì)于冗余測(cè)試數(shù)據(jù)集,RCQM-TBF的存儲(chǔ)速度較ZHU-BLOOM FILTER最多可以提高100
7、%到135%;當(dāng)擴(kuò)充服務(wù)器內(nèi)存時(shí),理論上RCQM-TBF可管理的存儲(chǔ)數(shù)據(jù)容量最大可以達(dá)到64PB。
3.基于多矩陣并行匹配的高速數(shù)據(jù)壓縮機(jī)制(Parallel MatchingLZSS based on Multiple Matrix,PMLZSS-MM):為了加快壓縮速度,并提高存儲(chǔ)容量利用率,提出了PMLZSS-MM。該機(jī)制實(shí)現(xiàn)了一種GPU平臺(tái)下的多矩陣并行匹配工作模式,將需要壓縮的數(shù)據(jù)動(dòng)態(tài)劃分多個(gè)字典串和預(yù)讀串,分別將其
8、作為矩陣的縱軸和橫軸,分解到GPU中的不同線程塊中,形成多個(gè)矩陣進(jìn)行并行匹配;而對(duì)于需串行執(zhí)行的壓縮編碼生成部分,仍然在CPU上執(zhí)行。通過合理的調(diào)度策略,協(xié)調(diào)兩者共同完成任務(wù)。實(shí)驗(yàn)結(jié)果表明,PMLZSS-MM容量縮減率有所下降。相對(duì)于經(jīng)典CPU平臺(tái)上的串行LZSS算法,容量縮減率最多下降了1.5%。但PMLZSS-MM顯著提高了大數(shù)據(jù)的壓縮速度,當(dāng)字典窗口設(shè)置為4KB,預(yù)讀數(shù)據(jù)窗口設(shè)置為64B時(shí),相對(duì)于CPU平臺(tái)上的串行LZSS算法,其
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 大數(shù)據(jù)存儲(chǔ)技術(shù)研究
- 地震數(shù)據(jù)高效存儲(chǔ)技術(shù)研究.pdf
- 面向大數(shù)據(jù)的高效數(shù)據(jù)挖掘算法研究.pdf
- 基于HBase的大數(shù)據(jù)存儲(chǔ)查詢技術(shù)研究.pdf
- 面向新聞大數(shù)據(jù)的節(jié)能存儲(chǔ)策略研究.pdf
- 08海曙----存儲(chǔ)容量(宋紅娟)
- 基于Hadoop的大數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)研究.pdf
- 面向大數(shù)據(jù)查詢的索引技術(shù)研究.pdf
- 面向大數(shù)據(jù)的分布式存儲(chǔ)關(guān)鍵技術(shù)的研究.pdf
- 高速大容量數(shù)據(jù)存儲(chǔ)與實(shí)時(shí)顯示技術(shù)研究.pdf
- 天文大數(shù)據(jù)存儲(chǔ)管理關(guān)鍵技術(shù)研究.pdf
- 物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理技術(shù)研究.pdf
- 基于存儲(chǔ)測(cè)試的大容量數(shù)據(jù)處理技術(shù)研究.pdf
- 面向健康診療的大數(shù)據(jù)深度學(xué)習(xí)技術(shù)研究.pdf
- 面向RFID數(shù)據(jù)的云存儲(chǔ)技術(shù)研究和實(shí)現(xiàn).pdf
- VXI總線大存儲(chǔ)容量掃描A-D模塊研制.pdf
- 面向農(nóng)業(yè)領(lǐng)域的大數(shù)據(jù)關(guān)鍵技術(shù)研究.pdf
- 大容量存儲(chǔ)測(cè)試技術(shù)研究.pdf
- 筆記1--磁盤存儲(chǔ)容量計(jì)算
- 面向大數(shù)據(jù)的deep web數(shù)據(jù)系統(tǒng)關(guān)鍵技術(shù)研究
評(píng)論
0/150
提交評(píng)論