面向大數(shù)據(jù)的高效存儲(chǔ)容量縮減技術(shù)研究.pdf

1、隨著信息化的發(fā)展，全球數(shù)據(jù)量呈指數(shù)式增長(zhǎng)，數(shù)據(jù)中心存儲(chǔ)規(guī)?？焖龠~向了PB級(jí)甚至是EB級(jí)，其中包含了大量的冗余數(shù)據(jù)。這些冗余數(shù)據(jù)占用了大量的存儲(chǔ)資源，導(dǎo)致存儲(chǔ)系統(tǒng)性能降低，數(shù)據(jù)存儲(chǔ)和管理成本增加等問題。在此背景下，存儲(chǔ)容量縮減技術(shù)在不改變數(shù)據(jù)基本屬性前提下，通過采用重復(fù)數(shù)據(jù)刪除技術(shù)和數(shù)據(jù)壓縮技術(shù)，有效地縮減數(shù)據(jù)量的規(guī)模，提高存儲(chǔ)資源利用率，降低管理成本。存儲(chǔ)容量縮減技術(shù)已經(jīng)成為業(yè)界研究的熱點(diǎn)，顯示出重要的學(xué)術(shù)價(jià)值和應(yīng)用價(jià)值。
　　然

2、而，大數(shù)據(jù)的規(guī)模巨大、類型繁多、冗余量龐大以及對(duì)數(shù)據(jù)處理的速度要求較高等特點(diǎn)，導(dǎo)致存儲(chǔ)容量縮減技術(shù)在面對(duì)大數(shù)據(jù)應(yīng)用時(shí)仍然存在許多需要解決的技術(shù)問題。例如如何降低數(shù)據(jù)分塊時(shí)間開銷，減少冗余數(shù)據(jù)塊發(fā)現(xiàn)時(shí)間以及提高數(shù)據(jù)壓縮速度和壓縮率等方面。針對(duì)上述問題，從存儲(chǔ)容量縮減技術(shù)的數(shù)據(jù)分塊策略、冗余數(shù)據(jù)塊的發(fā)現(xiàn)機(jī)制以及數(shù)據(jù)塊的高速壓縮機(jī)制等方面進(jìn)行深入的研究。具體來(lái)說(shuō)，主要從以下三個(gè)方面提出了創(chuàng)新性理論或方法：
　　1.基于位串內(nèi)容感知的數(shù)據(jù)

3、分塊策略（Bit-string Content-aware Chunking Strategy，BCCS）：圍繞影響數(shù)據(jù)分塊性能的各種因素進(jìn)行分析和討論，實(shí)現(xiàn)了一種新的基于位串的數(shù)字簽名技術(shù)，并在此基礎(chǔ)上提出了BCCS。BCCS從數(shù)據(jù)塊每個(gè)正文字節(jié)中抽取某一特定比特來(lái)構(gòu)成窗口特征數(shù)據(jù)，并使用位操作替代傳統(tǒng)的比較操作。該策略充分利用每一次失敗的匹配嘗試所帶來(lái)的特征信息，盡量排除盡可能多的不能匹配位置，從中獲取最大跳躍長(zhǎng)度，從而加快二進(jìn)制串

4、的匹配過程，降低確定塊邊界的CPU資源消耗。實(shí)驗(yàn)結(jié)果表明，對(duì)于可變數(shù)據(jù)測(cè)試集，相對(duì)Rabin算法，BCCS的數(shù)據(jù)塊劃分速度最多可以提高197％；對(duì)于固定數(shù)據(jù)測(cè)試集，相對(duì)于FSP算法，BCCS速度僅僅降低10.8%，而其數(shù)據(jù)壓縮率卻較FSP的0.977提高到了1.206，可以提高20%。
　　2.基于二級(jí)布隆過濾的冗余數(shù)據(jù)塊發(fā)現(xiàn)機(jī)制（Redundant ChunkQuery Mechanism based on Two-staged

5、 Bloom Filter，RCQM-TBF）：針對(duì)數(shù)據(jù)指紋（FingerPrint,FP）數(shù)量巨大，不能完全存儲(chǔ)在內(nèi)存中，導(dǎo)致性能下降的問題，提出了RCQM-TBF。RCQM-TBF中第二級(jí)布隆過濾器作為第一級(jí)布隆過濾器結(jié)果的一個(gè)整體表現(xiàn)，其每一個(gè)比特位代表進(jìn)入相同準(zhǔn)二級(jí)假陽(yáng)性誤判狀態(tài)的所有FP。對(duì)于FP假陽(yáng)性訪問，TBF通過降低二級(jí)布隆過濾機(jī)制中第一級(jí)和第二級(jí)過濾的假陽(yáng)性誤判率，快速判斷新到達(dá)數(shù)據(jù)塊的非存在性；對(duì)于FP正常性訪問，T

6、BF通過建立FP高速緩存鏈表和對(duì)應(yīng)的FP預(yù)取機(jī)制來(lái)減少直接的硬盤訪問，對(duì)新到達(dá)的數(shù)據(jù)塊存在性進(jìn)行快速判斷；同時(shí)TBF創(chuàng)建了一個(gè)具有強(qiáng)全局散列特性的哈希函數(shù)族，減小碰撞發(fā)生的可能性。實(shí)驗(yàn)結(jié)果表明，對(duì)于非冗余測(cè)試數(shù)據(jù)集，RCQM-TBF的FP查詢延遲性能和數(shù)據(jù)塊的存儲(chǔ)性能較采用標(biāo)準(zhǔn)布隆過濾算法的ZHU-BLOOM FILTER最多提升了28%；對(duì)于冗余測(cè)試數(shù)據(jù)集，RCQM-TBF的存儲(chǔ)速度較ZHU-BLOOM FILTER最多可以提高100

7、%到135%；當(dāng)擴(kuò)充服務(wù)器內(nèi)存時(shí)，理論上RCQM-TBF可管理的存儲(chǔ)數(shù)據(jù)容量最大可以達(dá)到64PB。
　　3.基于多矩陣并行匹配的高速數(shù)據(jù)壓縮機(jī)制（Parallel MatchingLZSS based on Multiple Matrix，PMLZSS-MM）：為了加快壓縮速度，并提高存儲(chǔ)容量利用率，提出了PMLZSS-MM。該機(jī)制實(shí)現(xiàn)了一種GPU平臺(tái)下的多矩陣并行匹配工作模式，將需要壓縮的數(shù)據(jù)動(dòng)態(tài)劃分多個(gè)字典串和預(yù)讀串，分別將其

8、作為矩陣的縱軸和橫軸，分解到GPU中的不同線程塊中，形成多個(gè)矩陣進(jìn)行并行匹配；而對(duì)于需串行執(zhí)行的壓縮編碼生成部分，仍然在CPU上執(zhí)行。通過合理的調(diào)度策略，協(xié)調(diào)兩者共同完成任務(wù)。實(shí)驗(yàn)結(jié)果表明，PMLZSS-MM容量縮減率有所下降。相對(duì)于經(jīng)典CPU平臺(tái)上的串行LZSS算法，容量縮減率最多下降了1.5%。但PMLZSS-MM顯著提高了大數(shù)據(jù)的壓縮速度，當(dāng)字典窗口設(shè)置為4KB，預(yù)讀數(shù)據(jù)窗口設(shè)置為64B時(shí)，相對(duì)于CPU平臺(tái)上的串行LZSS算法，其