面向負載均衡的重復(fù)數(shù)據(jù)刪除研究與優(yōu)化.pdf

1、大數(shù)據(jù)時代的到來，一方面我們需要安全有效地存儲海量數(shù)據(jù)信息，存儲系統(tǒng)的容量亟待增大；另一方面大數(shù)據(jù)量也對數(shù)據(jù)處理能力提出了新的要求，存儲系統(tǒng)的性能亟需提升。重復(fù)數(shù)據(jù)刪除技術(shù)為應(yīng)對大數(shù)據(jù)環(huán)境下，存儲容量的增長遠落后于數(shù)據(jù)爆炸式增長的現(xiàn)狀，提供了一種有效的數(shù)據(jù)存儲手段，但是輪循式的數(shù)據(jù)分配方式并不能有效地利用節(jié)點間的并行性，導(dǎo)致負載不均衡的問題。本文針對該問題，通過改進和優(yōu)化數(shù)據(jù)分配策略，以提升系統(tǒng)的吞吐率和讀性能。論文的主要研究內(nèi)容和創(chuàng)新

2、點包含以下幾個方面：
　　首先，針對重復(fù)數(shù)據(jù)刪除技術(shù)進行了系統(tǒng)全面的研究。先從基本原理出發(fā)詳細介紹重復(fù)數(shù)據(jù)刪除的具體過程，隨后對重復(fù)數(shù)據(jù)刪除的分類進行了說明，然后重點闡述了重復(fù)數(shù)據(jù)刪除所涉及的重要技術(shù)，包括數(shù)據(jù)分塊、性能優(yōu)化、可靠性和可擴展性等方面，并結(jié)合現(xiàn)有的實例進行了分析，最后總結(jié)當前面臨的問題和挑戰(zhàn)，并提出本文將要改進和優(yōu)化的方面。
　　其次，針對當前重復(fù)數(shù)據(jù)刪除后，數(shù)據(jù)塊順序放置不能有效地利用節(jié)點間的并發(fā)性而導(dǎo)致讀吞

3、吐率和讀性能不高的問題進行了改進和優(yōu)化。對于分布式的存儲節(jié)點，設(shè)計并實現(xiàn)了一種基于文件感知的重復(fù)數(shù)據(jù)刪除策略(File-Aware De-duplication，F(xiàn)A-Dedupe），該策略在保持系統(tǒng)重刪效率的前提下，以數(shù)據(jù)塊互斥為原則，盡可能地均勻分布數(shù)據(jù)塊，充分利用節(jié)點間的并發(fā)性提升訪問效率。
　　再次，針對文件感知分配策略產(chǎn)生的存儲空洞問題進行了優(yōu)化。在綜合考慮感知策略的有效性、存儲效率和性能提升等方面后，設(shè)計了兩種空洞減少

4、機制，一種“緩和”的方式在保證感知策略有效的前提下，在數(shù)據(jù)存放的過程中緩慢的調(diào)整分配方案減少空洞，該方法兼顧文件感知策略的有效性但是效率較低；另一種是“暴力”的方式，通過檢查閾值，當超過時就忽略文件感知策略直接填充空洞最多的節(jié)點，該方法效率較高但是對性能帶來一定的損失。
　　最后，分別實現(xiàn)了傳統(tǒng)的B-Dedupe和改進的FA-Dedupe的模擬程序，并對優(yōu)化前后重刪率和讀寫性能進行了測試。實驗結(jié)果表明本文設(shè)計的策略在保證系統(tǒng)重刪效