分布式重復數據刪除系統(tǒng)中路由方法的研究.pdf

1、隨著數據中心的數據呈指數級增長，為了保障系統(tǒng)的高吞吐率、高重刪率和負載平衡，分布式重復數據刪除存儲系統(tǒng)面臨巨大挑戰(zhàn)。分布式重復數據刪除存儲系統(tǒng)主要通過改進路由方法和改善指紋查找的效率來優(yōu)化系統(tǒng)性能?，F有的分布式重復數據刪除存儲系統(tǒng)，主要采用無狀態(tài)和有狀態(tài)的路由方法。其中無狀態(tài)路由方法，由于不考慮節(jié)點已存儲數據的歷史信息，整體重刪率低、存儲失衡；而有狀態(tài)的路由方法，需要將備份數據流的全部指紋在每個節(jié)點上查詢，系統(tǒng)吞吐率較低。
　　針

2、對以上問題，本文設計并實現了一種結合指紋抽樣和減少數據碎片(Fingerprint Sampling and Fragmentation Reduction,FSFR)的路由方法，該方法與已有的路由方法相比，保證了系統(tǒng)的重刪率和負載平衡，提高了恢復吞吐率。該方法具體為：首先在客戶端對數據進行預處理，將分塊數據合并生成超塊（Super-Chunk），提取抽樣指紋序列；其次在節(jié)點服務器端，采用布隆過濾器對指紋進行查找，考慮重刪率和存儲利用率