數(shù)據(jù)去重與垃圾數(shù)據(jù)刪除策略的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、伴隨著我國(guó)下一代無(wú)線移動(dòng)網(wǎng)絡(luò)的進(jìn)程,支撐各種各樣電信業(yè)務(wù)的移動(dòng)控制網(wǎng)絡(luò)對(duì)底層的存儲(chǔ)系統(tǒng)的支持提出了更高的要求。如今日益增加的用戶數(shù)量和數(shù)據(jù)流量已經(jīng)讓傳統(tǒng)的存儲(chǔ)方案顯得捉襟見(jiàn)肘。隨著這種趨勢(shì)的到來(lái),如何有效的利用存儲(chǔ)空間成為亟待解決的問(wèn)題。
　　本文首先對(duì)國(guó)內(nèi)外主流的幾個(gè)分布式存儲(chǔ)系統(tǒng)進(jìn)行介紹和分析,并分析分布式系統(tǒng)需要面對(duì)的問(wèn)題和解決方案。在此基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)了面向海量用戶和海量文件、基于數(shù)據(jù)塊級(jí)別數(shù)據(jù)去重的分布式文件系統(tǒng) CSt

2、ore,本文主要設(shè)計(jì)并實(shí)現(xiàn)了基于CStore系統(tǒng)的數(shù)據(jù)回收系統(tǒng)。
　　CStore系統(tǒng)是典型的分布式存儲(chǔ)系統(tǒng),它采用元數(shù)據(jù)和數(shù)據(jù)流分離的設(shè)計(jì)方案,將系統(tǒng)的元數(shù)據(jù)和文件數(shù)據(jù)分別存儲(chǔ)在不同的集群中,客戶端分別訪問(wèn)這些數(shù)據(jù)關(guān)于它們各自的管理和優(yōu)化。系統(tǒng)的資源定位基于一種兩級(jí)的哈希映射方案,以桶為單位的負(fù)載均衡和副本策略提高系統(tǒng)的可靠性,同時(shí)使得系統(tǒng)具有很好的可擴(kuò)展性。
　　數(shù)據(jù)去重是CStore系統(tǒng)的主要特點(diǎn)之一,它采用在線的基于

3、數(shù)據(jù)塊級(jí)別的重復(fù)數(shù)據(jù)刪除策略,這就要求用戶在上傳文件的時(shí)候?qū)⒄麄€(gè)文件劃分成多個(gè)數(shù)據(jù)塊,然后分別上傳。這樣的策略可以節(jié)約大量的數(shù)據(jù)存儲(chǔ)空間,提高用戶體驗(yàn),但是同樣帶來(lái)了數(shù)據(jù)刪除的難題。在CStore數(shù)據(jù)去重的總體架構(gòu)的基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了能夠以在線或者離線方式執(zhí)行無(wú)效數(shù)據(jù)刪除的垃圾數(shù)據(jù)刪除系統(tǒng),可以高效并且準(zhǔn)確的判斷無(wú)效數(shù)據(jù),進(jìn)一步節(jié)省存儲(chǔ)資源。
　　垃圾數(shù)據(jù)回收系統(tǒng)用于清理系統(tǒng)中沒(méi)有任何文件引用的無(wú)效數(shù)據(jù)塊。該系統(tǒng)基于Bloom