云存儲(chǔ)中數(shù)據(jù)編碼優(yōu)化和重復(fù)數(shù)據(jù)刪除技術(shù)研究.pdf

1、隨著云計(jì)算時(shí)代的到來(lái)，各種應(yīng)用程序需要分析計(jì)算的數(shù)據(jù)所占用的空間越來(lái)越大，一度由GB到TB甚至發(fā)展到EB數(shù)量級(jí)。隨著數(shù)據(jù)量的增大，需要的存儲(chǔ)空間也變得越來(lái)越大，相應(yīng)的能源消耗也越來(lái)越大。在云存儲(chǔ)環(huán)境下，研究如何利用糾刪碼編碼技術(shù)和重復(fù)數(shù)據(jù)刪除技術(shù)有效的提高存儲(chǔ)空間利用率是有現(xiàn)實(shí)意義的。
　　本文對(duì)現(xiàn)有的云存儲(chǔ)技術(shù)進(jìn)行了分析，現(xiàn)有研究表明以糾刪碼為容災(zāi)策略的數(shù)據(jù)存儲(chǔ)技術(shù)相比多副本存儲(chǔ)技術(shù)能夠節(jié)省更多的存儲(chǔ)空間和網(wǎng)絡(luò)帶寬;在云計(jì)算平臺(tái)

2、Hadoop中，大量數(shù)據(jù)之間存在重復(fù)數(shù)據(jù)，而重復(fù)數(shù)據(jù)刪除技術(shù)能發(fā)現(xiàn)這些重復(fù)的數(shù)據(jù)，避免重復(fù)數(shù)據(jù)的存儲(chǔ)，提高存儲(chǔ)空間利用率。
　　柯西里德-所羅門編碼是一種主流的糾刪碼編碼方式，為了優(yōu)化云存儲(chǔ)中柯西里德-所羅門編碼效率，并向云儲(chǔ)存系統(tǒng)中加入重復(fù)數(shù)據(jù)刪除功能，本文做了以下幾方面的工作:
　　(1)提出了一種優(yōu)化柯西里德-所羅門編碼效率的選擇框架。任何利用柯西里德-所羅門編碼的數(shù)據(jù)存儲(chǔ)系統(tǒng)都可以利用該選擇框架產(chǎn)生高效的數(shù)據(jù)編碼調(diào)度