基于文件重構和質量調整的冗余數據刪除技術.pdf

1、隨著大數據時代的到來,數據的存儲需求急速增長。盡管在過去的數十年中隨著技術的發(fā)展,硬件的單位存儲價格已經顯著下降,但是因為每天出現的新增數據量非常巨大,因此優(yōu)化存儲空間使用,節(jié)省存儲空間仍是非常重要的課題。
　　現有的多數文件系統將塊作為最小存儲單元,這樣的機制會引起內部碎片現象,進而導致一定的空間浪費,不同的塊大小會導致不同程度的空間浪費。在文件系統中,如果塊大小不合適,內部碎片導致的空間浪費將會非?？捎^。除此之外,隨著使用環(huán)境

2、和使用目的的變化,現有的很多文件會包含一些冗余信息,從而引起了空間的浪費。例如,在小屏幕移動設備上查看包含高分辨率圖像的文件,這些高分辨率圖像就會造成無謂的空間浪費。如果能夠在刪除這些冗余信息來調整文件質量的同時,還可以保留文件的信息并保證文件正常使用,就能夠達到進一步節(jié)省空間的目的。
　　本文中提出了基于文件重構和文件質量調整的冗余數據刪除技術。該技術通過調整文件系統的塊大小參數,同時對文件系統進行文件重構來實現減少文件的內部碎

3、片的目的;同時對于某些具體類型的文件,該技術通過分析文件的內容,找出冗余數據進行刪除和修改來進行文件質量的調整,從而取得減少空間浪費達到更高的空間使用率的目的。
　　在具體實現的基于Ext2/3文件系統的文件重構方法中,文件重構過程中只有元數據和一小部分的文件數據需要修改,實驗結果表明該方法可以節(jié)省3％-9%的空間。目前本文方法對微軟公司的PowerPoint文件以及PDF文件實現了文件質量調整,經過試驗測試可得方法實現的空間節(jié)省