基于HDFS的分級存儲功能設(shè)計與實現(xiàn).pdf

1、隨著信息化的普及，當前的存儲數(shù)據(jù)量日趨龐大。對于這龐大的信息數(shù)據(jù)，從傳統(tǒng)的單機存儲逐漸發(fā)展到現(xiàn)在集群存儲，數(shù)據(jù)存儲規(guī)模也越來越大。但是數(shù)據(jù)也具有自己存儲周期，數(shù)據(jù)的訪問頻率會隨著時間的流逝逐漸降低。一般超過三個月的數(shù)據(jù)，基本不會再被訪問，而這些極少被訪問的數(shù)據(jù)卻占用了我們的存儲空間的80％以上。若是將所有的數(shù)據(jù)都存儲在磁盤等性能較高的存儲設(shè)備上，會帶來高昂的存儲成本。
　　HDFS是目前應(yīng)用比較廣泛的一款開源集群文件系統(tǒng)。主要在H

2、DFS的NameNode端實現(xiàn)對于存儲數(shù)據(jù)的自動分級存儲功能。該功能的實現(xiàn)主要體現(xiàn)在三個部分：數(shù)據(jù)淘汰算法的實現(xiàn)，數(shù)據(jù)遷移功能的實現(xiàn)，冷數(shù)據(jù)存儲的管理。使用了老化算法作為文件的分級淘汰算法，對老化算法進行了改進，改進后的老化算法能夠體現(xiàn)記錄周期內(nèi)文件的訪問頻率以及文件大小等因素，使得老化算法能夠較好的應(yīng)用在HDFS。通過利用Hadoop的原有心跳通訊機制中的數(shù)據(jù)拷貝操作和數(shù)據(jù)刪除操作，建立數(shù)據(jù)遷移任務(wù)，實現(xiàn)數(shù)據(jù)的遷移。修改了DataNo