HDFS分布式文件系統(tǒng)存儲策略研究.pdf

1、互聯(lián)網(wǎng)技術(shù)的高速發(fā)展和應(yīng)用，帶來了數(shù)據(jù)規(guī)模的爆炸式增長，使得大規(guī)模數(shù)據(jù)存儲和處理成為目前高性能計算領(lǐng)域的研究熱點。傳統(tǒng)的數(shù)據(jù)處理模式多用于計算密集型作業(yè)。分布式存儲的出現(xiàn)為海量的數(shù)據(jù)存儲提供了全新的解決方案，它以“按需付費”的獨特模式，為用戶提供低成本、高可靠性、高性能的在線數(shù)據(jù)存儲和訪問服務(wù)。因此，如何在保證數(shù)據(jù)可用性和可靠性前提下高效存儲和訪問數(shù)據(jù)，成為分布式存儲系統(tǒng)中尤為關(guān)鍵的一個問題。
　　現(xiàn)有的數(shù)據(jù)副本決策算法主要是基于

2、整個文件訪問情況進行動態(tài)調(diào)整，然而，很多時候用戶僅僅對文件中的部分數(shù)據(jù)塊感興趣，如果單純的基于整個文件進行副本系數(shù)動態(tài)調(diào)整，有可能降低集群存儲資源利用率和增加數(shù)據(jù)副本一致性維護開銷。同時，在某些應(yīng)用場景下，如視頻點播應(yīng)用中，HDFS并沒有針對那些被用戶頻繁訪問的熱點數(shù)據(jù)進行讀取優(yōu)化。重復(fù)數(shù)據(jù)的頻繁訪問會使得DataNode節(jié)點產(chǎn)生頻繁的磁盤I/O操作，增加數(shù)據(jù)訪問延遲。同時，由于數(shù)據(jù)的重復(fù)傳輸大大浪費了集群系統(tǒng)網(wǎng)絡(luò)流量。
　　針對

3、上述問題，本文在HDFS分布式文件系統(tǒng)的數(shù)據(jù)副本管理策略和數(shù)據(jù)訪問流程兩方面展開深入研究。本文完成的主要工作如下：
　　1.在深入分析現(xiàn)有分布式存儲系統(tǒng)數(shù)據(jù)副本管理技術(shù)的基礎(chǔ)上，提出了基于數(shù)據(jù)塊的副本系數(shù)動態(tài)調(diào)整策略。該策略基于數(shù)據(jù)塊而非整個文件實現(xiàn)，首先，在數(shù)據(jù)訪問具有時間局部性原則下，通過為數(shù)據(jù)塊的各個歷史訪問周期賦予不同的權(quán)重，預(yù)測出數(shù)據(jù)塊下一周期的訪問頻率。然后，根據(jù) HDFS中數(shù)據(jù)訪問規(guī)律近似二八定律這一事實確定熱點數(shù)據(jù)

4、塊閾值，從而對數(shù)據(jù)塊進行熱點判定，根據(jù)判定結(jié)果動態(tài)調(diào)整數(shù)據(jù)塊副本系數(shù)。最后，通過實驗對該策略的有效性進行驗證。
　　2.在對HDFS文件讀取過程進行深入分析后，針對HDFS中頻繁訪問的熱點數(shù)據(jù)提出了一種基于熱點數(shù)據(jù)塊的DataNode本地二級緩存策略。該策略通過在DataNode節(jié)點設(shè)置基于本地內(nèi)存和本地磁盤的二級緩存機制，分別用于緩存HDFS中那些被頻繁訪問的熱點小文件和熱點大文件。該策略一定程度上提高了數(shù)據(jù)訪問效率，減少了Da