HDFS分布式文件系統(tǒng)存儲策略研究.pdf

1、互聯(lián)網技術的高速發(fā)展和應用，帶來了數據規(guī)模的爆炸式增長，使得大規(guī)模數據存儲和處理成為目前高性能計算領域的研究熱點。傳統(tǒng)的數據處理模式多用于計算密集型作業(yè)。分布式存儲的出現為海量的數據存儲提供了全新的解決方案，它以“按需付費”的獨特模式，為用戶提供低成本、高可靠性、高性能的在線數據存儲和訪問服務。因此，如何在保證數據可用性和可靠性前提下高效存儲和訪問數據，成為分布式存儲系統(tǒng)中尤為關鍵的一個問題。
　　現有的數據副本決策算法主要是基于

2、整個文件訪問情況進行動態(tài)調整，然而，很多時候用戶僅僅對文件中的部分數據塊感興趣，如果單純的基于整個文件進行副本系數動態(tài)調整，有可能降低集群存儲資源利用率和增加數據副本一致性維護開銷。同時，在某些應用場景下，如視頻點播應用中，HDFS并沒有針對那些被用戶頻繁訪問的熱點數據進行讀取優(yōu)化。重復數據的頻繁訪問會使得DataNode節(jié)點產生頻繁的磁盤I/O操作，增加數據訪問延遲。同時，由于數據的重復傳輸大大浪費了集群系統(tǒng)網絡流量。
　　針對

3、上述問題，本文在HDFS分布式文件系統(tǒng)的數據副本管理策略和數據訪問流程兩方面展開深入研究。本文完成的主要工作如下：
　　1.在深入分析現有分布式存儲系統(tǒng)數據副本管理技術的基礎上，提出了基于數據塊的副本系數動態(tài)調整策略。該策略基于數據塊而非整個文件實現，首先，在數據訪問具有時間局部性原則下，通過為數據塊的各個歷史訪問周期賦予不同的權重，預測出數據塊下一周期的訪問頻率。然后，根據 HDFS中數據訪問規(guī)律近似二八定律這一事實確定熱點數據

4、塊閾值，從而對數據塊進行熱點判定，根據判定結果動態(tài)調整數據塊副本系數。最后，通過實驗對該策略的有效性進行驗證。
　　2.在對HDFS文件讀取過程進行深入分析后，針對HDFS中頻繁訪問的熱點數據提出了一種基于熱點數據塊的DataNode本地二級緩存策略。該策略通過在DataNode節(jié)點設置基于本地內存和本地磁盤的二級緩存機制，分別用于緩存HDFS中那些被頻繁訪問的熱點小文件和熱點大文件。該策略一定程度上提高了數據訪問效率，減少了Da