基于內(nèi)存的HDFS數(shù)據(jù)存儲技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)時代信息與數(shù)據(jù)的飛速增長，各行各業(yè)的數(shù)據(jù)規(guī)模都可以輕易地達到GB、TB甚至PB級。云計算數(shù)據(jù)處理系統(tǒng)Hadoop應(yīng)運而生，其開源社區(qū)資源豐富，用戶廣泛，為各種大數(shù)據(jù)處理提供可靠的、性能可擴展的、靈活的計算環(huán)境。Hadoop數(shù)據(jù)處理平臺上的大數(shù)據(jù)存儲依賴于底層的分布式文件系統(tǒng)。然而該文件系統(tǒng)支持的存儲介質(zhì)單一，許多工作流的中間數(shù)據(jù)需要進行頻繁的磁盤讀寫，這種讀寫開銷不斷增長影響了整個數(shù)據(jù)處理過程的效率。本文針對云環(huán)境下的海量數(shù)據(jù)

2、存儲介質(zhì)單一導(dǎo)致吞吐率較低和數(shù)據(jù)訪問時延較長問題，研究基于內(nèi)存的Hadoop分布式文件系統(tǒng)數(shù)據(jù)存儲技術(shù)。
　　本文分析了當(dāng)前分布式文件系統(tǒng)的系統(tǒng)架構(gòu)和數(shù)據(jù)存儲過程，設(shè)計基于內(nèi)存的分布式文件系統(tǒng)。通過合理分配各個數(shù)據(jù)節(jié)點上可用的內(nèi)存資源，使得集群中的數(shù)據(jù)節(jié)點可以有效管理一部分內(nèi)存存儲空間，實現(xiàn)分布式文件系統(tǒng)在進行數(shù)據(jù)讀寫操作時優(yōu)先使用內(nèi)存存儲資源，提高數(shù)據(jù)的讀寫速率，使得整個系統(tǒng)的數(shù)據(jù)吞吐率隨之提高。并在副本放置過程中，區(qū)分各個數(shù)據(jù)

3、節(jié)點上內(nèi)存存儲資源與磁盤存儲資源的差異，建立副本放置代價模型，選取存儲和網(wǎng)絡(luò)傳輸代價較小的數(shù)據(jù)節(jié)點進行副本放置，使得更多的數(shù)據(jù)寫入內(nèi)存中，加快數(shù)據(jù)的讀寫效率。最后本文提出了合理的內(nèi)存數(shù)據(jù)置換方法，設(shè)定合理的觸發(fā)和停止數(shù)據(jù)置換的閾值，設(shè)計文件熱度計算與更新算法，在數(shù)據(jù)置換時，將內(nèi)存中熱度較低的文件置換到磁盤中，保證集群中的數(shù)據(jù)節(jié)點上有一定的內(nèi)存可用空間，可以持續(xù)的為用戶提供高吞吐率的數(shù)據(jù)讀寫服務(wù)。
　　本文改進現(xiàn)有的HDFS，設(shè)計開