海量數(shù)據(jù)存儲模式的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和數(shù)字時代的到來，數(shù)據(jù)量呈現(xiàn)出TB級速度增長的趨勢，企業(yè)的存儲系統(tǒng)面臨著嚴峻的挑戰(zhàn)，而數(shù)據(jù)存儲也逐漸成為制約企業(yè)發(fā)展的瓶頸。為解決這一問題，越來越多的企業(yè)把數(shù)據(jù)存儲分離出來，單獨研究和發(fā)展，希望尋求一個既能高效存儲企業(yè)日益增長的數(shù)據(jù)，又具有高可靠性、高擴展性以及低成本等特點的數(shù)據(jù)存儲方案。
　　 云存儲作為云計算的存儲支持，可以將網(wǎng)絡(luò)中大量的存儲設(shè)備集合起來協(xié)同工作，共同提供存儲服務(wù)。云存儲從一出現(xiàn)就得到了許

2、多企業(yè)的支持，不斷被應(yīng)用和研究，趨向成熟的云存儲方案如果應(yīng)用在有海量數(shù)據(jù)存儲需求的企業(yè)內(nèi)部，將具有較高的可行性。
　　 本文的研究內(nèi)容是基于HDFS的海量數(shù)據(jù)存儲架構(gòu)的研究，旨在通過對成熟數(shù)據(jù)存儲架構(gòu)的研究，尋求能構(gòu)建一個能解決企業(yè)海量數(shù)據(jù)存儲問題的存儲系統(tǒng)。通過構(gòu)建一個數(shù)據(jù)存儲系統(tǒng)，解決企業(yè)的存儲問題。Hadoop分布式文件系統(tǒng)是對Google存儲技術(shù)GFS的開源實現(xiàn)，具有高可靠性、高容災(zāi)性和易擴展等特點，基于分布式的廉價存儲

3、設(shè)備，降低了企業(yè)成本，并且實現(xiàn)海量數(shù)據(jù)的存儲。
　　 本文首先描述了傳統(tǒng)數(shù)據(jù)存儲架構(gòu)的相關(guān)知識，并就應(yīng)用范圍進行分析，找出傳統(tǒng)架構(gòu)不能解決現(xiàn)代企業(yè)存儲問題的原因；之后介紹了云存儲出現(xiàn)的背景、系統(tǒng)結(jié)構(gòu)，并對Google的云存儲技術(shù)進行了分析，了解GFS的功能結(jié)構(gòu)、組成部分、存儲機制和數(shù)據(jù)管理策略；接著，在Google云存儲的研究基礎(chǔ)之上，進一步研究了其開源實現(xiàn)HDFS，重點分析了HDFS存儲結(jié)構(gòu)、組成部分的功能特性，對其的存儲原理

4、、數(shù)據(jù)通信機制與實現(xiàn)技術(shù)進行了詳細闡述，為論文下一步的研究提供了技術(shù)支持：最后，基于以上的研究，構(gòu)建了一個基于HDFS的海量數(shù)據(jù)存儲系統(tǒng)，并對系統(tǒng)的結(jié)構(gòu)、實現(xiàn)原理、流程以及系統(tǒng)可行性進行了分析。
　　 本文主要構(gòu)建了一個基于HDFS的海量數(shù)據(jù)存儲系統(tǒng)，為解決企業(yè)海量數(shù)據(jù)存儲，構(gòu)建基于云存儲的私有存儲系統(tǒng)，提供了一個有效的解決方案。同時，在該方案中，為達到企業(yè)和HDFS架構(gòu)的充分融合，解決HDFS存儲小文件效率低下的問題，對架構(gòu)進