海量數據存儲模式的研究.pdf

1、隨著互聯網技術的發(fā)展和數字時代的到來，數據量呈現出TB級速度增長的趨勢，企業(yè)的存儲系統面臨著嚴峻的挑戰(zhàn)，而數據存儲也逐漸成為制約企業(yè)發(fā)展的瓶頸。為解決這一問題，越來越多的企業(yè)把數據存儲分離出來，單獨研究和發(fā)展，希望尋求一個既能高效存儲企業(yè)日益增長的數據，又具有高可靠性、高擴展性以及低成本等特點的數據存儲方案。
　　 云存儲作為云計算的存儲支持，可以將網絡中大量的存儲設備集合起來協同工作，共同提供存儲服務。云存儲從一出現就得到了許

2、多企業(yè)的支持，不斷被應用和研究，趨向成熟的云存儲方案如果應用在有海量數據存儲需求的企業(yè)內部，將具有較高的可行性。
　　 本文的研究內容是基于HDFS的海量數據存儲架構的研究，旨在通過對成熟數據存儲架構的研究，尋求能構建一個能解決企業(yè)海量數據存儲問題的存儲系統。通過構建一個數據存儲系統，解決企業(yè)的存儲問題。Hadoop分布式文件系統是對Google存儲技術GFS的開源實現，具有高可靠性、高容災性和易擴展等特點，基于分布式的廉價存儲

3、設備，降低了企業(yè)成本，并且實現海量數據的存儲。
　　 本文首先描述了傳統數據存儲架構的相關知識，并就應用范圍進行分析，找出傳統架構不能解決現代企業(yè)存儲問題的原因；之后介紹了云存儲出現的背景、系統結構，并對Google的云存儲技術進行了分析，了解GFS的功能結構、組成部分、存儲機制和數據管理策略；接著，在Google云存儲的研究基礎之上，進一步研究了其開源實現HDFS，重點分析了HDFS存儲結構、組成部分的功能特性，對其的存儲原理

4、、數據通信機制與實現技術進行了詳細闡述，為論文下一步的研究提供了技術支持：最后，基于以上的研究，構建了一個基于HDFS的海量數據存儲系統，并對系統的結構、實現原理、流程以及系統可行性進行了分析。
　　 本文主要構建了一個基于HDFS的海量數據存儲系統，為解決企業(yè)海量數據存儲，構建基于云存儲的私有存儲系統，提供了一個有效的解決方案。同時，在該方案中，為達到企業(yè)和HDFS架構的充分融合，解決HDFS存儲小文件效率低下的問題，對架構進