基于Hadoop技術在分布式數(shù)據(jù)存儲中的應用研究.pdf

1、隨著各國信息化步伐的加快，產(chǎn)生了海量的數(shù)據(jù)信息，非常需要一種有效的方法對海量數(shù)據(jù)進行高效的安全的管理和使用，因此，云存儲得到快速的發(fā)展，云存儲的研究也是多種多樣。既包括大文件的存儲，也包括系統(tǒng)可擴展性、可靠性和運行速度等，在這些研究課題的推動下，數(shù)據(jù)存儲系統(tǒng)也從集中式發(fā)展到了分布式云存儲。Hadoop是云存儲的核心技術，所以基于Hadoop技術的分布式數(shù)據(jù)存儲在云存儲中起著中流砥柱的作用。
　　本文首先對Hadoop架構以及相關技

2、術進行研究，包括HDFS和MapReduce等關鍵技術，詳細研究了HDFS的特點及其體系架構，并且利用它的負載均衡機制來提高系統(tǒng)的效率;其次研究了分布式計算框架MapReduce，研究了如何利用它來實現(xiàn)快速的分布式存儲。通過對分布式云存儲的關鍵技術進行研究之后，開始對分布式存儲系統(tǒng)進行設計，系統(tǒng)設計的主要內容包括:其一，對系統(tǒng)的功能需求和性能需求進行了研究，制定了系統(tǒng)的設計原則與設計目標;其二，通過對系統(tǒng)的客戶端和服務器端在進行通信時如

3、何保證通信安全的研究，決定使用HTTPS配合SSL和數(shù)字證書來保證網(wǎng)絡傳輸和認證的安全。本系統(tǒng)是在Linux系統(tǒng)下搭建的Hadoop集群，在實驗室的環(huán)境下模擬實現(xiàn)的數(shù)據(jù)存取系統(tǒng)。本文研究的基于Hadoop的分布式云存儲方案將有效支持PB級別數(shù)據(jù)存儲、支持該可用性系統(tǒng)、支持高效率統(tǒng)計分析。
　　本文基于Hadoop技術所開展的分布式數(shù)據(jù)存儲應用研究，實現(xiàn)了數(shù)據(jù)的按列分布式存儲，在按列查詢和任務的分解與集合的基礎上實現(xiàn)查詢功能，達到了