基于hadoop技術(shù)云存儲平臺的研究與實現(xiàn).pdf

1、互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展和應(yīng)用導(dǎo)致電子信息出現(xiàn)爆炸性增長，如何有效存儲和管理海量電子信息是現(xiàn)代IT行業(yè)面臨的一大挑戰(zhàn)。傳統(tǒng)存儲方案由于存儲設(shè)備單一、易用性差、不易擴展等原因不能很好解決海量數(shù)據(jù)的存儲和管理問題，云儲存技術(shù)的出現(xiàn)為海量數(shù)據(jù)處理提供了解決手段。云存儲與傳統(tǒng)的存儲介質(zhì)相比較，它具有高訪問量、高可擴展性、低成本等優(yōu)勢，可以為海量的數(shù)據(jù)提供較好的存儲、容災(zāi)備份等服務(wù)。云存儲技術(shù)正受到業(yè)界的關(guān)注并已經(jīng)成為研究熱點。
　　針對企業(yè)在

2、電子辦公過程中產(chǎn)生的海量數(shù)據(jù)的存儲難題，本課題重點研究云存儲相關(guān)技術(shù)，旨在基于開源云計算框架Hadoop技術(shù)構(gòu)建一個云存儲方案以解決電子文件的管理和存儲問題。本文的研究工作主要有以下幾方面的內(nèi)容:
　　(1)總結(jié)國內(nèi)外云存儲技術(shù)發(fā)展的前沿成果和應(yīng)用，分析介紹云計算技術(shù)的概念、特點和云存儲技術(shù)的概念、模型框架和存儲架構(gòu)，以及說明云存儲與云計算的關(guān)系。
　　(2)分析了Hadoop技術(shù)的三大核心組成，包括HDFS分布式文件系統(tǒng)、

3、MapReduce并行處理框架、HBase分布式數(shù)據(jù)庫。通過介紹HDFS的設(shè)計理念及其體系結(jié)構(gòu)、MapReduce處理邏輯模型及其實現(xiàn)機制、以及HBase的邏輯和物理模型特點為進(jìn)一步的研究奠定理論基礎(chǔ)。
　　(3)在分析了HDFS針對海量小文件存儲性能低下的問題和它自身提供的三種解決方案的優(yōu)缺點后，提出一個有效處理小文件的方案。研究了利用MapReduce為云存儲系統(tǒng)上的文件建立倒排索引的流程，并設(shè)計實驗驗證了其可行性，為云存儲系

4、統(tǒng)的構(gòu)建奠定了基礎(chǔ)。
　　(4)在對電子文件管理系統(tǒng)的業(yè)務(wù)需求理解分析之后，基于Hadoop三大核心技術(shù)對云存儲體系結(jié)構(gòu)、功能模塊、數(shù)據(jù)庫及運行環(huán)境進(jìn)行設(shè)計，構(gòu)建了一個云存儲服務(wù)系統(tǒng)，為海量大規(guī)模數(shù)據(jù)的存儲和處理提供了有效解決方案。最后，采用MVC架構(gòu)、Java語言、ExtJS和Spring等技術(shù)框架實現(xiàn)了此云存儲系統(tǒng)。
　　本課題基于Hadoop技術(shù)構(gòu)建的云存儲服務(wù)系統(tǒng)與傳統(tǒng)存儲設(shè)備相比，具有可靠性高、成本低、可擴展性好、