大數(shù)據(jù)和云計(jì)算環(huán)境下的hadoop技術(shù)研究

1、大數(shù)據(jù)和云計(jì)算環(huán)境下的大數(shù)據(jù)和云計(jì)算環(huán)境下的HadoopHadoop技術(shù)研技術(shù)研究[摘要]大數(shù)據(jù)與云計(jì)算技術(shù)都已經(jīng)成為信息社會(huì)最重要的技術(shù)之一，Hadoop是大數(shù)據(jù)與云計(jì)算時(shí)代背景下最熱門的技術(shù)之一，Hadoop的相關(guān)技術(shù)對(duì)學(xué)術(shù)研究有重要影響。本文主要對(duì)Hadoop技術(shù)進(jìn)行了研究，首先介紹了大數(shù)據(jù)和云計(jì)算的概念，其次介紹了Hadoop的概況以及相關(guān)技術(shù)的原理，比如核心技術(shù)HDFS和MapReduce；再次分析了目前Hadoop所面臨的安

2、全問題，然后描述了Hadoop的發(fā)展瓶頸并提出改進(jìn)方案；最后進(jìn)行了總結(jié)并展望Hadoop、Spark和Stm三者相互結(jié)合，混合架構(gòu)將是未來(lái)發(fā)展的方向。下載[關(guān)鍵詞]大數(shù)據(jù)；云計(jì)算；Hadoopdoi：10.3969j.issn.16730194.2017.13.076[中圖分類號(hào)]TP311.13；TP333[文獻(xiàn)標(biāo)識(shí)碼]A[文章編號(hào)]16730194（2017）130177031概述大數(shù)據(jù)是指通過新的信息處理技術(shù)和方式，對(duì)數(shù)據(jù)進(jìn)行收集

3、、存儲(chǔ)、分析以及處理等，并且能夠利用全新的數(shù)據(jù)處理技術(shù)和方式產(chǎn)生相關(guān)聯(lián)的預(yù)測(cè)效應(yīng)，協(xié)助決策，發(fā)揮海量快速增長(zhǎng)數(shù)據(jù)的價(jià)值。云計(jì)算是指一種特殊的計(jì)算模式，它將計(jì)算任務(wù)分布在資源池中，池中的資源包括計(jì)算服務(wù)器、存儲(chǔ)服務(wù)器、寬帶資源，使用戶能夠按需獲取各種服務(wù)。大數(shù)據(jù)與云計(jì)算之間相得益彰，相輔相成，因?yàn)樵朴?jì)算本質(zhì)上是數(shù)據(jù)處理技術(shù)，其核心是業(yè)務(wù)模型，大數(shù)據(jù)是云計(jì)算的延伸，是云計(jì)算的資產(chǎn)。目前，海量非結(jié)構(gòu)化的數(shù)據(jù)分析處理需一種高效并行的編程模型，此

4、時(shí)Apache項(xiàng)目基金會(huì)研發(fā)的Hadoop迅速崛起，Hadoop主要用來(lái)進(jìn)行大數(shù)據(jù)分析處理。Hadoop的出現(xiàn)解決了大數(shù)據(jù)并行計(jì)算、存儲(chǔ)、管理等關(guān)鍵問題，這樣用戶即使對(duì)分布式底層細(xì)節(jié)不了解，也可以開發(fā)分布式程序。Hadoop得到了廣泛認(rèn)可，其優(yōu)點(diǎn)是不容忽視的，主要有：高擴(kuò)展性、低成本、高效率、高可靠性。2Hadoop相關(guān)的技術(shù)Hadoop可以部署在廉價(jià)機(jī)器上的處理海量文件存τ氬⑿屑撲愕腦萍撲憧發(fā)平臺(tái)。Hadoop由HDFS、MapRed

5、uce、HBase、Hive、Zookeeper、Pig、Ambari、Sqoop等組成，其中主要部分是HDFS和MapReduce。2.1HDFSHDFS是構(gòu)建在PC服務(wù)器上的高度容錯(cuò)的分布式文件系統(tǒng)，目的是用于海量數(shù)據(jù)的處理。HDFS的架構(gòu)形式是主從架構(gòu)，HDFS的元數(shù)據(jù)服務(wù)器和數(shù)據(jù)塊服務(wù)器命名為NameNode和DataNode。NameNode是一個(gè)中心服務(wù)器，是HDFS的核心結(jié)構(gòu)，負(fù)責(zé)客戶端對(duì)文件的訪問以及管理文件系統(tǒng)的名字空

6、間，存儲(chǔ)HDFS分布式文件系統(tǒng)的元數(shù)據(jù)信息，NameNode可判斷DataNode是否處在工作狀態(tài)，并管理著DataNode上的分塊信息。DataNode負(fù)責(zé)管理其所在的節(jié)點(diǎn)上的所有數(shù)據(jù)，能夠根據(jù)用戶的請(qǐng)求來(lái)器接受JobTracker和NameNode發(fā)布的任務(wù)或數(shù)據(jù)。4Hadoop的瓶頸與改進(jìn)4.1實(shí)時(shí)性處理Hadoop采用的主要思想是“分而治之”，對(duì)大數(shù)據(jù)的計(jì)算進(jìn)行分解，接下來(lái)交由眾多的計(jì)算機(jī)節(jié)點(diǎn)分別完成，最后統(tǒng)一匯總計(jì)算結(jié)果。然而

7、Hadoop結(jié)構(gòu)在處理實(shí)時(shí)性要求較高的業(yè)務(wù)時(shí)，卻產(chǎn)生了瓶頸。Stm是由Twitter公司開發(fā)的，是一個(gè)開源分布式的，容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)，提供良好的實(shí)時(shí)性。將Stm的實(shí)時(shí)流處理和Hadoop的批處理進(jìn)行融合集成，會(huì)提高集群的處理性能、及穩(wěn)定性和擴(kuò)展性。既可以支撐增量的實(shí)時(shí)流處理，也可以實(shí)現(xiàn)批量處理的方式，通過擴(kuò)展數(shù)據(jù)存儲(chǔ)層以及增強(qiáng)高可用性，進(jìn)一步擴(kuò)展大數(shù)據(jù)業(yè)務(wù)場(chǎng)景。文獻(xiàn)中提出一種基于Stm和Hadoop的新型大數(shù)據(jù)處理方案，將Stm的實(shí)時(shí)

8、流處理與Hadoop的批處理進(jìn)行融合集成，提高集群的性能。4.2MapReduce算法MapReduce的缺陷主要有三點(diǎn)，第一，僅支持?jǐn)?shù)據(jù)密集型運(yùn)算，不支持任務(wù)密集型計(jì)算；第二，不支持顯示的迭代計(jì)算；第三，處理緊耦合數(shù)據(jù)效率低。Spark的使用可以很好地改善上述不足。Spark是2009年美國(guó)加州大學(xué)伯克利分校研發(fā)的，立足于內(nèi)存計(jì)算，增強(qiáng)了多迭代批量處理能力，提高了大數(shù)據(jù)處理的時(shí)效性。其核心技術(shù)是彈性分布式數(shù)據(jù)集（RDD），該框架包括內(nèi)

9、存計(jì)算、迭代計(jì)算、流式計(jì)算批處理計(jì)算，數(shù)據(jù)查詢分析計(jì)算以及圖計(jì)算，是MapReduce模型的代替模型。Spark支持單節(jié)點(diǎn)和多節(jié)點(diǎn)集群，可以在Hadoop文件系統(tǒng)中并行運(yùn)行，通過Mersos第三方集群框架可以支持。5結(jié)語(yǔ)大數(shù)據(jù)和云計(jì)算的快速發(fā)展，作為應(yīng)用平臺(tái)的Hadoop起到了至P重要的作用，但是Hadoop的缺陷也是不容忽視的。Hadoop今后的發(fā)展方向可能著重和Spark、Stm三者完美結(jié)合，混合架構(gòu)，各顯神通。由于Hadoop的兼