搭建基于云計(jì)算的海量數(shù)據(jù)挖掘平臺(tái) 研究實(shí)現(xiàn)

1、搭建基于云計(jì)算的開(kāi)源海量數(shù)據(jù)挖掘平臺(tái)搭建基于云計(jì)算的開(kāi)源海量數(shù)據(jù)挖掘平臺(tái)趙華茗（中國(guó)科學(xué)院國(guó)家科學(xué)圖書館北京100190）【摘要】本文通過(guò)分析亞馬遜彈性MapReduce(EMR)平臺(tái)構(gòu)架，針對(duì)信息情報(bào)機(jī)構(gòu)內(nèi)部數(shù)據(jù)處理的迫切需求，提出通過(guò)開(kāi)源技術(shù)XEN和Hadoop平臺(tái)構(gòu)建基于云計(jì)算的動(dòng)態(tài)可伸縮的海量數(shù)據(jù)處理平臺(tái)并給出了實(shí)施方案、海量文本數(shù)據(jù)處理案例和開(kāi)源EMR平臺(tái)的優(yōu)勢(shì)分析。實(shí)施方案主要分為三部分:一、搭建動(dòng)態(tài)虛擬的云計(jì)算環(huán)境，二、安

2、裝制作HADOOP虛擬服務(wù)器模板，三、配置運(yùn)行Cloudera和ClouderaDesktop。通過(guò)開(kāi)源EMR架構(gòu)的應(yīng)用，可以效解決服務(wù)器蔓延問(wèn)題，提高網(wǎng)絡(luò)計(jì)算資源的利用效率和分布式數(shù)據(jù)挖掘服務(wù)的快速布署能力及靈活性?！娟P(guān)鍵詞】云計(jì)算海量數(shù)據(jù)挖掘虛擬技術(shù)分布式計(jì)算xenClouderaHadoop【分類號(hào)】TP393BuildingBuildingthetheOpenOpenSourceSourceMassMassDataDataMin

3、ingMiningPlatfmPlatfmBasedBasedononCloudCloudComputingComputingZhaoHuaming（NationalScienceLibrary，ChineseAcademyofSciences，Beijing100190，China）【Abstract】Aimstomeettheinternaldataprocessingneedsofinfmationganizationsthisp

4、aperbyanalyzingtheframewksofAmazonelasticmapreduce(EMR)platfmputsfwardtobuildthedynamicelasticopensourcemassdataminingplatfmbasedonCloudComputingprovidesaroadmapofsuccessfulimplementationanexampleofmassivetextdataprocess

5、ingtheanalysisofadvantageofopensourceEMRplatfm.Thisimplementationplanincludesthreeparts:1.buildingdynamicvirtualenvironmentofcloudcomputing2.creatingthevirtualservertemplateofHADOOP3.deployingrunningClouderaClouderaDeskt

6、op.ThroughtheapplicationoftheopensourceEMRplatfmwecansolvetheproblemofserversprawleffectivelytoimproveutilizationratioofwkcomputingresourcetoenhancetherapiddeploymentcapabilityagilityofdistributeddataprocessingservices.【

7、Keywds】cloudcomputingmassdataminingvirtualizationdistributedcomputingxenClouderaHadoop1引言引言互聯(lián)網(wǎng)促進(jìn)了信息流通，也帶來(lái)了信息的爆炸式增長(zhǎng)，最新的IDC的研究報(bào)告指出2010年全球信息量將進(jìn)入ZB時(shí)代，并且每年以60%的速度在上升，這意味著每18個(gè)月全球信息數(shù)據(jù)量將被翻倍[1]。面對(duì)不斷拓展的驚人的數(shù)據(jù)規(guī)模，海量信息的存儲(chǔ)與管理、實(shí)時(shí)處理、數(shù)據(jù)搜索

8、、數(shù)據(jù)挖掘與智能應(yīng)用等等信息處理能力面臨新的挑戰(zhàn)，信息技術(shù)架構(gòu)迫切需要以動(dòng)態(tài)可伸縮為特點(diǎn)的支持海量數(shù)據(jù)處理的新的存儲(chǔ)計(jì)算模式的支持。云計(jì)算因?yàn)槠鋸椥钥缮炜s的計(jì)算模式，受到以IBM、亞馬遜、谷歌等為代表的眾多高科技公司的重視，成為各公司應(yīng)對(duì)海量信息處理的利器。近年來(lái)，2.3免費(fèi)的虛擬機(jī)管理平臺(tái)XENServer虛擬技術(shù)是云計(jì)算基礎(chǔ)構(gòu)架技術(shù)，也是文本搭建開(kāi)源EMR平臺(tái)的基礎(chǔ)構(gòu)架技術(shù)。目前，典型的虛擬機(jī)技術(shù)實(shí)現(xiàn)有CritrixXenServe

9、r[78]、VMwareESXServer[9]、MicrosoftHyperV[7]等。相較其他兩種，CitrixXENServer的虛擬機(jī)的性能更接近真實(shí)硬件環(huán)境，硬件支持廣泛，具有更好安全性、兼容性和開(kāi)源性，也是本文選用的主要原因。3搭建開(kāi)源搭建開(kāi)源EMREMR環(huán)境環(huán)境本文設(shè)計(jì)的開(kāi)源EMR平臺(tái)包括虛擬云平臺(tái)和分布式計(jì)算平臺(tái)兩部分，其整體架構(gòu)圖如圖2所示。虛擬云平臺(tái)是一個(gè)基于網(wǎng)絡(luò)的動(dòng)態(tài)可伸縮的虛擬設(shè)備環(huán)境，彈性管理網(wǎng)絡(luò)設(shè)備資源，如：

10、動(dòng)態(tài)調(diào)配物理設(shè)備資源、存儲(chǔ)設(shè)備資源及動(dòng)態(tài)創(chuàng)建的HADOOP虛擬服務(wù)器，有效支持對(duì)計(jì)算資源的規(guī)?；s化管理。虛擬云平臺(tái)本文使用XENServer和XENCenter軟件實(shí)現(xiàn)。而分布式計(jì)算環(huán)境是一個(gè)基于HadoopMapReduce框架的開(kāi)源大數(shù)據(jù)并行計(jì)算環(huán)境，本文選用Cloudera和ClouderaDesktop軟件實(shí)現(xiàn)，ClouderaDesktop是一個(gè)訪問(wèn)控制接口，提供基于火狐瀏覽器的簡(jiǎn)單界面。開(kāi)源EMR的實(shí)現(xiàn)過(guò)程可以分為三部分

11、。一、搭建動(dòng)態(tài)虛擬的云計(jì)算環(huán)境，二、安裝制作HADOOP虛擬服務(wù)器模板，三、配置運(yùn)行Cloudera和ClouderaDesktop。第一部分是虛擬云環(huán)境，第二、三部分是分布式計(jì)算環(huán)境。XenXenXenhypervishypervishypervis服務(wù)器服務(wù)器服務(wù)器模板模板模板NameNameNamenodenodenodeXenCenterXenCenterXenCenter虛擬云環(huán)境虛擬云環(huán)境虛擬云環(huán)境DataDataDatan

12、odenodenode腳本腳本腳本……分布式環(huán)境分布式環(huán)境分布式環(huán)境CDesktopCDesktopCDesktop網(wǎng)絡(luò)網(wǎng)絡(luò)網(wǎng)絡(luò)存儲(chǔ)設(shè)備存儲(chǔ)設(shè)備存儲(chǔ)設(shè)備圖2開(kāi)源EMR整體構(gòu)架圖3.1搭建動(dòng)態(tài)虛擬的云計(jì)算環(huán)境通過(guò)XENServer和XENCenter軟件搭建動(dòng)態(tài)虛擬的云計(jì)算環(huán)境的過(guò)程較復(fù)雜[10]。主要注意事項(xiàng)如下：（1）XENServer要求安裝在64位X86服務(wù)器上（因?yàn)椋?2位服務(wù)器將不支持64位的虛擬機(jī)），并且不支持多系統(tǒng)，不支持