hadoop大數(shù)據(jù)平臺(tái)-建設(shè)要求及應(yīng)答方案

1、Hadoop大數(shù)據(jù)平臺(tái)建設(shè)要求及應(yīng)答方案1大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范要求高度集成的Hadoop平臺(tái)：一個(gè)整體的數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)，無(wú)縫集成了基于Hadoop的大量生態(tài)工具，不同業(yè)務(wù)可以集中在一個(gè)平臺(tái)內(nèi)完成，而不需要在處理系統(tǒng)間移動(dòng)數(shù)據(jù)；用廉價(jià)的PC服務(wù)器架構(gòu)統(tǒng)一的存儲(chǔ)平臺(tái)，能存儲(chǔ)PB級(jí)海量數(shù)據(jù)。并且數(shù)據(jù)種類可以是結(jié)構(gòu)化，半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)。存儲(chǔ)的技術(shù)有SQL及NoSQL，并且NoSQL能提供企業(yè)級(jí)的安全方案。CDH提供統(tǒng)一的資源調(diào)度平臺(tái)，能

2、夠利用最新的資源調(diào)度平臺(tái)YARN分配集群中CPU內(nèi)存等資源的調(diào)度，充分利用集群資源；多樣的數(shù)據(jù)分析平臺(tái)–能夠針對(duì)不用的業(yè)務(wù)類型提供不同的計(jì)算框架，比如針對(duì)批處理的MapReduce計(jì)算框架；針對(duì)交互式查詢的ImpalaMPP查詢引擎；針對(duì)內(nèi)存及流計(jì)算的Spark框架；針對(duì)機(jī)器學(xué)習(xí)，數(shù)據(jù)挖掘等業(yè)務(wù)的訓(xùn)練測(cè)試模型；針對(duì)全文檢索的Solr搜索引擎項(xiàng)目中所涉及的軟件包括：?Hadoop軟件（包括而不限于Hadoop核心）?數(shù)據(jù)采集層：Apach

3、eFlumeApacheSqoop?平臺(tái)管理：ZookeeperYARN?安全管理：ApacheSentry?數(shù)據(jù)存儲(chǔ)：HDFSHBaseParquet?數(shù)據(jù)處理：MapReduceImpalaSpark?開發(fā)套件：ApacheHueKiteSDK?關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)：SAPHANA企業(yè)版?ETL工具：SAPDataServices數(shù)據(jù)管控系統(tǒng)的二次開發(fā)量如下：?主數(shù)據(jù)管理功能通過(guò)二次開發(fā)的方式實(shí)現(xiàn)主數(shù)據(jù)管理功能，并集成甲方已有的主數(shù)據(jù)管