大數(shù)據(jù)云中心建設(shè)項(xiàng)目技術(shù)規(guī)范v1

1、數(shù)據(jù)中心建設(shè)功能要求數(shù)據(jù)中心建設(shè)功能要求一、數(shù)據(jù)服務(wù)中心建設(shè)規(guī)劃一、數(shù)據(jù)服務(wù)中心建設(shè)規(guī)劃數(shù)據(jù)服務(wù)中心是整個(gè)智慧旅游大數(shù)據(jù)項(xiàng)目核心組成部分，在規(guī)劃建設(shè)過(guò)程中，堅(jiān)持以數(shù)據(jù)資源為核心，面向數(shù)據(jù)應(yīng)用與服務(wù)、信息數(shù)據(jù)資源標(biāo)準(zhǔn)化與管理，實(shí)現(xiàn)數(shù)據(jù)資源橫向集成、縱向貫通、全局共享的運(yùn)轉(zhuǎn)模式。數(shù)據(jù)服務(wù)中心數(shù)據(jù)流轉(zhuǎn)圖和邏輯架構(gòu)如下圖。數(shù)服務(wù)中心邏輯架構(gòu)圖整個(gè)數(shù)據(jù)服務(wù)中心邏輯組成部分有：數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)組織、數(shù)據(jù)處理、資源管理、數(shù)據(jù)服務(wù)支撐。數(shù)據(jù)存儲(chǔ)：基于大規(guī)

2、模并行處理（MassivelyParallelProcessing，簡(jiǎn)稱MPP）、Hadoop等分布式計(jì)算平臺(tái)進(jìn)行搭建，以滿足旅游行業(yè)結(jié)構(gòu)化、圖像視音頻等非結(jié)構(gòu)化多種類(lèi)型格式的海量力的旅游大數(shù)據(jù)平臺(tái)技術(shù)支撐體系。有效匯總整合內(nèi)外部數(shù)據(jù)資源，實(shí)現(xiàn)對(duì)數(shù)據(jù)資源的統(tǒng)一管理、高度共享和高效利用，解決數(shù)據(jù)資源海量化、異構(gòu)化，應(yīng)用需求多樣化、復(fù)雜化等現(xiàn)實(shí)問(wèn)題，進(jìn)一步提升信息資源開(kāi)發(fā)利用水平，提升信息資源服務(wù)的能力和服務(wù)品質(zhì)，深層次滿足上層業(yè)務(wù)應(yīng)用、管

3、理決策支持和信息再生應(yīng)用的需要，達(dá)到強(qiáng)化情報(bào)信息數(shù)據(jù)支撐，服務(wù)實(shí)戰(zhàn)應(yīng)用的目的。完整的大數(shù)據(jù)集群完整的大數(shù)據(jù)集群應(yīng)當(dāng)包含4大部分：ETL集群、MPP集群、Hadoop集群和數(shù)據(jù)倉(cāng)庫(kù)，提供從數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載到數(shù)據(jù)存儲(chǔ)計(jì)算及數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的一整套完整的大數(shù)據(jù)解決方案。各節(jié)點(diǎn)通過(guò)萬(wàn)兆網(wǎng)口連接，滿足集群網(wǎng)絡(luò)IO密集型的要求。?ETLETL集群集群建議不少于1個(gè)節(jié)點(diǎn)，完成從各種數(shù)據(jù)源抽取、清洗、轉(zhuǎn)化和加載數(shù)據(jù)到大數(shù)據(jù)集群的工作。?MPPMP