交警大數(shù)據(jù)中心的研究與實(shí)現(xiàn).pdf

1、隨著信息化建設(shè)的推進(jìn)，交通管理部門已建立了大量的基礎(chǔ)信息化業(yè)務(wù)系統(tǒng)。隨著這些系統(tǒng)的使用及數(shù)據(jù)的日益積累，數(shù)據(jù)的種類已越來越多，數(shù)據(jù)量越來越大，一方面給數(shù)據(jù)管理造成很大困擾，另一方面，如何提高數(shù)據(jù)有效利用率，如何挖掘數(shù)據(jù)的潛在價(jià)值，也成為交通管理部門的目前的主要問題?；趥鹘y(tǒng)結(jié)構(gòu)化數(shù)據(jù)的處理模式和架構(gòu)，在數(shù)據(jù)處理速度、處理種類、數(shù)據(jù)挖掘等方面存在較大的制約，已經(jīng)不能滿足持續(xù)發(fā)展的交通管理數(shù)據(jù)規(guī)模及公安部門對(duì)數(shù)據(jù)快速深入挖掘和實(shí)際應(yīng)用的需求

2、。
　　本文主要目標(biāo)是構(gòu)建一種基于開源HADOOP以及云架構(gòu)技術(shù)的大數(shù)據(jù)中心,采用分布式大數(shù)據(jù)混合存儲(chǔ)技術(shù)，構(gòu)建PB級(jí)的大數(shù)據(jù)中心，通過匯集各部門、各專業(yè)警種、部省下發(fā)等數(shù)據(jù)以及社會(huì)資源數(shù)據(jù)，建設(shè)一體化的大數(shù)據(jù)中心平臺(tái)，使得上層服務(wù)和應(yīng)用建立在數(shù)據(jù)邏輯整合層面上，底層數(shù)據(jù)的物理分布和上層應(yīng)用無關(guān)。從而大大提升信息數(shù)據(jù)的查詢響應(yīng)能力和深化數(shù)據(jù)分析研判的能力，使得原來在傳統(tǒng)關(guān)系型數(shù)據(jù)庫之上分析不了的關(guān)系模型能夠得到秒級(jí)響應(yīng)，如卡口數(shù)據(jù)

3、流量分析、人車關(guān)聯(lián)分析、GPS軌跡分析等。
　　通過對(duì)數(shù)據(jù)來源的梳理，建立了一套穩(wěn)定的ETL工具，實(shí)現(xiàn)從采集、清洗、關(guān)聯(lián)整合、資源管理、運(yùn)維監(jiān)測的閉環(huán)流程，整合交通管理部門的各類數(shù)據(jù)資源，進(jìn)行有效匯集，并根據(jù)不同數(shù)據(jù)種類以及業(yè)務(wù)應(yīng)用場景，建立不同的數(shù)據(jù)存儲(chǔ)模型。根據(jù)應(yīng)用場景，設(shè)計(jì)并實(shí)現(xiàn)了面向不同結(jié)構(gòu)層次、不同應(yīng)用的匯集庫、基礎(chǔ)數(shù)據(jù)資源庫、應(yīng)用資源庫、數(shù)據(jù)資源管理平臺(tái)，從而滿足不同用戶、不同業(yè)務(wù)的大數(shù)據(jù)平臺(tái)。
　　為了驗(yàn)證大數(shù)