公安行業(yè)大數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著全球信息化飛速發(fā)展，“云計(jì)算”和“大數(shù)據(jù)”時(shí)代的到來，傳統(tǒng)的網(wǎng)絡(luò)和計(jì)算架構(gòu)已經(jīng)不能適應(yīng)“大數(shù)據(jù)”高速響應(yīng)的要求。開啟海量數(shù)據(jù)大數(shù)據(jù)處理推進(jìn)公安行業(yè)信息化建設(shè)以及推動(dòng)公安行業(yè)信息化多層次以及全方位發(fā)展，從而更進(jìn)一步提高公安干警的核心能力，提升公安行業(yè)保障國家安全以及維護(hù)社會(huì)穩(wěn)定的能力，具有重要的意義。
　　本課題對(duì)公安行業(yè)基于海量數(shù)據(jù)的大數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)進(jìn)行了研究和探索，主要工作如下：
　　橫向貫通，全面匯集公安網(wǎng)

2、、政務(wù)網(wǎng)以及社會(huì)信息數(shù)據(jù)資源，建設(shè)以應(yīng)用服務(wù)資源庫為核心，以規(guī)范化、深整合、強(qiáng)關(guān)聯(lián)、可追溯為特點(diǎn)的公安大數(shù)據(jù)資源庫，實(shí)現(xiàn)數(shù)據(jù)資源的深度整合，重點(diǎn)發(fā)揮數(shù)據(jù)資源的綜合利用價(jià)值，將孤立、無序、可信度低的數(shù)據(jù)資源轉(zhuǎn)化為邏輯一致、有機(jī)關(guān)聯(lián)、可信度高的信息資源，并將信息資源打造為公安重要核心裝備。
　　建設(shè)以云計(jì)算為核心的大數(shù)據(jù)基礎(chǔ)池，包括以海量數(shù)據(jù)清洗、規(guī)范、整合以及底層運(yùn)算為目標(biāo)的基礎(chǔ)數(shù)據(jù)資源庫；以支撐各類公安分析、研判工作為目標(biāo)的應(yīng)用服

3、務(wù)資源庫；以數(shù)據(jù)處理、管理、監(jiān)控為核心的數(shù)據(jù)資源管理平臺(tái)；依照公安行業(yè)業(yè)務(wù)數(shù)據(jù)以及應(yīng)用需求，對(duì)海量結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行清洗、規(guī)范、合并以及組織，最終實(shí)現(xiàn)對(duì)公安行業(yè)大數(shù)據(jù)資源的分布式混合數(shù)據(jù)的存儲(chǔ)、處理、服務(wù)、管理體系，建設(shè)可動(dòng)態(tài)伸縮的大數(shù)據(jù)處理以及應(yīng)用支撐體系。
　　本項(xiàng)目采用Hadoop、Hbase技術(shù)框架支持滿足公安數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)查詢、離線分析的海量數(shù)據(jù)資源池，通過ElasticSearch技術(shù)建立分布式全文檢索庫實(shí)現(xiàn)全庫