公安行業(yè)大數(shù)據(jù)處理平臺的設(shè)計與實現(xiàn).pdf

1、隨著全球信息化飛速發(fā)展，“云計算”和“大數(shù)據(jù)”時代的到來，傳統(tǒng)的網(wǎng)絡(luò)和計算架構(gòu)已經(jīng)不能適應(yīng)“大數(shù)據(jù)”高速響應(yīng)的要求。開啟海量數(shù)據(jù)大數(shù)據(jù)處理推進公安行業(yè)信息化建設(shè)以及推動公安行業(yè)信息化多層次以及全方位發(fā)展，從而更進一步提高公安干警的核心能力，提升公安行業(yè)保障國家安全以及維護社會穩(wěn)定的能力，具有重要的意義。
　　本課題對公安行業(yè)基于海量數(shù)據(jù)的大數(shù)據(jù)處理平臺的設(shè)計與實現(xiàn)進行了研究和探索，主要工作如下：
　　橫向貫通，全面匯集公安網(wǎng)

2、、政務(wù)網(wǎng)以及社會信息數(shù)據(jù)資源，建設(shè)以應(yīng)用服務(wù)資源庫為核心，以規(guī)范化、深整合、強關(guān)聯(lián)、可追溯為特點的公安大數(shù)據(jù)資源庫，實現(xiàn)數(shù)據(jù)資源的深度整合，重點發(fā)揮數(shù)據(jù)資源的綜合利用價值，將孤立、無序、可信度低的數(shù)據(jù)資源轉(zhuǎn)化為邏輯一致、有機關(guān)聯(lián)、可信度高的信息資源，并將信息資源打造為公安重要核心裝備。
　　建設(shè)以云計算為核心的大數(shù)據(jù)基礎(chǔ)池，包括以海量數(shù)據(jù)清洗、規(guī)范、整合以及底層運算為目標(biāo)的基礎(chǔ)數(shù)據(jù)資源庫；以支撐各類公安分析、研判工作為目標(biāo)的應(yīng)用服

3、務(wù)資源庫；以數(shù)據(jù)處理、管理、監(jiān)控為核心的數(shù)據(jù)資源管理平臺；依照公安行業(yè)業(yè)務(wù)數(shù)據(jù)以及應(yīng)用需求，對海量結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)進行清洗、規(guī)范、合并以及組織，最終實現(xiàn)對公安行業(yè)大數(shù)據(jù)資源的分布式混合數(shù)據(jù)的存儲、處理、服務(wù)、管理體系，建設(shè)可動態(tài)伸縮的大數(shù)據(jù)處理以及應(yīng)用支撐體系。
　　本項目采用Hadoop、Hbase技術(shù)框架支持滿足公安數(shù)據(jù)存儲、數(shù)據(jù)查詢、離線分析的海量數(shù)據(jù)資源池，通過ElasticSearch技術(shù)建立分布式全文檢索庫實現(xiàn)全庫