交通安防大數(shù)據(jù)的實(shí)時(shí)快速檢索關(guān)鍵技術(shù)研究.pdf

1、隨著城市化進(jìn)程加快，城市人口迅速增加，帶來了日益嚴(yán)重的交通安全問題?！爸悄芙煌ā笨梢酝ㄟ^城市監(jiān)控所采集的大量數(shù)據(jù)，對(duì)交通情況、城市安全進(jìn)行分析，協(xié)助城市管理者管理城市的交通與安全。HBase數(shù)據(jù)庫可以大規(guī)模存儲(chǔ)車輛信息，但是無法快速實(shí)時(shí)進(jìn)行檢索。本文主要面向?qū)Base中存儲(chǔ)的過車記錄進(jìn)行快速實(shí)時(shí)檢索，提出通過降低網(wǎng)絡(luò)開銷、硬盤讀取開銷的優(yōu)化方法。
　　本研究主要內(nèi)容包括：⑴在HBase中建立二級(jí)索引降低檢索中掃描的數(shù)據(jù)量，計(jì)算二

2、級(jí)索引來獲得符合檢索條件的記錄。實(shí)驗(yàn)結(jié)果表明，返回第一條過車記錄的檢索響應(yīng)時(shí)間相比無二級(jí)索引時(shí)降低45倍。⑵二級(jí)索引從存儲(chǔ)端傳輸至客戶端的網(wǎng)絡(luò)傳輸開銷時(shí)間占總檢索時(shí)間的20％。為了降低網(wǎng)絡(luò)傳輸開銷，基于近數(shù)據(jù)計(jì)算理論，通過HBase協(xié)處理器構(gòu)建加速框架將二級(jí)索引的獲取和計(jì)算移動(dòng)到存儲(chǔ)節(jié)點(diǎn)進(jìn)行。在集成了該加速框架后，網(wǎng)絡(luò)開銷降低了12倍，檢索響應(yīng)時(shí)間加速比為1.4。⑶⑶在檢索時(shí)發(fā)現(xiàn)存儲(chǔ)節(jié)點(diǎn)從硬盤讀取二級(jí)索引的時(shí)間占總時(shí)間開銷的70%。為了