千億級(jí)智能交通大數(shù)據(jù)存儲(chǔ)與檢索系統(tǒng)的研究.pdf

1、隨著中國(guó)城市化規(guī)模的逐步擴(kuò)大以及城市居民收入的不斷增加，私家車數(shù)量也在不斷的增加，伴隨著也帶來(lái)了一系列的交通問(wèn)題。為了便于城市交通的管理，智能交通系統(tǒng)應(yīng)運(yùn)而生，其通過(guò)引入現(xiàn)代化技術(shù)并結(jié)合各城市的具體需求，實(shí)現(xiàn)對(duì)交通信息的實(shí)時(shí)收集和處理，了解當(dāng)前的交通環(huán)境并作出相應(yīng)的調(diào)控。這對(duì)于保障城市交通高效運(yùn)行和可持續(xù)發(fā)展具有重要的意義。
　　數(shù)據(jù)存儲(chǔ)與檢索是智能交通系統(tǒng)的核心之一。在實(shí)際公安局點(diǎn)應(yīng)用中，道路監(jiān)控每天會(huì)產(chǎn)生海量的數(shù)據(jù)，僅浙江省一

2、天產(chǎn)生的過(guò)車數(shù)據(jù)便有幾億，并且數(shù)據(jù)到達(dá)具有隨機(jī)性。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)由于其嚴(yán)格的表結(jié)構(gòu)約束，無(wú)法實(shí)現(xiàn)海量數(shù)據(jù)的存取操作。并且當(dāng)一張數(shù)據(jù)表的數(shù)據(jù)量達(dá)到一定級(jí)別時(shí)，索引本身就過(guò)于巨大。因此數(shù)據(jù)庫(kù)的檢索功能根本無(wú)法滿足數(shù)據(jù)檢索的需求，并且極易造成系統(tǒng)的癱瘓。
　　本文對(duì)以上問(wèn)題進(jìn)行深入研究，設(shè)計(jì)了千億級(jí)智能交通大數(shù)據(jù)存儲(chǔ)與檢索系統(tǒng)。系統(tǒng)采用分布式集群方案，以分布式框架Hadoop為基礎(chǔ)將系統(tǒng)集群設(shè)計(jì)為主從架構(gòu)。集群使用Zookeeper

3、進(jìn)行一致性管理，使用Yarn進(jìn)行資源管理和分配。為保證系統(tǒng)集群的穩(wěn)定性，通過(guò)虛擬IP和Zookeeper實(shí)現(xiàn)了負(fù)載均衡和高可用性機(jī)制，用于處理高并發(fā)連接和單點(diǎn)故障問(wèn)題，并保證對(duì)外地址的一致性。
　　針對(duì)海量數(shù)據(jù)存儲(chǔ)和檢索這個(gè)難點(diǎn)，引入搜索引擎Solr和非關(guān)系型數(shù)據(jù)庫(kù)HBase實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)和檢索方案。針對(duì)高并發(fā)數(shù)據(jù)容易引起Solr不穩(wěn)定，設(shè)計(jì)了Kafka和Spark Streaming高并發(fā)實(shí)時(shí)數(shù)據(jù)緩存和消費(fèi)策略。針對(duì)海量數(shù)據(jù)檢索延