基于Hadoop的海量城市交通流數(shù)據(jù)分布式存儲與分析研究.pdf

1、隨著智能交通基礎(chǔ)建設(shè)的快速發(fā)展，城鎮(zhèn)居民收入水平逐步提高，城市汽車擁有量大幅度增加。遍布每個城市道路的感應(yīng)線圈、卡口斷面系統(tǒng)，能夠及時地采集、記錄、匯總并上傳監(jiān)控數(shù)據(jù)。但是由于城市道路交通流存在著數(shù)據(jù)量大、實時性高等特點，傳統(tǒng)的數(shù)據(jù)存儲與處理技術(shù)存在著數(shù)據(jù)結(jié)構(gòu)與數(shù)據(jù)存儲容量無法靈活擴展、分布式并行數(shù)據(jù)挖掘難、高容錯恢復(fù)能力差等問題。如何將海量的交通流數(shù)據(jù)實時地上傳、匯總和存儲利用，以及如何對數(shù)據(jù)進行統(tǒng)計挖掘成為一個較大的難題。以Hado

2、op為代表的大數(shù)據(jù)技術(shù)成為解決這一系列問題的有效手段之一。
　　基于現(xiàn)階段城市交通發(fā)展帶來的數(shù)據(jù)存儲與分析等突出問題，本文通過對基于Hadoop的MapReduce、HBase等大數(shù)據(jù)技術(shù)的研究，提出了相應(yīng)的解決方案，其主要研究工作和成果如下:
　　(1)本文提出了基于Hadoop的交通流數(shù)據(jù)存儲與分析總體架構(gòu)。將架構(gòu)分為5個層面:數(shù)據(jù)采集層、硬件平臺層、數(shù)據(jù)存儲與計算層、挖掘分析層和應(yīng)用服務(wù)層，同時研究與設(shè)計了節(jié)點在故障或

3、宕機情況下，Hadoop集群具有高容錯恢復(fù)能力的可用性方案。
　　(2)本文提出了基于HBase的海量交通流數(shù)據(jù)分布式存儲方案。根據(jù)交通流數(shù)據(jù)特點與處理應(yīng)用需求，設(shè)計了可解決“熱點”問題的交通流數(shù)據(jù)表行健結(jié)構(gòu)。同時研究了HBase的協(xié)處理器，設(shè)計了用于針對列查詢的快速數(shù)據(jù)檢索的二級索引表。
　　(3)本文還根據(jù)交通車流量與密度的關(guān)系，設(shè)計了流量與密度計算模型，提出了基于MapReduce的流量密度計算的并行化實現(xiàn)，解決了海量

4、交通流數(shù)據(jù)情況下的流量、密度快速計算難題。同時，采用K近鄰非參數(shù)回歸算法來預(yù)測短時交通流，通過對K近鄰狀態(tài)向量、距離度量方式、近鄰個數(shù)以及預(yù)測算法的選擇及研究，提出了基于MapReduce的KNN預(yù)測短時交通流的并行化實現(xiàn)，加快K最近鄰算法的搜索速度，實現(xiàn)對短時交通流的定時預(yù)測。
　　(4)最后，根據(jù)總體架構(gòu)應(yīng)用層需求，基于Hadoop平臺，構(gòu)建并實現(xiàn)了城市道路交通流數(shù)據(jù)分析系統(tǒng)。本文對系統(tǒng)進行了詳細的功能模塊設(shè)計，并實現(xiàn)了對交通