面向海量交通信息流的分布式序列模式挖掘研究.pdf

1、近年來，隨著我國經(jīng)濟建設持續(xù)不斷的高速發(fā)展和人們生活水平的不斷提高，城市機動車保有量連年持續(xù)增長，機動車已成為各城鎮(zhèn)居民出行的主要交通工具之一。但與此同時，利用機動車進行的違法犯罪活動也越來越多，如：機動車假牌假證、機動車伴隨、機動車違章逃逸及盜搶等。由于涉案機動車輛往往具有靈活、隱蔽性強、機動性高等特點，這給公安交警部門對犯罪嫌疑車輛的偵查和追蹤增大了難題。目前，隨著道路監(jiān)控技術的發(fā)展，我國各大城市普遍布設了車牌識別監(jiān)控點，其不斷積累

2、的交通信息流過車記錄為涉案車輛的檢測、追蹤或預測預警提供了有效的數(shù)據(jù)支持。序列模式挖掘作為數(shù)據(jù)挖掘的一個重要研究領域，可用于分析和挖掘帶時間特征的交通信息流中隱藏的有價值模式，從而為社會有關部門提供更好的決策與服務。然而，由于交通信息流數(shù)據(jù)量的不斷增大，傳統(tǒng)的序列模式挖掘算法在數(shù)據(jù)存儲空間和處理效率上已無法滿足實際應用需求，分布式計算平臺的出現(xiàn)解決了海量數(shù)據(jù)的存儲和計算瓶頸，從而使針對海量交通信息流的序列模式挖掘成為可能。
　　H

3、adoop作為一個方便、快速的分布式計算平臺，利用分布式文件系統(tǒng)HDFS實現(xiàn)了對大文件或超大文件的存儲和容錯，并使用MapRedcue編程模型實現(xiàn)了快速運算。但是，由于傳統(tǒng)的序列模式挖掘算法只適用于對集中存儲的數(shù)據(jù)進行分析處理，因此如何設計適合在Hadoop平臺上運行的分布式序列模式挖掘算法是有效實現(xiàn)海量數(shù)據(jù)處理的關鍵。針對分布式平臺特性，深入研究序列模式挖掘的具體實現(xiàn)步驟并盡可能增大算法并行化實現(xiàn)部分，有利于提高海量數(shù)據(jù)的序列模式挖掘

4、效率。本文將基于Hadoop的分布式序列模式挖掘與針對交通信息流領域的實際應用相結(jié)合，利用Hadoop分布式平臺的優(yōu)勢來解決傳統(tǒng)序列模式挖掘在海量數(shù)據(jù)處理上的不足。
　　首先，本文詳細介紹了分布式文件系統(tǒng)HDFS的存儲設計原理及文件讀寫流程，并據(jù)此實現(xiàn)了交通信息流的數(shù)據(jù)預處理。通過對過車記錄數(shù)據(jù)進行有效的清理、轉(zhuǎn)換和歸約，實現(xiàn)了其從傳統(tǒng)關系型數(shù)據(jù)庫到分布式文件系統(tǒng)HDFS中的轉(zhuǎn)移與轉(zhuǎn)換，以方便后續(xù)的分布式序列模式挖掘。
　　

5、然后，本文剖析了MapReduce編程模式的運行機制，給出了序列模式挖掘相關概念在交通信息流中的新定義，并設計了基于MapReduce的交通信息流分布式序列模式挖掘算法。本文給出了算法的詳細實現(xiàn)過程及算法優(yōu)缺點，并針對該算法挖掘結(jié)果的局限性，結(jié)合閉合序列模式挖掘的BIDE算法，實現(xiàn)了BIDE算法的并行化及到Hadoop分布式平臺的有效移植，從而滿足更完整、更全面的應用需求。
　　最后，本文搭建了Hadoop集群實驗環(huán)境，并將相關算