面向位置服務(wù)的數(shù)據(jù)處理平臺的研究與設(shè)計.pdf

1、在基于位置服務(wù)數(shù)據(jù)的數(shù)據(jù)挖掘研究中,數(shù)據(jù)處理能力已經(jīng)成為了分析的瓶頸。雖然基于MapReduce計算模型人們可以通過多機(jī)并行相對快速地完成計算,但是由于MR模型對數(shù)據(jù)結(jié)構(gòu)及任務(wù)功能有著嚴(yán)格的規(guī)定,在獲取大數(shù)據(jù)后,還需要進(jìn)行大量的數(shù)據(jù)清洗及格式處理工作。在完成數(shù)據(jù)清洗后,數(shù)據(jù)處理工作中也存在較多的重復(fù)編碼。這些工作對數(shù)據(jù)分析的效率有著極大的負(fù)面影響。為此本文設(shè)計了面向位置服務(wù)數(shù)據(jù)的數(shù)據(jù)處理平臺,在平臺的設(shè)計中完成了如下三項主要工作。

2、>　　1.提出了面向位置服務(wù)數(shù)據(jù)的數(shù)據(jù)清洗及數(shù)據(jù)處理領(lǐng)域模型。本文對數(shù)據(jù)建模方法進(jìn)行了討論,總結(jié)了數(shù)據(jù)建模的基本思路及面向特定需求的建模方法?；诔Ｓ玫膶?dǎo)航數(shù)據(jù)給出了其在本數(shù)據(jù)平臺內(nèi)的數(shù)據(jù)模型及其數(shù)據(jù)清洗策略。
　　2.設(shè)計了面向位置服務(wù)數(shù)據(jù)的數(shù)據(jù)處理平臺體系結(jié)構(gòu)。本文通過對國內(nèi)外現(xiàn)有數(shù)據(jù)處理技術(shù)的分析,結(jié)合面向交通流的時空查詢的典型需求,設(shè)計了一個可定制模板的數(shù)據(jù)清洗及處理平臺。通過數(shù)據(jù)模板、計算模板及核心函數(shù),快速完成對原始數(shù)

3、據(jù)清洗及相關(guān)的數(shù)據(jù)處理。
　　3.完成了對本平臺的系統(tǒng)設(shè)計。使用了軟件體系結(jié)構(gòu)描述語言對數(shù)據(jù)模型及數(shù)據(jù)平臺的核心構(gòu)件進(jìn)行了定義,使用構(gòu)件技術(shù)及Z語言對平臺進(jìn)行了描述并描述了構(gòu)件內(nèi)部的處理邏輯。
　　通過分析現(xiàn)有數(shù)據(jù)處理平臺,結(jié)合交通流研究的數(shù)據(jù)查詢需求,本文設(shè)計了一個面向位置服務(wù)數(shù)據(jù)的數(shù)據(jù)清洗及數(shù)據(jù)處理的開放數(shù)據(jù)處理平臺。能夠為實驗室的位置服務(wù)數(shù)據(jù)進(jìn)行快速的數(shù)據(jù)清洗,同時提供了對時空數(shù)據(jù)的快速查詢。面向構(gòu)件的設(shè)計也為今后的功