面向位置服務(wù)的數(shù)據(jù)處理平臺(tái)的研究與設(shè)計(jì).pdf

1、在基于位置服務(wù)數(shù)據(jù)的數(shù)據(jù)挖掘研究中,數(shù)據(jù)處理能力已經(jīng)成為了分析的瓶頸。雖然基于MapReduce計(jì)算模型人們可以通過多機(jī)并行相對(duì)快速地完成計(jì)算,但是由于MR模型對(duì)數(shù)據(jù)結(jié)構(gòu)及任務(wù)功能有著嚴(yán)格的規(guī)定,在獲取大數(shù)據(jù)后,還需要進(jìn)行大量的數(shù)據(jù)清洗及格式處理工作。在完成數(shù)據(jù)清洗后,數(shù)據(jù)處理工作中也存在較多的重復(fù)編碼。這些工作對(duì)數(shù)據(jù)分析的效率有著極大的負(fù)面影響。為此本文設(shè)計(jì)了面向位置服務(wù)數(shù)據(jù)的數(shù)據(jù)處理平臺(tái),在平臺(tái)的設(shè)計(jì)中完成了如下三項(xiàng)主要工作。

2、>　　1.提出了面向位置服務(wù)數(shù)據(jù)的數(shù)據(jù)清洗及數(shù)據(jù)處理領(lǐng)域模型。本文對(duì)數(shù)據(jù)建模方法進(jìn)行了討論,總結(jié)了數(shù)據(jù)建模的基本思路及面向特定需求的建模方法?；诔Ｓ玫膶?dǎo)航數(shù)據(jù)給出了其在本數(shù)據(jù)平臺(tái)內(nèi)的數(shù)據(jù)模型及其數(shù)據(jù)清洗策略。
　　2.設(shè)計(jì)了面向位置服務(wù)數(shù)據(jù)的數(shù)據(jù)處理平臺(tái)體系結(jié)構(gòu)。本文通過對(duì)國(guó)內(nèi)外現(xiàn)有數(shù)據(jù)處理技術(shù)的分析,結(jié)合面向交通流的時(shí)空查詢的典型需求,設(shè)計(jì)了一個(gè)可定制模板的數(shù)據(jù)清洗及處理平臺(tái)。通過數(shù)據(jù)模板、計(jì)算模板及核心函數(shù),快速完成對(duì)原始數(shù)

3、據(jù)清洗及相關(guān)的數(shù)據(jù)處理。
　　3.完成了對(duì)本平臺(tái)的系統(tǒng)設(shè)計(jì)。使用了軟件體系結(jié)構(gòu)描述語(yǔ)言對(duì)數(shù)據(jù)模型及數(shù)據(jù)平臺(tái)的核心構(gòu)件進(jìn)行了定義,使用構(gòu)件技術(shù)及Z語(yǔ)言對(duì)平臺(tái)進(jìn)行了描述并描述了構(gòu)件內(nèi)部的處理邏輯。
　　通過分析現(xiàn)有數(shù)據(jù)處理平臺(tái),結(jié)合交通流研究的數(shù)據(jù)查詢需求,本文設(shè)計(jì)了一個(gè)面向位置服務(wù)數(shù)據(jù)的數(shù)據(jù)清洗及數(shù)據(jù)處理的開放數(shù)據(jù)處理平臺(tái)。能夠?yàn)閷?shí)驗(yàn)室的位置服務(wù)數(shù)據(jù)進(jìn)行快速的數(shù)據(jù)清洗,同時(shí)提供了對(duì)時(shí)空數(shù)據(jù)的快速查詢。面向構(gòu)件的設(shè)計(jì)也為今后的功