不確定大數(shù)據(jù)分析原型系統(tǒng)的設(shè)計與實(shí)現(xiàn).pdf

1、近年來隨著信息量的日益膨脹，數(shù)據(jù)量的快速增長，對大數(shù)據(jù)分析的需求日趨急切。同時隨著人們對不確定數(shù)據(jù)認(rèn)識的越加深刻，基于不確定大數(shù)據(jù)的處理需求開始興起。然而現(xiàn)有的基于數(shù)據(jù)倉庫的聯(lián)機(jī)分析處理研究或者系統(tǒng)都是建立在傳統(tǒng)數(shù)據(jù)庫之上的，對大數(shù)據(jù)的存儲支持尚不完善。本文依托國家不確定大數(shù)據(jù)項(xiàng)目，實(shí)現(xiàn)了基于MapReduce計算框架的不確定數(shù)據(jù)的確定化處理，設(shè)計和實(shí)現(xiàn)了基于Hive數(shù)據(jù)倉庫的聯(lián)機(jī)分析處理系統(tǒng)。
　　本文主要是通過研究蒙特卡羅采樣

2、算法，針對不確定圖數(shù)據(jù)經(jīng)過采樣過程進(jìn)行確定化處理。然后根據(jù)確定化的數(shù)據(jù)集在分布式數(shù)據(jù)倉庫Hive上構(gòu)建多維數(shù)據(jù)模型，同時設(shè)計和實(shí)現(xiàn)了以Hive數(shù)據(jù)倉庫為底層存儲的聯(lián)機(jī)分析處理系統(tǒng)。本文的貢獻(xiàn)可以概括為以下幾個方面。第一，通過學(xué)習(xí)簡單隨機(jī)采樣算法，結(jié)合本文用到的不確定數(shù)據(jù)集特征，深入研究了不等概率采樣算法的實(shí)現(xiàn)方法，然后將方法的具體實(shí)現(xiàn)在分布式編程模型MapReduce上進(jìn)行實(shí)施，驗(yàn)證了算法的有效性并提高了算法的效率。第二，學(xué)習(xí)和研究了聯(lián)

3、機(jī)分析處理的模型和操作，利用Hadoop平臺下的分布式數(shù)據(jù)倉庫Hive，根據(jù)本文的分析需求在Hive數(shù)據(jù)倉庫之上構(gòu)建了多維數(shù)據(jù)模型，定義了多維分析操作。研究了一種基于Hive自定義函數(shù)UDF的模擬維度分析方法，結(jié)合了本文數(shù)據(jù)集的特點(diǎn)滿足了分析需求的同時提高了分析效率。第三，設(shè)計和實(shí)現(xiàn)了基于確定化數(shù)據(jù)的多維數(shù)據(jù)分析系統(tǒng)，系統(tǒng)采用三層框架結(jié)構(gòu)，分別是分析引擎層、業(yè)務(wù)控制層和用戶操作層。分析引擎層主要負(fù)責(zé)存儲數(shù)據(jù)倉庫模型和利用MapReduc