基于Spark的數(shù)據(jù)分析建模工具的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、大數(shù)據(jù)所蘊(yùn)藏的巨大價(jià)值已經(jīng)引起了國(guó)內(nèi)外學(xué)術(shù)界、工業(yè)界及政府部門(mén)的廣泛關(guān)注，如何從大數(shù)據(jù)全壽命周期中獲取、存儲(chǔ)、處理、挖掘有效的信息是當(dāng)前學(xué)術(shù)界研究熱點(diǎn)問(wèn)題。傳統(tǒng)的數(shù)據(jù)處理能力在大數(shù)據(jù)時(shí)代顯得捉襟見(jiàn)肘，已無(wú)法滿(mǎn)足日益復(fù)雜的數(shù)據(jù)分析需求。
　　大數(shù)據(jù)分析平臺(tái)是實(shí)現(xiàn)大數(shù)據(jù)挖掘業(yè)務(wù)的基礎(chǔ)，因此，本文首先研究了大數(shù)據(jù)分析平臺(tái)的整體框架。針對(duì)分布式異構(gòu)數(shù)據(jù)的管理和計(jì)算問(wèn)題，本文研究了元數(shù)據(jù)管理方法，數(shù)據(jù)流轉(zhuǎn)模式和多種分類(lèi)、聚類(lèi)算法。在上述研究

2、的基礎(chǔ)上，提出了一種基于Spark的分布式數(shù)據(jù)分析建模工具，以期實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的快速處理，以及大數(shù)據(jù)分析過(guò)程中數(shù)據(jù)建模的流程化。
　　結(jié)合大數(shù)據(jù)環(huán)境下的數(shù)據(jù)分析建模工具在功能、性能方面的需求，本文設(shè)計(jì)了統(tǒng)一的數(shù)據(jù)管理對(duì)象，給出了數(shù)據(jù)處理模塊中數(shù)據(jù)建模部分的詳細(xì)設(shè)計(jì)方案，實(shí)現(xiàn)了數(shù)據(jù)建模環(huán)節(jié)中的多類(lèi)操作節(jié)點(diǎn)，以及對(duì)建模工具中多種預(yù)測(cè)模型的分類(lèi)管理。最后，本文給出了系統(tǒng)部署方案與測(cè)試結(jié)果分析。目前，本系統(tǒng)正運(yùn)行于配電網(wǎng)故障數(shù)量預(yù)測(cè)分析的