基于Hadoop平臺(tái)的海量數(shù)據(jù)隨機(jī)抽樣系統(tǒng)研究.pdf

1、隨著海量數(shù)據(jù)時(shí)代的來(lái)臨，存儲(chǔ)和研究寶貴的數(shù)據(jù)資源成為學(xué)術(shù)界和工業(yè)界研究和開(kāi)發(fā)的熱點(diǎn)。隨機(jī)抽樣作為傳統(tǒng)統(tǒng)計(jì)學(xué)中的基本方法被大量運(yùn)用于海量數(shù)據(jù)研究中，通過(guò)隨機(jī)抽樣獲取樣本并依據(jù)對(duì)樣本集的研究獲取總體的特征規(guī)律被證明是一種簡(jiǎn)單有效的方法。Hadoop平臺(tái)作為一個(gè)開(kāi)源、高效、穩(wěn)定的分布式處理平臺(tái)在海量數(shù)據(jù)處理中得到了廣泛的應(yīng)用，成為很多工程人員和研究者做海量數(shù)據(jù)處理時(shí)的首選平臺(tái)。
　　傳統(tǒng)的隨機(jī)抽樣算法由于原理限制在海量數(shù)據(jù)處理中顯得笨拙

2、和低效。要開(kāi)發(fā)出一種適用于分布式平臺(tái)的高效的隨機(jī)抽樣算法，便要克服海量數(shù)據(jù)處理中獲取樣本空間大小代價(jià)較大的弱點(diǎn)，使得算法可以不依賴(lài)樣本空間大小運(yùn)行。通過(guò)對(duì)海量數(shù)據(jù)隨機(jī)抽樣算法的研究，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)集的高效隨機(jī)抽樣，對(duì)提高海量數(shù)據(jù)研究和應(yīng)用的效率具有重要的意義。
　　本文通過(guò)大量的文獻(xiàn)調(diào)研，首先對(duì)海量數(shù)據(jù)抽樣以及Hadoop平臺(tái)的產(chǎn)生歷史、整體架構(gòu)和核心組件進(jìn)行了分析，然后對(duì)水塘抽樣算法進(jìn)行了研究。在詳細(xì)分析水塘抽樣的特點(diǎn)之后，我們