大數(shù)據(jù)流查詢框架與算子算法研究.pdf

1、隨著時(shí)代的發(fā)展，大數(shù)據(jù)的出現(xiàn)給流查詢系統(tǒng)的研究帶來了一些新的挑戰(zhàn)。首先，早期流數(shù)據(jù)查詢系統(tǒng)多為集中式處理系統(tǒng)，即數(shù)據(jù)在單一節(jié)點(diǎn)上進(jìn)行運(yùn)算分析，單節(jié)點(diǎn)資源有限，存在性能瓶頸，數(shù)據(jù)量過大后將大幅增大數(shù)據(jù)處理的延時(shí)，降低數(shù)據(jù)處理的性能和準(zhǔn)確度。同時(shí)，隨著大數(shù)據(jù)與云計(jì)算時(shí)代的到來，數(shù)據(jù)流的計(jì)算在分布式環(huán)境中完成，數(shù)據(jù)在不同的節(jié)點(diǎn)運(yùn)算，結(jié)果不能共享，對(duì)流連接運(yùn)算有著一定的影響。由于需要連接的流數(shù)據(jù)之間存在連接關(guān)系，若將需要連接的流數(shù)據(jù)被分發(fā)到不同

2、的節(jié)點(diǎn)中，則需要跨節(jié)點(diǎn)查找數(shù)據(jù)，帶來了巨大的網(wǎng)絡(luò)開銷；再者，流數(shù)據(jù)是無限的，數(shù)據(jù)流的連接需要將數(shù)據(jù)緩存后進(jìn)行運(yùn)算，這帶來了巨大的內(nèi)存開銷，而傳統(tǒng)的流查詢系統(tǒng)在內(nèi)存負(fù)荷過高時(shí)將數(shù)據(jù)隨機(jī)拋棄，導(dǎo)致查詢結(jié)果誤差變大，因此如何在有限的內(nèi)存中完成連接操作并保證輸出結(jié)果的準(zhǔn)確性，成為了當(dāng)前的研究熱點(diǎn)。最后，過大的數(shù)據(jù)必然會(huì)給系統(tǒng)帶來壓力，當(dāng)系統(tǒng)過載時(shí)隨機(jī)拋棄數(shù)據(jù)會(huì)降低結(jié)果的精確性。
　　本文對(duì)以上的問題進(jìn)行了深入的研究與分析，充分調(diào)研了流數(shù)據(jù)

3、管理系統(tǒng)和大數(shù)據(jù)處理平臺(tái)，基于流數(shù)據(jù)處理平臺(tái)storm設(shè)計(jì)了一種新的用戶處理連續(xù)查詢的實(shí)時(shí)查詢框架，并針對(duì)storm集群重新設(shè)計(jì)了分組算子、聚合算子、過濾算子等查詢中常用功能算子，使傳統(tǒng)的流查詢算子能夠在分布式環(huán)境中對(duì)流數(shù)據(jù)進(jìn)行正確高效地計(jì)算。
　　針對(duì)其中較為復(fù)雜的流連接算子進(jìn)行重點(diǎn)研究，提出了一種基于關(guān)系模型的等值多流連接算法RMS-Join(Relationship Multiway Streams-Join)，該算法首先通

4、過計(jì)算流連接的代價(jià)模型，用于減小數(shù)據(jù)分發(fā)和數(shù)據(jù)連接操作的總體開銷，然后通過設(shè)置主鍵分發(fā)數(shù)據(jù)，保證需要連接的數(shù)據(jù)在同一個(gè)節(jié)點(diǎn)進(jìn)行計(jì)算，最后通過關(guān)系樹模型連接和降載數(shù)據(jù)。相比于傳統(tǒng)的多流連接算法，RMS-join算法有效地提高了數(shù)據(jù)進(jìn)行連接操作時(shí)的效率與準(zhǔn)確度。
　　最后，本論文針對(duì)大數(shù)據(jù)環(huán)境下數(shù)據(jù)多樣性、數(shù)據(jù)量巨大的問題，提出了一種局部自適應(yīng)降載數(shù)據(jù)的方法。該方法通過在數(shù)據(jù)流傳入系統(tǒng)前將超過系統(tǒng)所能處理的數(shù)據(jù)了基于DTW(Dynam