大數(shù)據(jù)環(huán)境下聚合查詢優(yōu)化技術(shù)的研究與實(shí)現(xiàn).pdf

1、近年來，大數(shù)據(jù)分析技術(shù)已經(jīng)成為信息領(lǐng)域的重要研究課題之一，在網(wǎng)絡(luò)搜索、電子商務(wù)、金融分析和醫(yī)療服務(wù)等很多領(lǐng)域都有著廣泛應(yīng)用。聚合查詢是一類重要的大數(shù)據(jù)分析技術(shù)。一般來說，聚合查詢（有時(shí)稱為數(shù)據(jù)的聚合）是通過一個(gè)聚合函數(shù)（如SUM, AVG, COUNT等等）分析數(shù)據(jù)并對(duì)分析結(jié)果進(jìn)行總結(jié)的過程。在大數(shù)據(jù)背景下，數(shù)據(jù)量巨大，用戶對(duì)查詢速度要求高，對(duì)聚合查詢技術(shù)提出了很大的挑戰(zhàn)。本文針對(duì)大數(shù)據(jù)環(huán)境下聚合查詢優(yōu)化技術(shù)進(jìn)行了研究，取得了如下研究成

2、果：
　?。?）在大數(shù)據(jù)環(huán)境下通過遍歷數(shù)據(jù)集的方式進(jìn)行聚合查詢需要消耗大量的時(shí)間，而用戶對(duì)聚合查詢有著較高的實(shí)時(shí)性要求，因此，基于采樣的近似聚合查詢技術(shù)受到越來越廣泛的關(guān)注。如何在快速獲得近似結(jié)果的同時(shí)又能保障近似結(jié)果的準(zhǔn)確性成為了一項(xiàng)具有挑戰(zhàn)性的工作。本文提出了一種增量式樣本擴(kuò)容與誤差估計(jì)方法IBML。IBML利用bootstrap技術(shù)對(duì)近似結(jié)果進(jìn)行準(zhǔn)確性評(píng)估，當(dāng)估計(jì)誤差不滿足用戶要求時(shí)，利用Hoeffding方程進(jìn)行交互式樣本

3、擴(kuò)容，直到估計(jì)誤差滿足用戶定義的誤差范圍。我們將IBML部署在Spark平臺(tái)上，并實(shí)現(xiàn)了IBML接口。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有方法EARL相比，IBML將近似聚合查詢的速度提升了兩倍。
　　（2）在實(shí)時(shí)聚合查詢過程中需要不斷地將歷史數(shù)據(jù)和新到達(dá)的數(shù)據(jù)進(jìn)行整合，而歷史數(shù)據(jù)龐大，整合過程需要大量的時(shí)間，嚴(yán)重影響實(shí)時(shí)聚合查詢的效率。因此，高效的實(shí)時(shí)聚合查詢成為聚合查詢研究中的重要問題。本文提出了一種適用于歷史數(shù)據(jù)增量式增長(zhǎng)的輕量級(jí)并行索引結(jié)

4、構(gòu) IndexStream，通過對(duì)彈性分布式數(shù)據(jù)集建立平衡多叉樹索引，提高了聚合查詢的速度，而平衡多叉樹索引結(jié)構(gòu)本身帶來的存儲(chǔ)開銷極小。我們將IndexStream在Spark Streaming上進(jìn)行了實(shí)現(xiàn)，搭建并部署了適合在線的實(shí)時(shí)聚合查詢的數(shù)據(jù)分析平臺(tái) NRT。實(shí)驗(yàn)結(jié)果表明， IndexStream能夠顯著提升聚合查詢的查詢速度，為實(shí)時(shí)聚合查詢節(jié)約了大量的時(shí)間。
　　（3）集群中Straggler現(xiàn)象的出現(xiàn)嚴(yán)重影響了聚合查詢

5、的速度，降低了聚合查詢的效率。因此，減少聚合查詢作業(yè)中 Straggler的問題成為了聚合查詢優(yōu)化中必不可少的工作。本文提出了分布式環(huán)境下 Straggler的風(fēng)險(xiǎn)預(yù)測(cè)模型和緩解方法 Hummer，通過收集集群中各個(gè)節(jié)點(diǎn)的歷史信息，采用這些歷史信息建立Straggler的風(fēng)險(xiǎn)預(yù)測(cè)模型。并設(shè)計(jì)了一種基于任務(wù)部分克隆的方法，以緩解大規(guī)模集群中Straggler帶來的延遲。實(shí)驗(yàn)結(jié)果表明，Hummer比現(xiàn)有方法LATE快了46％，比Dolly方