大數(shù)據(jù)環(huán)境下聚合查詢優(yōu)化技術(shù)的研究與實現(xiàn).pdf

1、近年來，大數(shù)據(jù)分析技術(shù)已經(jīng)成為信息領(lǐng)域的重要研究課題之一，在網(wǎng)絡搜索、電子商務、金融分析和醫(yī)療服務等很多領(lǐng)域都有著廣泛應用。聚合查詢是一類重要的大數(shù)據(jù)分析技術(shù)。一般來說，聚合查詢（有時稱為數(shù)據(jù)的聚合）是通過一個聚合函數(shù)（如SUM, AVG, COUNT等等）分析數(shù)據(jù)并對分析結(jié)果進行總結(jié)的過程。在大數(shù)據(jù)背景下，數(shù)據(jù)量巨大，用戶對查詢速度要求高，對聚合查詢技術(shù)提出了很大的挑戰(zhàn)。本文針對大數(shù)據(jù)環(huán)境下聚合查詢優(yōu)化技術(shù)進行了研究，取得了如下研究成

2、果：
　　（1）在大數(shù)據(jù)環(huán)境下通過遍歷數(shù)據(jù)集的方式進行聚合查詢需要消耗大量的時間，而用戶對聚合查詢有著較高的實時性要求，因此，基于采樣的近似聚合查詢技術(shù)受到越來越廣泛的關(guān)注。如何在快速獲得近似結(jié)果的同時又能保障近似結(jié)果的準確性成為了一項具有挑戰(zhàn)性的工作。本文提出了一種增量式樣本擴容與誤差估計方法IBML。IBML利用bootstrap技術(shù)對近似結(jié)果進行準確性評估，當估計誤差不滿足用戶要求時，利用Hoeffding方程進行交互式樣本

3、擴容，直到估計誤差滿足用戶定義的誤差范圍。我們將IBML部署在Spark平臺上，并實現(xiàn)了IBML接口。實驗結(jié)果表明，與現(xiàn)有方法EARL相比，IBML將近似聚合查詢的速度提升了兩倍。
　　（2）在實時聚合查詢過程中需要不斷地將歷史數(shù)據(jù)和新到達的數(shù)據(jù)進行整合，而歷史數(shù)據(jù)龐大，整合過程需要大量的時間，嚴重影響實時聚合查詢的效率。因此，高效的實時聚合查詢成為聚合查詢研究中的重要問題。本文提出了一種適用于歷史數(shù)據(jù)增量式增長的輕量級并行索引結(jié)

4、構(gòu) IndexStream，通過對彈性分布式數(shù)據(jù)集建立平衡多叉樹索引，提高了聚合查詢的速度，而平衡多叉樹索引結(jié)構(gòu)本身帶來的存儲開銷極小。我們將IndexStream在Spark Streaming上進行了實現(xiàn)，搭建并部署了適合在線的實時聚合查詢的數(shù)據(jù)分析平臺 NRT。實驗結(jié)果表明， IndexStream能夠顯著提升聚合查詢的查詢速度，為實時聚合查詢節(jié)約了大量的時間。
　?。?）集群中Straggler現(xiàn)象的出現(xiàn)嚴重影響了聚合查詢

5、的速度，降低了聚合查詢的效率。因此，減少聚合查詢作業(yè)中 Straggler的問題成為了聚合查詢優(yōu)化中必不可少的工作。本文提出了分布式環(huán)境下 Straggler的風險預測模型和緩解方法 Hummer，通過收集集群中各個節(jié)點的歷史信息，采用這些歷史信息建立Straggler的風險預測模型。并設(shè)計了一種基于任務部分克隆的方法，以緩解大規(guī)模集群中Straggler帶來的延遲。實驗結(jié)果表明，Hummer比現(xiàn)有方法LATE快了46％，比Dolly方