云計(jì)算環(huán)境下面向大數(shù)據(jù)的在線聚集優(yōu)化機(jī)制研究.pdf

1、隨著社交網(wǎng)絡(luò)、電子商務(wù)等新型互聯(lián)網(wǎng)應(yīng)用的蓬勃發(fā)展，產(chǎn)生了大量業(yè)務(wù)數(shù)據(jù)。這些數(shù)據(jù)具有規(guī)模龐大、增長(zhǎng)迅速、結(jié)構(gòu)多樣等顯著特點(diǎn)，是典型的大數(shù)據(jù)。針對(duì)大數(shù)據(jù)的查詢處理是實(shí)現(xiàn)企業(yè)決策支持、業(yè)務(wù)報(bào)表分析等核心商業(yè)應(yīng)用的基礎(chǔ)，受到業(yè)界的廣泛關(guān)注。如何快速、高效地實(shí)現(xiàn)大數(shù)據(jù)查詢處理已成為當(dāng)前研究熱點(diǎn)及難點(diǎn)。
　　云計(jì)算作為一種彈性、可擴(kuò)展的分布式計(jì)算模式，可提供強(qiáng)大的計(jì)算、存儲(chǔ)能力，逐漸成為大數(shù)據(jù)查詢處理難題的重要解決方案。近年來(lái)，研究人員將在線

2、聚集機(jī)制引入云計(jì)算環(huán)境，通過(guò)對(duì)隨機(jī)樣本的近似估計(jì)獲取近似查詢結(jié)果，在滿足用戶查詢精度的前提下通過(guò)精度與性能的折中來(lái)實(shí)現(xiàn)查詢性能的大幅提升。然而，現(xiàn)有云計(jì)算環(huán)境下的在線聚集機(jī)制并不能很好地支持傾斜數(shù)據(jù)集和高并發(fā)查詢，導(dǎo)致樣本采集效率和樣本質(zhì)量偏低，且具有較高的冗余計(jì)算開(kāi)銷，直接影響查詢性能;同時(shí)基于中心極限定理的估計(jì)方法存在估計(jì)失效問(wèn)題，降低了查詢精度進(jìn)而影響查詢性能。
　　本文針對(duì)云計(jì)算環(huán)境下在線聚集研究工作的不足，依次從底層數(shù)據(jù)

3、管理、任務(wù)執(zhí)行模式、在線聚集近似估計(jì)三個(gè)角度入手，分別圍繞在線聚集數(shù)據(jù)預(yù)處理、多查詢共享優(yōu)化、近似估計(jì)失效等問(wèn)題展開(kāi)研究，旨在提高在線聚集整體執(zhí)行性能，滿足大數(shù)據(jù)查詢處理對(duì)性能和精度的雙重需求。綜上所述，本文研究思路可概括如下:首先，在底層數(shù)據(jù)管理方面，面向傾斜數(shù)據(jù)提出一種基于內(nèi)容的數(shù)據(jù)劃分算法及數(shù)據(jù)塊索引、放置策略，通過(guò)提高在線聚集的采樣效率和樣本質(zhì)量、保證計(jì)算與存儲(chǔ)負(fù)載均衡，實(shí)現(xiàn)在線聚集執(zhí)行性能的大幅提升;其次，在任務(wù)執(zhí)行模式方面，

4、針對(duì)高并發(fā)查詢請(qǐng)求提出兩階段共享策略，通過(guò)合并重復(fù)的采樣及計(jì)算過(guò)程減少冗余開(kāi)銷，提高在線聚集的執(zhí)行性能;再次，在近似估計(jì)方法方面，針對(duì)在線聚集近似估計(jì)失效問(wèn)題，結(jié)合bootstrap采樣方法提出一種混合近似查詢框架，通過(guò)預(yù)測(cè)在線聚集失效概率實(shí)現(xiàn)查詢模式的動(dòng)態(tài)切換，進(jìn)一步提高在線聚集執(zhí)行性能;最后，基于東南大學(xué)云計(jì)算平臺(tái)，結(jié)合上述理論研究成果設(shè)計(jì)并實(shí)現(xiàn)云計(jì)算在線聚集原型系統(tǒng)，基于真實(shí)電子商務(wù)數(shù)據(jù)對(duì)系統(tǒng)進(jìn)行功能和性能測(cè)試以驗(yàn)證其可用性和有效