面向大規(guī)模交互式分析的MapReduce優(yōu)化技術(shù)研究.pdf

1、近年來，數(shù)據(jù)呈指數(shù)級增長趨勢使得大數(shù)據(jù)問題受到廣泛關(guān)注。與傳統(tǒng)的海量數(shù)據(jù)相比，大數(shù)據(jù)更強(qiáng)調(diào)數(shù)據(jù)的潛在價(jià)值，需要強(qiáng)有力的分析挖掘技術(shù)才能有效獲取這種價(jià)值。大數(shù)據(jù)分析挖掘?qū)Υ笠?guī)模并行數(shù)據(jù)處理技術(shù)提出了高性能、高可擴(kuò)展、高可靠等要求。MapReduce支持大規(guī)模自動(dòng)化并行、高度自動(dòng)化擴(kuò)展、細(xì)粒度透明容錯(cuò)，非常適合大數(shù)據(jù)分析挖掘。目前，MapReduce技術(shù)已經(jīng)成為大數(shù)據(jù)分析挖掘的核心技術(shù)。MapReduce應(yīng)用大量出現(xiàn)，很多機(jī)構(gòu)都在使用Map

2、Reduce來解決他們的應(yīng)用需求，例如：衛(wèi)星圖像數(shù)據(jù)清洗、生成倒排索引、用戶點(diǎn)擊流分析等。然而，MapReduce最初用于大規(guī)模批處理領(lǐng)域，最近才開始轉(zhuǎn)向大規(guī)模交互式應(yīng)用領(lǐng)域。與批處理應(yīng)用相比，交互式應(yīng)用有很多不同，這使得最初的MapReduce系統(tǒng)不能很好地適應(yīng)。對于交互式應(yīng)用優(yōu)化，傳統(tǒng)數(shù)據(jù)庫研究領(lǐng)域已積累了大量成熟技術(shù)，但數(shù)據(jù)庫的擴(kuò)展性和可靠性受限。
　　本研究主要內(nèi)容包括：⑴基于全局索引的MapReduce作業(yè)調(diào)度執(zhí)行優(yōu)化。

3、優(yōu)化對象是大規(guī)模交互式分析挖掘應(yīng)用中一類常見的作業(yè)類型-條件類作業(yè)。原始MapReduce系統(tǒng)沒有針對條件類作業(yè)的語義特點(diǎn)進(jìn)行優(yōu)化。在已有研究工作基礎(chǔ)上，提出了一種基于全局索引的作業(yè)調(diào)度執(zhí)行優(yōu)化策略。優(yōu)化目標(biāo)是作業(yè)的執(zhí)行開銷和調(diào)度開銷。前提假設(shè)是數(shù)據(jù)分區(qū)全局有序，有針對數(shù)據(jù)分區(qū)的全局索引知識。方法是在MapReduce處理流程中增加條件分析階段，并基于全局索引減少需要調(diào)度執(zhí)行的任務(wù)規(guī)模。實(shí)驗(yàn)結(jié)果表明我們的策略對條件類作業(yè)具有更好的調(diào)度開

4、銷和執(zhí)行開銷。⑵關(guān)注數(shù)據(jù)本地性的公平任務(wù)調(diào)度算法。在大規(guī)模普通網(wǎng)絡(luò)集群環(huán)境進(jìn)行數(shù)據(jù)密集型計(jì)算，網(wǎng)絡(luò)帶寬是最稀缺的系統(tǒng)資源。使任務(wù)靠近數(shù)據(jù)執(zhí)行是非常重要的性能優(yōu)化原則，該原則在MapReduce環(huán)境下被稱為數(shù)據(jù)本地性原則。數(shù)據(jù)本地性直接影響著計(jì)算效率。交互式計(jì)算平臺由大量用戶共享，需要公平共享資源。在交互式環(huán)境下絕對公平對數(shù)據(jù)本地性影響較大。為此，本文提出一種靈活的公平調(diào)度策略，稱為K％-公平調(diào)度。首先考慮數(shù)據(jù)本地性，進(jìn)而考慮公平性。通過

5、調(diào)整參數(shù)K，可使數(shù)據(jù)本地性和公平性都得到較好的優(yōu)化。⑶關(guān)注數(shù)據(jù)本地性的任務(wù)調(diào)度框架。任務(wù)調(diào)度階段，數(shù)據(jù)本地性是必須要考慮的指標(biāo)。此外，可能還需要考慮其他因素（如作業(yè)長度、作業(yè)類型、數(shù)據(jù)共享、等待時(shí)間等）。因此，有必要設(shè)計(jì)一個(gè)關(guān)注綜合指標(biāo)的任務(wù)調(diào)度框架。該框架優(yōu)先考慮數(shù)據(jù)本地性，基于數(shù)據(jù)本地性對任務(wù)執(zhí)行位置進(jìn)行規(guī)劃。任務(wù)調(diào)度階段若有多個(gè)候選任務(wù)，基于綜合指標(biāo)函數(shù)對候選任務(wù)排序，調(diào)度最靠前的任務(wù)。⑷關(guān)注集群計(jì)算效率的作業(yè)調(diào)度算法。作業(yè)調(diào)度算

6、法規(guī)定了所有提交作業(yè)的執(zhí)行順序。研究主要針對大量突發(fā)性負(fù)載模式。這種負(fù)載模式下，影響機(jī)群計(jì)算效率的因素主要包括三個(gè)方面：數(shù)據(jù)本地性、負(fù)載均衡性、資源使用的流水并行性。若沒有作業(yè)調(diào)度，使全部作業(yè)都可獲得資源，數(shù)據(jù)本地性和負(fù)載均衡性很容易保證。這將導(dǎo)致大量作業(yè)惡意爭用共享資源，影響不同類型資源之間的流水并行性。作業(yè)調(diào)度控制了作業(yè)的并行度，進(jìn)而控制了可調(diào)度的任務(wù)規(guī)模，這種情況下很難同時(shí)保證數(shù)據(jù)本地性和負(fù)載均衡性。針對這種情況，本文首先限制任務(wù)