內(nèi)存計(jì)算框架性能優(yōu)化關(guān)鍵技術(shù)研究.pdf

1、博士研究生學(xué)位論文(國(guó)家自然科學(xué)基金)新疆大學(xué)論文題目論文題目(中文中文)：內(nèi)存計(jì)算框架性能優(yōu)化關(guān)鍵技術(shù)研究?jī)?nèi)存計(jì)算框架性能優(yōu)化關(guān)鍵技術(shù)研究論文題目論文題目(外文外文)：ResearchonSignificantTechnologiesofPerfmanceOptimizationonInmemyComputingFramewk研究生姓名：卞名：卞琛學(xué)科、專業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)研究方向：內(nèi)存計(jì)算向：內(nèi)存計(jì)算導(dǎo)師姓名職稱：

2、于姓名職稱：于炯教授教授論文答辯日期年月日學(xué)位授予日期年月日新疆大學(xué)博士學(xué)位論文摘要ii存計(jì)算框架并行度推斷算法，通過(guò)分析任務(wù)并行度與作業(yè)執(zhí)行效率的關(guān)系，提出并行度推斷算法的問(wèn)題定義；綜合輸入數(shù)據(jù)量、計(jì)算資源和附加開(kāi)銷等多個(gè)參數(shù)，計(jì)算出具有最大化資源利用率和最優(yōu)狀態(tài)同步的任務(wù)并行度，對(duì)作業(yè)的各個(gè)Stage進(jìn)行優(yōu)化調(diào)度，加速作業(yè)執(zhí)行并提高計(jì)算能效。（5）提出基于分配適應(yīng)度的漸進(jìn)填充分區(qū)映射算法。針對(duì)異構(gòu)環(huán)境下Shuffle過(guò)程數(shù)據(jù)分配與節(jié)

3、點(diǎn)計(jì)算能力嚴(yán)重不符的問(wèn)題，提出Shuffle過(guò)程的漸進(jìn)填充分區(qū)映射算法；建立Shuffle過(guò)程模型，分析分配數(shù)據(jù)量與原始數(shù)據(jù)分布的聯(lián)系；通過(guò)擴(kuò)展式分區(qū)和多輪漸進(jìn)填充映射，建立適應(yīng)節(jié)點(diǎn)計(jì)算能力的數(shù)據(jù)分配方案，有效縮減Shuffle過(guò)程的同步延時(shí)，提高集群計(jì)算效率。（6）提出了基于回歸檢測(cè)的內(nèi)存重復(fù)數(shù)據(jù)刪除算法。為提高內(nèi)存計(jì)算框架堆外存儲(chǔ)區(qū)的利用率，提出一種基于滑動(dòng)塊回歸檢測(cè)的內(nèi)存重復(fù)數(shù)據(jù)刪除算法，通過(guò)未匹配數(shù)據(jù)進(jìn)行回歸檢測(cè)，對(duì)比未匹配塊的

4、結(jié)構(gòu)變化確定刪冗操作類型，根據(jù)不同的操作類型選擇執(zhí)行折半匹配算法或二次滑動(dòng)窗口檢測(cè)算法，達(dá)到刪除未匹配塊內(nèi)重復(fù)數(shù)據(jù)的目的，提高內(nèi)存資源的使用效率。本文研究得到國(guó)家自然科學(xué)基金項(xiàng)目《基于內(nèi)存計(jì)算的遙感數(shù)據(jù)高效并行和任務(wù)調(diào)度研究，編號(hào)為：61562086》以及新疆維吾爾自治區(qū)自然科學(xué)基金項(xiàng)目《云計(jì)算服務(wù)模型及服務(wù)可靠性的研究，編號(hào)為：2011211A011》的資助。關(guān)鍵詞關(guān)鍵詞：內(nèi)存計(jì)算，集群性能，Spark，Shuffle優(yōu)化，資源配置，