分布式流體系結(jié)構(gòu)DSAR關(guān)鍵技術(shù)研究.pdf

1、近年來(lái)，以大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等為代表的互聯(lián)網(wǎng)新興技術(shù)已經(jīng)成為國(guó)際社會(huì)普遍關(guān)注的熱點(diǎn)，在金融、軍事、科研、通信、醫(yī)療等領(lǐng)域都引起了人們的高度重視。目前，主流大數(shù)據(jù)、云計(jì)算等運(yùn)行環(huán)境通常部署在互聯(lián)網(wǎng)數(shù)據(jù)中心IDC（Internet data center）上統(tǒng)一向用戶(hù)提供服務(wù)，依托IDC提供計(jì)算服務(wù)已經(jīng)成為重要的技術(shù)手段。然而，當(dāng)前數(shù)據(jù)中心存在著成本高昂、資源規(guī)模有限、功耗巨大等問(wèn)題，在滿(mǎn)足未來(lái)社會(huì)對(duì)計(jì)算需求的普遍增長(zhǎng)上存在

2、挑戰(zhàn)。與此同時(shí)，人們周?chē)鷱V泛分布著豐富空閑的異構(gòu)動(dòng)態(tài)資源，因此，可以考慮利用這些資源構(gòu)建高效、可靠、低成本的分布式計(jì)算環(huán)境，這對(duì)于構(gòu)建未來(lái)社會(huì)的泛在計(jì)算網(wǎng)絡(luò)環(huán)境具有重要意義。
　　隨著信息社會(huì)的快速發(fā)展，人們要在異構(gòu)動(dòng)態(tài)網(wǎng)絡(luò)上提供分布式計(jì)算環(huán)境至少面臨著網(wǎng)絡(luò)資源三個(gè)方面的基本挑戰(zhàn)：網(wǎng)絡(luò)資源的異構(gòu)性、網(wǎng)絡(luò)資源的動(dòng)態(tài)性、網(wǎng)絡(luò)通信延遲及有限帶寬等。然而，目前云計(jì)算、網(wǎng)格計(jì)算、P2P計(jì)算等有影響力的主流分布式計(jì)算模型針對(duì)上述挑戰(zhàn)都存在一定

3、的不足。
　　鑒于近年來(lái)流計(jì)算體系結(jié)構(gòu)的廣泛興起，本文深入分析了流計(jì)算模型的特性，認(rèn)為其具有計(jì)算資源普適性、延遲計(jì)算綁定特性、高度數(shù)據(jù)并行性與多層次并行性等，具有應(yīng)對(duì)異構(gòu)動(dòng)態(tài)網(wǎng)絡(luò)挑戰(zhàn)的潛力，并首次基于傳統(tǒng)的流計(jì)算模型提出了一種新型的分布式流體系結(jié)構(gòu)。針對(duì)異構(gòu)動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境下的分布式計(jì)算問(wèn)題，本文分別從計(jì)算模型、編程模型、資源管理與性能優(yōu)化技術(shù)、容錯(cuò)技術(shù)等四個(gè)方面展開(kāi)研究，其主要工作與創(chuàng)新點(diǎn)體現(xiàn)在：
　　1.提出了分布式流體系結(jié)

4、構(gòu)（第二章）本文深入分析后認(rèn)為傳統(tǒng)的流計(jì)算模型具有計(jì)算資源普適性、延遲計(jì)算綁定特性、高度數(shù)據(jù)并行性、多層次并行性等特點(diǎn)，對(duì)于解決異構(gòu)動(dòng)態(tài)網(wǎng)絡(luò)下的分布式計(jì)算模型問(wèn)題具有較大潛力。因此，本文首次面向異構(gòu)動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境提出了一種新型的分布式流體系結(jié)構(gòu)，將流計(jì)算模型推廣到分布式計(jì)算環(huán)境中，構(gòu)建了分布式流體系結(jié)構(gòu)的基本概念，并設(shè)計(jì)了其軟件棧以支持分布式流處理過(guò)程。同時(shí)，本文基于Kahn過(guò)程網(wǎng)絡(luò)建立了分布式流計(jì)算模型，采用CCS進(jìn)程代數(shù)進(jìn)行了語(yǔ)義分析

5、。研究人員可以基于分布式流體系結(jié)構(gòu)面向異構(gòu)動(dòng)態(tài)網(wǎng)絡(luò)構(gòu)建高效、可靠、低成本的分布式計(jì)算環(huán)境。
　　2.提出了分布式流體系結(jié)構(gòu)編程模型（第三章）本文針對(duì)傳統(tǒng)流編程語(yǔ)言的不足，在分布式流體系結(jié)構(gòu)基礎(chǔ)上提出了新型的分布式流編程模型Brook＃，以解決在異構(gòu)動(dòng)態(tài)網(wǎng)絡(luò)上應(yīng)用程序的編程模型問(wèn)題。接著，本文深入剖析了Brook＃編譯器及其運(yùn)行時(shí)的相關(guān)技術(shù)，如維護(hù)數(shù)據(jù)一致性的中間列表法、Brook＃編譯指導(dǎo)語(yǔ)句等，并深入分析了四種 Kernel執(zhí)行

6、模式及其實(shí)現(xiàn)機(jī)制?；谛滦偷?Brook＃編程模型，研究人員可以把注意力集中在應(yīng)用程序的性能開(kāi)發(fā)上，尤其是多層次并行性，而無(wú)需關(guān)心資源異構(gòu)性、動(dòng)態(tài)任務(wù)綁定與動(dòng)態(tài)負(fù)載均衡等底層細(xì)節(jié)。實(shí)驗(yàn)結(jié)果表明，分布式流編程模型Brook＃能有效提高應(yīng)用程序的執(zhí)行性能，充分開(kāi)發(fā)分布式環(huán)境下應(yīng)用程序的潛在并行性。
　　3.提出了分布式流體系結(jié)構(gòu)資源管理、性能模型與優(yōu)化技術(shù)（第四章）本文針對(duì)異構(gòu)動(dòng)態(tài)網(wǎng)絡(luò)上大規(guī)模資源管理與調(diào)度問(wèn)題，設(shè)計(jì)了以主從架構(gòu)與兩級(jí)

7、資源調(diào)度模型為核心的分布式流體系結(jié)構(gòu)資源管理系統(tǒng)。同時(shí)，本文進(jìn)一步分析了四種Kernel執(zhí)行模式下應(yīng)用程序的性能模型，以其為基礎(chǔ)構(gòu)建了分布式流體系結(jié)構(gòu)的性能模型，并分析指出其性能瓶頸與性能優(yōu)化原則，最后提出了兩種性能優(yōu)化技術(shù)，即數(shù)據(jù)流Eager傳輸技術(shù)與計(jì)算核心前瞻執(zhí)行技術(shù)。實(shí)驗(yàn)結(jié)果驗(yàn)證了分布式流體系結(jié)構(gòu)資源管理技術(shù)的有效性，同時(shí)表明提出的兩種優(yōu)化技術(shù)可以有效加速應(yīng)用執(zhí)行，降低程序執(zhí)行開(kāi)銷(xiāo)。
　　4.提出了分布式流體系結(jié)構(gòu)容錯(cuò)技術(shù)

8、（第五章）本文分析認(rèn)為隨著商用器件的廣泛使用、計(jì)算系統(tǒng)規(guī)模的持續(xù)擴(kuò)大與異構(gòu)系統(tǒng)的迅速興起，分布式流體系結(jié)構(gòu)面臨著可靠性的嚴(yán)峻挑戰(zhàn)。本文首先分析了分布式流體系結(jié)構(gòu)的結(jié)點(diǎn)故障模型與常見(jiàn)錯(cuò)誤類(lèi)型。接著，本文針對(duì)運(yùn)行流級(jí)程序結(jié)點(diǎn)故障所引起的不易察覺(jué)的軟錯(cuò)誤，結(jié)合分布式流體系結(jié)構(gòu)應(yīng)用程序的特點(diǎn)，引入了容錯(cuò)程序段以有效控制錯(cuò)誤傳播范圍與靈活設(shè)置容錯(cuò)粒度，并提出了一種高效低成本的多副本容錯(cuò)方法TREFT，其基于網(wǎng)絡(luò)閑置資源利用三個(gè)程序副本同時(shí)進(jìn)行檢錯(cuò)