一種精確預(yù)測分布式計算平臺流量的通用框架.pdf

1、云計算作為當(dāng)今IT領(lǐng)域中程碑式的計算模式，已經(jīng)成為工業(yè)界和學(xué)術(shù)界競相研究的熱點。通過將網(wǎng)絡(luò)資源，計算資源和存儲資源進(jìn)行集中化系統(tǒng)管理，云計算數(shù)據(jù)中心能夠處理以前需要超級計算機(jī)或者大型機(jī)才能進(jìn)行計算的大型數(shù)據(jù)集。如今，為了更好地服務(wù)于數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)等計算密集型領(lǐng)域，大量分布式計算平臺被開發(fā)和部署，如MapReduce[1]，Dryad[2]，Spark[3]等在數(shù)據(jù)中心中有著大量的部署和應(yīng)用。分布式計算平臺通過抽象分布式計算的實現(xiàn)細(xì)節(jié)

2、，大大地提高了程序員的生產(chǎn)力。借助分布式計算平臺的應(yīng)用程序編程接口（API），編碼人員能夠集中精力處理算法本身的邏輯，而不需要去考慮資源共享，競爭，任務(wù)分發(fā)等繁瑣的問題。然而，分布式計算平臺所產(chǎn)生的大量波動且突發(fā)（burst）數(shù)據(jù)流量，對數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)施帶來了巨大的挑戰(zhàn)。
　　在本論文中，我們提出了一種面向分布式計算平臺進(jìn)行精確網(wǎng)絡(luò)流量預(yù)測的通用框架FLOWPROPHET。FLOWPROPHET的設(shè)計和實現(xiàn)基于我們對主流分布式計算

3、平臺的兩點認(rèn)知：1）在分布式計算平臺把用戶程序邏輯表達(dá)成分布式執(zhí)行的邏輯時，多采用有向無環(huán)圖（DAG）來表達(dá)；2）有向無環(huán)圖中包含有預(yù)測網(wǎng)絡(luò)流量所需要的時間依賴，數(shù)據(jù)依賴和網(wǎng)絡(luò)流依賴。因此，F(xiàn)LOWPROPHET通過從用戶程序邏輯中釋出有向無環(huán)圖，然后根據(jù)有向無環(huán)圖中所包含的依賴，在網(wǎng)絡(luò)流發(fā)生之前計算出代表著網(wǎng)絡(luò)流的四元組信息（源地址，目的地址，大小，開始時間）。FLOWPROPHET提供通用的編程接口，當(dāng)前和未來的分布式計算平臺通過調(diào)

4、用相應(yīng)的編程接口可以直接部署 FLOWPROPHET進(jìn)行網(wǎng)絡(luò)流量預(yù)測，從而提高數(shù)據(jù)中心網(wǎng)絡(luò)的性能，優(yōu)化網(wǎng)絡(luò)資源的分配，最終提升分布式計算平臺的用戶體驗。為了實現(xiàn)該課題的研究目標(biāo)，研究主要集中在以下內(nèi)容：
　　1.分析現(xiàn)有主流分布式計算平臺的代碼?？偨Y(jié)出計算邏輯可以由有向無環(huán)圖（DAG）進(jìn)行表達(dá)。而從有向無環(huán)圖中可以分析得到時間和數(shù)據(jù)的依賴性從而實現(xiàn)流量預(yù)測。
　　2.設(shè)計了精準(zhǔn)預(yù)測流量的通用框架FLOWPROPHET。FLO