面向大數(shù)據(jù)處理的并行計算模型及性能優(yōu)化.pdf

1、隨著大數(shù)據(jù)時代的來臨，從并行機(jī)體系結(jié)構(gòu)、計算資源擴(kuò)展能力到工業(yè)界應(yīng)用模式都在發(fā)生顯著變化。上述變化為并行計算提供新的發(fā)展機(jī)遇，同時也帶來巨大的研究挑戰(zhàn)。其中架構(gòu)在硬件和軟件之間的并行計算模型是推動大數(shù)據(jù)發(fā)展的核心技術(shù)之一。目前工業(yè)界已經(jīng)研究和開發(fā)多種大數(shù)據(jù)編程模型，并廣泛應(yīng)用在TB級甚至PB級的數(shù)據(jù)處理與分析上，而學(xué)術(shù)界正在嘗試和探索更抽象的大數(shù)據(jù)計算模型，來反映當(dāng)前并行機(jī)的屬性，揭示大數(shù)據(jù)任務(wù)中計算、通信和訪存行為的本質(zhì)特征，對各種主

2、流大數(shù)據(jù)處理系統(tǒng)進(jìn)行統(tǒng)一的理論分析，從而指導(dǎo)大數(shù)據(jù)應(yīng)用調(diào)優(yōu)。
　　本文從傳統(tǒng)并行計算模型、大數(shù)據(jù)編程模型和大數(shù)據(jù)計算模型的相關(guān)研究中，總結(jié)出大數(shù)據(jù)計算模型在理論上需要解決的三個基本問題:模型的三要素（機(jī)器參數(shù)、執(zhí)行行為、成本函數(shù)）問題、擴(kuò)展性與容錯性問題和性能優(yōu)化問題。本文圍繞著這三個問題，一方面從理論上研究大數(shù)據(jù)計算模型及其性能優(yōu)化方法，另一方面在實(shí)際的大數(shù)據(jù)案例中應(yīng)用這些性能優(yōu)化方法。具體而言，本文的主要研究內(nèi)容、貢獻(xiàn)和創(chuàng)新點(diǎn)

3、可概況為以下幾點(diǎn):
　　1.抽象出一個大數(shù)據(jù)計算模型:提出了一個面向大數(shù)據(jù)處理的并行計算模型p-DOT。p-DOT模型分為p階段，每個階段都由數(shù)據(jù)層D、計算層O和通信層T共同組成，采用矩陣的形式化描述;選取輸入數(shù)據(jù)規(guī)模w和機(jī)器數(shù)n作為主要的兩個參數(shù)，依照模型所定義的計算、通信和I/O行為共同構(gòu)造出時間成本函數(shù)，并以此推導(dǎo)出對一個給定的大數(shù)據(jù)任務(wù)和給定的環(huán)境負(fù)載，任務(wù)最短運(yùn)行時間所需的機(jī)器數(shù)n*和輸入數(shù)據(jù)規(guī)模的開方√w成正比。同時，

4、p-DOT模型具有擴(kuò)展性和容錯性，對于一個軟件框架，如果其任何一個任務(wù)均可用p-DOT模型表示，那么該框架的處理范式是可擴(kuò)展和可容錯的。
　　2.證明模型的成本函數(shù)、擴(kuò)展性和容錯性:對于時間成本函數(shù)，通過對機(jī)器內(nèi)存大小、機(jī)器數(shù)和任務(wù)執(zhí)行時間的限制，使構(gòu)造出的函數(shù)更接近于實(shí)際，并通過大規(guī)模的MPI和MapReduce實(shí)驗證明該函數(shù)及其推論的正確性;對于擴(kuò)展性，采用傳統(tǒng)并行計算性能評測標(biāo)準(zhǔn)中的等效率函數(shù)，證明了基于p-DOT模型的處理

5、范式是可擴(kuò)展的，但不是強(qiáng)可擴(kuò)展的;對于容錯性，在輸入數(shù)據(jù)D都存放在永久性存儲設(shè)備的前提條件下，證明了基于p-DOT模型的處理范式是可容錯的。
　　3.設(shè)計基于模型的優(yōu)化方法并應(yīng)用:針對p-DOT模型的數(shù)據(jù)層D、計算層O和通信層T，分別設(shè)計了利用數(shù)據(jù)復(fù)本、利用多核技術(shù)和利用部分同步策略的性能優(yōu)化方法。一方面，從理論上證明了1）利用數(shù)據(jù)復(fù)本不僅是大數(shù)據(jù)任務(wù)容錯性的必要條件，也能有效地提高任務(wù)的I/O訪存性能;2）利用多核技術(shù)能在不增大