大規(guī)模CFD高效CPU-GPU異構(gòu)并行計算關(guān)鍵技術(shù)研究.pdf

1、計算流體力學(xué)（Computational Fluid Dynamics，CFD）采用數(shù)值計算方法求解流動控制方程以發(fā)現(xiàn)各種流動現(xiàn)象和規(guī)律，已廣泛應(yīng)用于航空航天等領(lǐng)域。隨著數(shù)值模擬的幾何外形、物理模型日益復(fù)雜，流動機理研究越來越精細，CFD計算的規(guī)模和復(fù)雜度空前增長，迫切需要利用高性能計算機實現(xiàn)高效CFD并行計算以提升CFD應(yīng)用效率。
　　近年來，隨著圖像處理器（Graphics Processing Unit，GPU）浮點運算性能

2、和可編程性的提升，采用CPU/GPU異構(gòu)體系結(jié)構(gòu)成為構(gòu)造高性能計算機系統(tǒng)的一種趨勢。盡管異構(gòu)體系結(jié)構(gòu)能夠在兼顧通用性和效能的同時大幅提升系統(tǒng)性能，但復(fù)雜的硬件架構(gòu)要求研究者綜合利用多種編程模型以挖掘多層次并行性，對高效CFD并行應(yīng)用開發(fā)帶來了極大的挑戰(zhàn)。
　　本文面向CPU/GPU異構(gòu)體系結(jié)構(gòu)和典型CFD應(yīng)用，圍繞大規(guī)模、高效CFD異構(gòu)協(xié)同并行計算關(guān)鍵技術(shù)開展研究，重點研究了CFD應(yīng)用異構(gòu)協(xié)同并行編程框架、并行算法和性能優(yōu)化、負載

3、均衡等問題。論文的工作包括：
　?。?）針對多區(qū)塊結(jié)構(gòu)網(wǎng)格CFD計算的特點，提出了適應(yīng)大型CPU/GPU異構(gòu)系統(tǒng)的TLCF三層異構(gòu)協(xié)同編程框架。綜合MPI、OpenMP和CUDA編程模型，給出了TLCF框架的三種實例：嵌套OpenMP的TLCF框架（NOMP-TLCF）、OpenMP異步執(zhí)行的TLCF框架（OMPAE-TLCF）以及MPI異步執(zhí)行的TLCF框架（MPIAE-TLCF）。通過分析這三種編程框架的優(yōu)缺點，發(fā)現(xiàn)NOMP-

4、TLCF編程框架更適用于大規(guī)模異構(gòu)并行系統(tǒng)上CFD應(yīng)用的開發(fā)。
　?。?）針對計算流體力學(xué)中格子Boltzmann方程的求解，研究其在CPU/GPU異構(gòu)并行系統(tǒng)上的并行算法。首先，針對算法中的碰撞、遷移及邊界處理過程，構(gòu)建了基于網(wǎng)格單元映射的單GPU并行方法；在傳統(tǒng)的依賴共享存儲（AS）算法基礎(chǔ)上，提出直接存儲（AD）算法以適應(yīng)單GPU訪存方式的發(fā)展。然后，根據(jù)CPU和GPU的協(xié)同方式及通信與計算重疊的程度，分別提出了基本并行LB

5、M-base算法、通信與計算重疊并行LBM-overlap算法、CPU/GPU協(xié)同計算并行LBM-hybrid算法。算法性能的理論分析和測試結(jié)果表明，相對AS算法，AD算法能采用更多線程配置，獲得更好性能。相對于兩個6核CPU，格子Boltzmann方法在單GPU上可獲得17倍的性能加速比。多計算節(jié)點的并行性能測試結(jié)果顯示，相對于單個計算節(jié)點，性能最好的LBM-hybrid并行算法在128個計算節(jié)點上能獲得82.0％并行效率。
　

6、?。?）針對計算流體力學(xué)中的Navier-Stokes方程的求解，研究其在CPU/GPU異構(gòu)并行系統(tǒng)上的并行算法。首先，提出了基于網(wǎng)格單元的細粒度單GPU并行算法；為消除無粘項求解過程中的數(shù)據(jù)依賴，提出了冗余計算方法和內(nèi)核函數(shù)分解方法。然后，基于NOMP-TLCF編程框架提出了基于網(wǎng)格區(qū)塊的粗粒度并行算法，并通過流與異步執(zhí)行的方式重疊數(shù)據(jù)傳輸與GPU計算過程，減少CPU與GPU之間數(shù)據(jù)傳輸?shù)拈_銷。針對計算節(jié)點內(nèi)不同處理部件的計算能力和存

7、儲能力的差異，提出了Out-of-Core方法以增加單個節(jié)點上的模擬規(guī)模。進一步的，我們提出了TCBO和TCBL兩種傳輸策略，降低計算節(jié)點間的數(shù)據(jù)通信開銷。數(shù)值實驗驗證了異構(gòu)并行算法的正確性，相對于單核CPU，GPU的性能加速比在8倍左右；相對于兩個6核CPU，單GPU能獲得約1.85倍的性價比優(yōu)勢；強擴展性和弱擴展性測試結(jié)果都表明該并行算法有較好的加速比和并行效率。
　　（4）從粗粒度和細粒度兩個方面，研究了CPU/GPU異構(gòu)并

8、行系統(tǒng)的負載均衡策略。在粗粒度負載均衡方面，對于多區(qū)塊結(jié)構(gòu)網(wǎng)格Navier-Stokes方程的求解，考慮了不同處理單元的計算性能差異以及通信對應(yīng)用性能影響，提出了基于性能模型的靜態(tài)負載均衡策略。然后，為消除性能模型中的若干假設(shè)，提出了基于預(yù)取的任務(wù)竊取動態(tài)調(diào)度算法。實驗測試表明，兩種負載均衡算法都能較好的均衡處理單元之間的負載。在細粒度負載均衡方面，針對稀疏矩陣向量乘的求解，研究其在采用不同稀疏矩陣存儲格式時GPU的性能，指出當(dāng)矩陣各行