基于GPU-hadoop的海洋環(huán)境信息可視化并行計算框架研究與實現(xiàn).pdf

1、“海洋環(huán)境信息可視化”是海洋公益項目的重要課題之一（海洋環(huán)境信息可視化是指將原始的數(shù)據(jù)轉(zhuǎn)換成可供用戶直觀分析的圖像或圖形，以可視的方式展現(xiàn)給用戶）。
　　近年來，伴隨著科學(xué)計算技術(shù)和海洋觀測技術(shù)的進(jìn)步與發(fā)展，海洋環(huán)境信息的數(shù)據(jù)量呈爆炸式增長，對于大規(guī)?？梢暬娜蝿?wù)，單機計算機已經(jīng)遠(yuǎn)遠(yuǎn)達(dá)不到要求。隨著hadoop的日益發(fā)展，越來越多的項目開始使用hadoop作為并行計算平臺。所以，將hadoop應(yīng)用于大規(guī)?？梢暬嬎?，是解決以上問題

2、的有效方案。高性能并行計算已經(jīng)推廣，作為新領(lǐng)域的并行計算，非常有利于巨大數(shù)據(jù)量的處理和計算，尤其是GPU的飛速成長，以及英偉達(dá)公司推出的CUDA應(yīng)用越來越廣泛，GPU受到了越來越多人的關(guān)注。
　　和CPU相似，在GPU內(nèi)部有很多核芯，這些核芯可以并行執(zhí)行，由于GPU內(nèi)顯卡核芯數(shù)遠(yuǎn)遠(yuǎn)高于CPU，所以GPU的性能大大超過了CPU。在其他指標(biāo)，如能量消耗、帶寬等方面也有很大的優(yōu)勢。為了提高海洋環(huán)境信息可視化的計算效率和實時性，將GPU與

3、hadoop進(jìn)行強強聯(lián)合，共同應(yīng)用于可視化計算，已經(jīng)成為了一個很好的解決途徑。本文根據(jù)海洋公益項目對海洋環(huán)境信息可視化精度和計算效率的要求，研究了將GPU高效融入hadoop的可行方案，并設(shè)計出了GPU-Hadoop體系，并將可視化計算成功部署到該框架中。為了追求更高的加速比，本文對設(shè)計出的GPU-hadoop體系中的任務(wù)分配調(diào)度進(jìn)行了相應(yīng)的優(yōu)化。
　　本文完成的工作主要有：1、在分析hadoop特性和GPU優(yōu)勢的基礎(chǔ)上，研究了將

4、GPU合理結(jié)合hadoop的可行方案，并根據(jù)我們實驗環(huán)境和可行性，提出了一套完整的將GPU結(jié)合hadoop的解決方法，該方法不僅對海洋環(huán)境信息可視化有效，對其他項目也有很強的適用性。2、在搭建的GPU-hadoop體系下，使用了數(shù)據(jù)動態(tài)處理器來對CPU傳給GPU的數(shù)據(jù)進(jìn)行拆分和組裝，以此來提升GPU的計算效率；同時使用stream，達(dá)到了GPU和CPU的并行，很好的提高了框架的計算性能。3、將海洋環(huán)境信息可視化計算部署在搭建好的框架中，