HPC集群環(huán)境下分布式數據處理系統研究.pdf

1、Hadoop以其高可用性成為當前大數據處理使用最廣泛的工具，它是Google MapReduce和GFS的開源實現。相對于可用性，Hadoop的運行效率容易受到軟硬件環(huán)境的影響。大型IT公司往往部署專門的Hadoop集群，對軟硬件都進行有針對性的配置，其性能表現較好。然而通過調研發(fā)現，很多中小公司、高校的軟硬件配置并不理想；另外，HPC系統的計算能力很強，但其他資源的配置相對有限，比如，天河2號平均單核內存不足0.33GB。在這些情況下

2、，Hadoop的性能將大幅降低。
　　適用于HPC集群環(huán)境的分布式數據處理系統Mammoth，對MapReduce的執(zhí)行機制進行了一系列優(yōu)化。首先，Mammoth設計并實現了多線程的Map/Reduce任務執(zhí)行引擎，在每個TaskTracker節(jié)點上設置一個單獨的任務執(zhí)行進程，所有的任務都被調度到該進程中以線程方式執(zhí)行；其次，提取Map任務和Reduce任務對內存使用的細節(jié)特征，根據這些特征將Map/Reduce任務更細粒度地劃分

3、為多個子階段；再次，實現全局的內存管理，統一管理各個任務線程對內存的使用，設計自適應的內存調度算法，動態(tài)分配和回收各個任務使用到的內存；最后，實現全局的I/O管理，統一管理各個任務線程對本地磁盤的讀/寫請求，為不同的I/O請求設置不同的優(yōu)先級，動態(tài)地進行I/O調度。此外，Mammoth通過在應用層管理內存塊的分配回收避免了Full GC的開銷，還通過串行I/O和交錯I/O相結合的方式提高了磁盤速度。
　　Mammoth保持原有Ha