基于RDMA的大數(shù)據(jù)系統(tǒng)通信機(jī)制優(yōu)化與實(shí)現(xiàn).pdf

1、隨著大數(shù)據(jù)時(shí)代的來臨，數(shù)據(jù)量的日益劇增，計(jì)算機(jī)系統(tǒng)發(fā)生了重大的變革，很多應(yīng)用需要擴(kuò)展到大型的集群上去，才能滿足大數(shù)據(jù)計(jì)算和存儲(chǔ)的急切需求。然而應(yīng)用場景的多樣性導(dǎo)致了集群非常低的性能，比如流式計(jì)算、迭代算法和交互式處理，從而引發(fā)了針對不同應(yīng)用而設(shè)計(jì)計(jì)算模型的快速發(fā)展。
　　Spark是一個(gè)基于內(nèi)存計(jì)算的開源的集群計(jì)算系統(tǒng)，提供了比Hadoop更加豐富的MapReduce模型，可以快速在內(nèi)存中對數(shù)據(jù)集進(jìn)行多次迭代。因此，Spark非常

2、適合迭代式的機(jī)器學(xué)習(xí)，以及交互式數(shù)據(jù)分析。Tachyon作為分布式的內(nèi)存文件系統(tǒng)，將內(nèi)存存儲(chǔ)的功能從Spark系統(tǒng)中分離出來，使得Spark更專注于計(jì)算，達(dá)到系統(tǒng)更高的執(zhí)行效率。
　　而如今，大數(shù)據(jù)系統(tǒng)中主流的網(wǎng)絡(luò)數(shù)據(jù)傳輸技術(shù)都是基于以太網(wǎng)的套接字編程，其上層是TCP/IP協(xié)議，這種傳統(tǒng)方式中所有的數(shù)據(jù)要在用戶緩沖區(qū)和內(nèi)核緩沖區(qū)進(jìn)行多次數(shù)據(jù)拷貝，需要極大的內(nèi)存帶寬和大量的讀寫操作，從而降低了CPU的利用率，消耗內(nèi)存帶寬，大大增加了

3、端到端的延遲網(wǎng)絡(luò)帶寬在很大程度上影響了系統(tǒng)的傳輸性能。網(wǎng)絡(luò)通信已成為大數(shù)據(jù)系統(tǒng)的一個(gè)非常關(guān)鍵的性能瓶頸和需要解決的重大問題，特別是面對網(wǎng)絡(luò)I/O密集型的應(yīng)用。
　　本文通過充分挖掘RDMA（Remote Direct Memory Access）網(wǎng)絡(luò)技術(shù)低延遲和操作系統(tǒng)旁路的特征，利用InfiniBand高性能互聯(lián)的優(yōu)勢重新構(gòu)建Spark系統(tǒng)和Tachyon系統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)通信模塊，從而提升了大數(shù)據(jù)系統(tǒng)的運(yùn)行效率，降低了CPU占用率

4、。首先，本文針對Spark系統(tǒng)中網(wǎng)絡(luò)傳輸數(shù)據(jù)Shuffle涉及的NIO通信機(jī)制，設(shè)計(jì)和實(shí)現(xiàn)了基于RDMA技術(shù)的網(wǎng)絡(luò)數(shù)據(jù)傳輸模塊，同時(shí)針對新建RDMA連接時(shí)延遲較大和消息池?cái)?shù)據(jù)傳輸速率等問題進(jìn)行優(yōu)化工作，設(shè)計(jì)了動(dòng)態(tài)建立網(wǎng)絡(luò)連接與適應(yīng)性數(shù)據(jù)消息池，從而提高高性能網(wǎng)絡(luò)的利用效率。最后通過實(shí)驗(yàn)證明了基于RDMA的Spark系統(tǒng)，不僅使得系統(tǒng)整體運(yùn)行效率得到了顯著提升，而且同時(shí)降低了系統(tǒng)平均內(nèi)存使用率和CPU占用率。其次，本文針對Tachyon系