基于I-O高效性的MapReduce系統(tǒng).pdf

1、當(dāng)今,隨著數(shù)據(jù)的不斷增長(zhǎng),MapReduce計(jì)算框架越來(lái)越多的用于海量數(shù)據(jù)的分析和處理。Apache Hadoop是目前最流行的基于MapReduce計(jì)算框架的分布式數(shù)據(jù)處理系統(tǒng)。然而硬件配置之間的發(fā)展鴻溝極大的影響了Hadoop系統(tǒng)的性能。在中小型公司、高校以及高性能計(jì)算中心,這些機(jī)構(gòu)的硬件配置極度的不合理。通過(guò)在高性能計(jì)算中心運(yùn)行Hadoop作業(yè)發(fā)現(xiàn):CPU資源不能充分的利用,I/O上存在著很高的響應(yīng)時(shí)延。
　　I/O瓶頸是H

2、adoop中一個(gè)急需解決的問(wèn)題。在hadoop作業(yè)整個(gè)運(yùn)行的過(guò)程中,shuffle階段占據(jù)了大部分時(shí)間,也是I/O集中的地方,涵蓋了網(wǎng)絡(luò)I/O和磁盤(pán)I/O。特別是對(duì)于中間數(shù)據(jù)比較大的應(yīng)用,shuffle階段的運(yùn)行時(shí)間基本就是執(zhí)行各種I/O操作的時(shí)間。為了改善系統(tǒng)的現(xiàn)狀,推出了Dumbo系統(tǒng)。系統(tǒng)將shuffle階段的各個(gè)子階段細(xì)化,并在此基礎(chǔ)上設(shè)計(jì)全局的作業(yè)運(yùn)行流水線(xiàn),將原有hadoop中reduce數(shù)據(jù)的拉取策略改為map主動(dòng)推送策略

3、,同時(shí)輔助高效的I/O和內(nèi)存管理,將最大限度的緩解Hadoop系統(tǒng)中的I/O瓶頸問(wèn)題,從而提升系統(tǒng)的整體性能。由于原有hadoop的可用性、容錯(cuò)性以及可擴(kuò)展性等是經(jīng)過(guò)實(shí)踐檢驗(yàn)的,而本系統(tǒng)并未改變hadoop的上層調(diào)度管理策略,因此能過(guò)很好的適配Hadoop上的應(yīng)用,屏蔽了對(duì)上層應(yīng)用的影響,對(duì)于通用的應(yīng)用有很好的性能提升。
　　通過(guò)組織有代表性的Hadoop應(yīng)用在本系統(tǒng)上的實(shí)驗(yàn),表明了Dumbo系統(tǒng)對(duì)于I/O密集型的應(yīng)用的性能具有極