數(shù)據(jù)局部性感知的Hadoop任務(wù)調(diào)度器.pdf

1、任務(wù)調(diào)度是分布式并行計(jì)算平臺(tái)，如 Hadoop、Dryad等，最核心的功能。任務(wù)調(diào)度結(jié)果的優(yōu)劣極大地影響著系統(tǒng)吞吐率、計(jì)算集群的資源利用率以及作業(yè)的性能。同時(shí)，由于計(jì)算集群的異構(gòu)性、負(fù)載的動(dòng)態(tài)可變性以及任務(wù)特征的多樣性等原因，也使得調(diào)度問(wèn)題成為了分布式集群中最困難的問(wèn)題之一。本文在大量地研究了當(dāng)前的分布式并行計(jì)算平臺(tái)中的各種調(diào)度算法的基礎(chǔ)上，深入研究了當(dāng)前Hadoop系統(tǒng)中的任務(wù)調(diào)度算法的優(yōu)缺點(diǎn)，特別針對(duì)MapReduce的資源再分配過(guò)

2、程進(jìn)行了改進(jìn)和優(yōu)化：
　　1）針對(duì)當(dāng)前Hadoop系統(tǒng)在Map任務(wù)的調(diào)度時(shí)采用的基于隊(duì)列的任務(wù)調(diào)度方式所存在的缺點(diǎn)（數(shù)據(jù)本地化程度不能達(dá)到最佳），將調(diào)度問(wèn)題重新映射為一個(gè)流網(wǎng)絡(luò)并且通過(guò)對(duì)流網(wǎng)絡(luò)的最大流求解，以獲得在節(jié)省網(wǎng)絡(luò)開(kāi)銷(xiāo)方面更優(yōu)的調(diào)度方案。
　　2）在1）的基礎(chǔ)上對(duì)算法進(jìn)一步細(xì)化和改進(jìn)，考慮任務(wù)對(duì)節(jié)點(diǎn)的偏好度，以達(dá)到進(jìn)一步降低網(wǎng)絡(luò)開(kāi)銷(xiāo)的目的。
　　3）核心路由器的帶寬往往是限制數(shù)據(jù)傳輸速率的最主要的因素，本文通過(guò)