基于預測的Hadoop任務調(diào)度算法優(yōu)化.pdf

1、在出現(xiàn)落后任務時，現(xiàn)有的Hadoop推測式執(zhí)行任務調(diào)度器會在空閑節(jié)點上為該任務進行備份執(zhí)行，但并未周全地考慮該空閑節(jié)點的當前性能，可能造成這次備份任務仍然失敗或執(zhí)行速度非常慢，導致執(zhí)行備份任務的失敗率較高，不僅占用較多系統(tǒng)資源并且延遲了系統(tǒng)響應時間。因此，研究現(xiàn)有的Hadoop任務調(diào)度算法，針對備份任務的調(diào)度執(zhí)行提出改進方案，對提高系統(tǒng)性能有非常重要的意義。
　　提出了基于預測的Hadoop任務調(diào)度優(yōu)化算法——CPL（Comput

2、ation Prediction of Late）調(diào)度算法，主要包含兩個優(yōu)化點：首先，在系統(tǒng)中維護兩個預測隊列，分別為CPU空閑型節(jié)點隊列和I/O空閑型節(jié)點隊列。隊列內(nèi)部按執(zhí)行任務失敗率升序排序，在匹配任務和節(jié)點類型的基礎上，預測即將空閑且失敗率低的節(jié)點執(zhí)行備份任務，降低了執(zhí)行備份任務的失敗率；其次，利用Map任務占用CPU時間片段的總和對現(xiàn)有的任務分類算法進行了修正，提出了更加準確的任務類型劃分方法。
　　通過CloudSim云