Hadoop任務(wù)調(diào)度本地化研究.pdf

1、目前，大數(shù)據(jù)處理系統(tǒng)采用基于MapReduce框架的Hadoop平臺來處理和分析數(shù)據(jù)。作業(yè)調(diào)度要選擇合適作業(yè)的合適任務(wù)進行調(diào)度，任務(wù)調(diào)度時數(shù)據(jù)本地化能減小網(wǎng)絡(luò)開銷，提高作業(yè)的執(zhí)行效率。但現(xiàn)有的任務(wù)調(diào)度方法存在不足之處，因此，研究基于數(shù)據(jù)本地化的Hadoop任務(wù)調(diào)度方法具有重要意義。
　　首先，分析了現(xiàn)有任務(wù)調(diào)度方法存在的問題。然后，設(shè)計了搶占式調(diào)度方法的總體結(jié)構(gòu)，并介紹了任務(wù)本地化的檢驗、任務(wù)剩余時間估算、任務(wù)殺死與啟動、任務(wù)啟動

2、信息清除四個模塊的功能。
　　在各個模塊的實現(xiàn)方面，任務(wù)本地化檢驗部分，給出了節(jié)點距離計算算法和任務(wù)本地化檢驗算法；任務(wù)剩余執(zhí)行時間估算部分，給出了已啟動和正準(zhǔn)備啟動任務(wù)剩余時間的估算方法；任務(wù)的殺死和啟動部分，介紹了殺死一個正在運行的任務(wù)和重新啟動一個新任務(wù)的方法；任務(wù)啟動信息清除部分，介紹了清除任務(wù)相關(guān)啟動信息的方法。
　　實驗結(jié)果表明，當(dāng)集群中節(jié)點在同一個機架內(nèi)，如果其中存在計算和傳輸速度較慢的節(jié)點時，本課題研究的調(diào)度