Hadoop作業(yè)調(diào)度算法分析與優(yōu)化.pdf

1、隨著技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)的使用人群急劇增長，數(shù)字化信息呈爆炸性增長，大數(shù)據(jù)的分析處理成為研究的熱點。仿照Google公司MapReduce計算模型和GFS文件系統(tǒng)設(shè)計思想實現(xiàn)的Hadoop開源軟件迅速發(fā)展并成為大數(shù)據(jù)處理的首選工具。Hadoop平臺為用戶提供了方便的編程接口并合理安排用戶作業(yè)的調(diào)度執(zhí)行，用戶只需專注于map和reduce處理過程。作業(yè)調(diào)度器合理安排作業(yè)任務(wù)的執(zhí)行來合理利用集群計算資源，是Hadoop平臺的核心模塊之一，

2、目前有FIFO調(diào)度算法、計算能力調(diào)度算法和公平份額調(diào)度算法三種實現(xiàn)供選擇使用。FIFO調(diào)度算法思想簡單，易于實現(xiàn)，但不支持多用戶多作業(yè)共享集群資源，計算能力調(diào)度算法和公平份額調(diào)度算法實現(xiàn)了多用戶多作業(yè)對集群資源的共享，提高系統(tǒng)吞吐率，降低作業(yè)響應(yīng)時間，但需要系統(tǒng)管理員對集群資源狀況和用戶和作業(yè)類型有充分了解從而合理進行各項配置。
　　本文在介紹國內(nèi)外 Hadoop作業(yè)調(diào)度研究現(xiàn)狀的基礎(chǔ)上，分析 Hadoop現(xiàn)有各調(diào)度算法設(shè)計思想與

3、調(diào)度策略并針對公平調(diào)度算法中 slot資源分配方法提出改進，然后分析了各調(diào)度算法的優(yōu)缺點并指出現(xiàn)有調(diào)度算法難以正確配置的不足，提出了基于貝葉斯分類的作業(yè)調(diào)度算法，該算法通過貝葉斯學(xué)習與分類讓作業(yè)在計算節(jié)點上的運行盡可能使計算節(jié)點不過載，在此基礎(chǔ)上，對作業(yè)進行資源需求分類預(yù)處理，使CPU密集型作業(yè)和I/O密集型作業(yè)得到合理調(diào)度，從而更高效利用計算資源。主要研究內(nèi)容如下：
　?。?）分析Hadoop中FIFO調(diào)度算法、計算能力調(diào)度算法

4、和公平調(diào)度算法的算法核心思想、使用配置并給出了偽碼和流程圖形式的算法描述、復(fù)雜度分析和算法特點及優(yōu)缺點分析。同時，對公平調(diào)度算法的slot資源分配方法進行了改進，在原有slot資源分配方法基礎(chǔ)上增加對剩余slot資源的盡可能平均分配，使得各資源池獲得更為公平的份額。
　?。?）為克服使用現(xiàn)有調(diào)度算法時難以正確配置的不足，提出基于貝葉斯分類的作業(yè)調(diào)度算法，該算法通過分析作業(yè)任務(wù)執(zhí)行歷史信息將作業(yè)對資源使用的特征和計算節(jié)點的資源狀態(tài)特

5、征構(gòu)造貝葉斯分類器，在學(xué)習作業(yè)任務(wù)執(zhí)行時資源使用歷史信息將作業(yè)在某計算節(jié)點分為可調(diào)度和不可調(diào)度兩類，使得作業(yè)任務(wù)在計算節(jié)點上的執(zhí)行盡可能不使計算節(jié)點過載，從而提高調(diào)度準確率并使得計算資源得到合理使用。
　?。?）為進一步提高計算節(jié)點的資源使用率，將作業(yè)按照資源需求類型情況分為CPU密集型作業(yè)和I/O密集型作業(yè)的預(yù)處理，進行分類調(diào)度使得計算資源得到更充分的利用。
　?。?）結(jié)合實驗對該算法的作業(yè)任務(wù)調(diào)度準確率、作業(yè)響應(yīng)時間、集