Mesos平臺下多資源調(diào)度算法的研究與改進.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展和大數(shù)據(jù)處理的迫切需要，國內(nèi)外越來越多的IT企業(yè)研發(fā)出各種基于數(shù)據(jù)密集型應(yīng)用的計算框架。企業(yè)通常希望將多種計算框架部署到同一個集群環(huán)境中，共享集群內(nèi)的資源和數(shù)據(jù)，并對集群資源進行統(tǒng)一的管理和調(diào)度。
　　Apache Mesos正是這樣的一個集群資源管理與調(diào)度系統(tǒng)。它提供了可伸縮的兩級資源調(diào)度機制，使 Mesos非常容易進行擴展。根據(jù)Mesos提供的編程接口，很容易就能實現(xiàn)將不同語言編寫的各種應(yīng)用遷移到 Meso

2、s平臺之上，從而充分利用Mesos帶來的資源高利用率。
　　DRF是Mesos默認的資源分配算法，能在多類型資源的集群環(huán)境中進行資源公平分配，但DRF算法沒有考慮因計算機性能的差異而導(dǎo)致的資源分配不公平性的問題。本文在研究DRF多資源公平分配算法的基礎(chǔ)上，設(shè)計并實現(xiàn)了增加機器性能評估影響因子的meDRF分配算法。將計算結(jié)點的機器性能得分，作為DRF主導(dǎo)份額計算的因子，使得計算任務(wù)有均等的機會獲得優(yōu)質(zhì)計算資源和低質(zhì)量計算資源。具體工

3、作如下：
　　首先闡述了 Mesos產(chǎn)生的背景以及意義，并詳細分析了 Mesos平臺的系統(tǒng)架構(gòu)、資源分配、資源隔離、容錯機制以及它的生態(tài)環(huán)境。
　　接著描述了DRF多資源公平分配算法的產(chǎn)生背景，以及DRF算法兩個重要的概念：主導(dǎo)資源和主導(dǎo)份額。并重點分析了DRF算法的核心思想以及算法的實現(xiàn)步驟，以及通過源代碼分析了DRF算法的具體實現(xiàn)過程。
　　最后分析了DRF分配算法在異構(gòu)集群環(huán)境下，沒有考慮因計算機性能的差異而導(dǎo)致