基于比例份額準則的Symphony系統(tǒng)資源調(diào)度的設(shè)計與實現(xiàn).pdf

1、隨著信息時代的信息量呈指數(shù)型增長的趨勢，未來在龐大的數(shù)據(jù)量中提取對我們有用的信息將越來越難，因此目前對大數(shù)據(jù)的處理能力要求越來越高。分布式計算框架的計算能力是否優(yōu)秀，其最主要的一個因素就是它所設(shè)計的調(diào)度策略是否高效。為了使Symphony分布式計算軟件在計算多作業(yè)并行處理時具有更高效的計算能力，設(shè)計一種針對多作業(yè)并行計算的新型調(diào)度策略使得集群資源能夠得到更合理的分配和高效的利用。
　　本文主要設(shè)計一種基于比例份額準則的資源調(diào)度策略

2、，這種資源調(diào)度策略在多作業(yè)并行計算時能夠為每個作業(yè)分配一定比例的集群資源，這個比例值是根據(jù)用戶為每個作業(yè)設(shè)定的優(yōu)先級而制定的，并且在此調(diào)度策略上對資源的合理分配和資源的高效利用進行了優(yōu)化和改進。設(shè)計這種資源調(diào)度策略的目標是為了使多作業(yè)并行計算時能夠讓每個作業(yè)按其優(yōu)先級高低分配不同大小的集群資源并行計算，同時使有限的集群資源能夠得到更加合理的利用，從而提高集群計算能力。
　　本文主要分為集群資源分配模塊、集群資源調(diào)度模塊、集群資源借

3、用模塊，并且對每個模塊進行詳細的分析并加以實現(xiàn)。其中集群資源分配模塊首先將原有的一個資源池改成了兩種不同類型的資源池然后按照一定的算法規(guī)則計算每種類型池中應(yīng)該分配多少的slots并實際進行分配資源；集群資源調(diào)度模塊主要是根據(jù)每個作業(yè)的優(yōu)先級值的不同制定出每個作業(yè)應(yīng)該在每個資源池中占用多少比例的資源，并且對作業(yè)中的任務(wù)進行實際的調(diào)度；集群資源借用模塊是采取了資源雙向借用技術(shù)對不同類型資源池中的空閑作業(yè)進行利用，使某種類型的資源數(shù)不夠的情況