面向MapReduce的緩存感知調(diào)度平臺的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著數(shù)據(jù)爆炸時(shí)代的到來，如何高效地對TB級甚至是PB級的大規(guī)模數(shù)據(jù)進(jìn)行處理是業(yè)界急需解決的問題。在應(yīng)用需求和技術(shù)推動(dòng)下，云計(jì)算作為一種新的計(jì)算模式被提出來了，并逐步成為了IT界的主旋律，Hadoop分布式計(jì)算平臺是云計(jì)算的開源實(shí)現(xiàn)，Hadoop的主要組成部分是HDFS（Hadoop分布式文件系統(tǒng)）和MapReduce計(jì)算模型，MapReduce分布式計(jì)算框架作為云計(jì)算中處理大規(guī)模數(shù)據(jù)的利器而被各大企業(yè)廣泛應(yīng)用。然而，在實(shí)際應(yīng)用中，Map

2、Reduce還有很多有待完善的地方，尤其是在調(diào)度機(jī)制方面，包括任務(wù)分配不均等方面，同時(shí)原有的調(diào)度處理方式造成的資源和流量的浪費(fèi)。
　　本論文主要通過對IBM公司的Platform MapReduce在做迭代運(yùn)算的時(shí)候重復(fù)地從文件系統(tǒng)中調(diào)用相同的數(shù)據(jù)造成資源的浪費(fèi)和效率低的問題，通過追蹤客戶報(bào)告，進(jìn)行分析，提出了解決方案，提出功能需求包括分裂緩存需求和緩存感知調(diào)度需求，提出包括提高K-means算法效率的性能需求。這個(gè)解決方案，通過

3、對HDFS和Map任務(wù)中間的數(shù)據(jù)的調(diào)用和存儲(chǔ)進(jìn)行優(yōu)化，將作業(yè)間的相同數(shù)據(jù)存儲(chǔ)在緩存中，管理緩存信息，并且將這些緩存信息通知給主管理節(jié)點(diǎn)。減少了從HDFS文件系統(tǒng)調(diào)用數(shù)據(jù)，減少了對本地磁盤空間的占用，減少作業(yè)運(yùn)行時(shí)間，解決了海量數(shù)據(jù)在做分析時(shí)的資源浪費(fèi)和效率低的問題。
　　本論文主要包括分裂緩存和緩存感知調(diào)度兩個(gè)子系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)。分裂緩存子系統(tǒng)的設(shè)計(jì)主要包括分裂緩存的狀態(tài)判斷模塊設(shè)計(jì)，分裂緩存的注冊模塊設(shè)計(jì)，分裂緩存過期信息管理模

4、塊設(shè)計(jì)等實(shí)現(xiàn)了避免從HDFS文件系統(tǒng)中調(diào)用相同數(shù)據(jù)，并且將這部分?jǐn)?shù)據(jù)存儲(chǔ)在內(nèi)存緩存中，對緩存中的分裂緩存信息進(jìn)行管理。緩存感知調(diào)度子系統(tǒng)的設(shè)計(jì)主要包括SSM（Session Management,服務(wù)會(huì)話管理）與MRSS（MapReduce Shuttle Server,MapReduce的洗牌服務(wù)）連接模塊設(shè)計(jì)，MRSS存儲(chǔ)更新模塊設(shè)計(jì)，SSM存儲(chǔ)更新模塊設(shè)計(jì)，SSM調(diào)度模塊設(shè)計(jì)和連接可靠性模塊設(shè)計(jì)等實(shí)現(xiàn)在集群操作環(huán)境中，主管理節(jié)點(diǎn)可

5、以獲知計(jì)算節(jié)點(diǎn)的分裂緩存信息，得到有分裂緩存信息的機(jī)器列表，進(jìn)而當(dāng)Map作業(yè)到來時(shí)合理地調(diào)度資源，實(shí)現(xiàn)資源的使用優(yōu)化和提高處理數(shù)據(jù)的效率。
　　本論文進(jìn)行了系統(tǒng)測試，開啟分裂緩存與緩存感知調(diào)度的功能時(shí)，迭代運(yùn)算的大規(guī)模數(shù)據(jù)作業(yè)的運(yùn)行速度有明顯的提高，作業(yè)運(yùn)行所用的時(shí)間大幅減少。另外，對Hadoop的性能進(jìn)行了測試，相對于標(biāo)準(zhǔn)的Hadoop，集群的性能提高了33％左右，并且提高了K-means算法的效率。通過了測試，并且滿足了需求。