異構(gòu)Hadoop平臺(tái)性能分析及其調(diào)度算法優(yōu)化研究.pdf

1、由于各大IT公司在發(fā)展過(guò)程中面臨著空間、資源、計(jì)算能力和管理成本等問(wèn)題的困擾，也隨著互聯(lián)網(wǎng)和云計(jì)算技術(shù)的發(fā)展，云計(jì)算模式逐步被業(yè)界所接受。在云計(jì)算的數(shù)據(jù)中心成千上萬(wàn)或者更多臺(tái)計(jì)算節(jié)點(diǎn)或服務(wù)器組成計(jì)算機(jī)集群，這樣的集群有具大的處理能力，并且可以根據(jù)用戶(hù)的需求動(dòng)態(tài)分配計(jì)算或者存儲(chǔ)資源。云計(jì)算用戶(hù)可以通過(guò)簡(jiǎn)單、規(guī)范的接口獲取相應(yīng)的云服務(wù)，所以云計(jì)算才得以如此迅速的發(fā)展。
　　 Hadoop是Yahoo開(kāi)發(fā)的開(kāi)源云計(jì)算平臺(tái)，其為Goog

2、le云計(jì)算中MapReduce編程模型和GFS的開(kāi)源實(shí)現(xiàn)。由于Hadoop的開(kāi)源特性，使其發(fā)展相當(dāng)迅速，目前已經(jīng)有很多開(kāi)發(fā)者和學(xué)者進(jìn)行其研究，也有很多的公司在其基礎(chǔ)上開(kāi)發(fā)自己的云計(jì)算平臺(tái)。
　　 Hadoop調(diào)度器直接影響到作業(yè)執(zhí)行效率和響應(yīng)時(shí)間等技術(shù)指標(biāo)，但是現(xiàn)有的Hadoop調(diào)度器都是建立在同構(gòu)集群假設(shè)前提之下，并且沒(méi)有考慮節(jié)點(diǎn)的性能和源數(shù)據(jù)的區(qū)域性，但是實(shí)際情況并不是這樣?？紤]不同處理機(jī)計(jì)算速度，不同機(jī)器之間數(shù)據(jù)傳輸以及因

3、數(shù)據(jù)聚集帶來(lái)I/O傳輸和網(wǎng)絡(luò)消耗等問(wèn)題，如何在滿(mǎn)足用戶(hù)需求的條件下更好的分配資源成為一個(gè)重要問(wèn)題，其調(diào)度算法的優(yōu)劣直接影響到云計(jì)算架構(gòu)的工作性能和優(yōu)越性。傳統(tǒng)的MapReduce調(diào)度策略為一種事后的控制，當(dāng)出現(xiàn)straggler（慢節(jié)點(diǎn)）之后，通過(guò)啟動(dòng)備份任務(wù)的方式重新執(zhí)行慢節(jié)點(diǎn)對(duì)應(yīng)任務(wù)。雖然這種方法能完成分配的任務(wù)，但是慢節(jié)點(diǎn)的產(chǎn)生必定會(huì)很大的影響系統(tǒng)整體性能。本文考慮計(jì)算資源性能和其外部條件，利用和聲搜索算法對(duì)該計(jì)算資源的響應(yīng)時(shí)間進(jìn)