基于Hadoop的分布式計算系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、本文對如何快速處理大量數(shù)據(jù)進行了研究，目的是構(gòu)造一個規(guī)模小，成本低、性能高、風(fēng)險小的分布式計算系統(tǒng)。將分布式計算與并行計算融合在一起，面向Windows開發(fā)，運行在小型、安全的局域網(wǎng)內(nèi)，快速處理大量數(shù)據(jù)，解決傳統(tǒng)計算框架不利于擴展，單臺設(shè)備的計算瓶頸問題。
　　本文在研究Hadoop框架的基礎(chǔ)上提出了構(gòu)建本系統(tǒng)的兩大服務(wù):分布式存儲服務(wù)和分布式計算服務(wù)。系統(tǒng)采用三層架構(gòu)設(shè)計來支撐整個集群的運行，Master負(fù)責(zé)全局信息掌控，Job

2、負(fù)責(zé)調(diào)度任務(wù)，Task負(fù)責(zé)數(shù)據(jù)存儲和計算。支持用戶上傳自定義格式的數(shù)據(jù)，不對原數(shù)據(jù)進行二次切分，可支持某些特定原生數(shù)據(jù)類型的計算。開放算法API，并對傳統(tǒng)MapReduce框架作了擴展，計算時可攜帶其它數(shù)據(jù)源，方便數(shù)據(jù)交互處理。Reduce過程本地化，節(jié)省Map中間數(shù)據(jù)的網(wǎng)絡(luò)傳送時間。通過調(diào)度服務(wù)的合并接口匯總最終計算結(jié)果，將計算壓力分散，充分利用集群內(nèi)機器。采取添加動態(tài)鏈接庫(DLL文件)的形式支持用戶嵌入自定義算法，算法預(yù)先存儲在T

3、ask節(jié)點，節(jié)省啟動時間。默認(rèn)集群內(nèi)計算機具有一定的可靠性，簡化容災(zāi)設(shè)計。在計算時對硬件資源的使用策略是搶占式的，單機在執(zhí)行任務(wù)時根據(jù)配置文件預(yù)加載緩存，加快下一次計算。數(shù)據(jù)塊數(shù)量決定線程數(shù)量，在線程安全范圍內(nèi)開啟多線程，高并發(fā)，充分發(fā)揮CPU性能。最后針對本次實現(xiàn)的分布式計算系統(tǒng)，構(gòu)造了兩類測試算法:一類是與Hadoop集群作對比的WordCount算法，另一類是體現(xiàn)數(shù)據(jù)交互操作的圖像比對算法。通過分析測試數(shù)據(jù)驗證了本系統(tǒng)對小數(shù)據(jù)量計