分布式文件系統(tǒng)管理和監(jiān)控平臺(tái)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)和移動(dòng)信息化的快速發(fā)展，各種業(yè)務(wù)數(shù)據(jù)爆炸性增長(zhǎng)。不停產(chǎn)生的海量數(shù)據(jù)需要被存儲(chǔ)，并需要被高速訪問(wèn)。傳統(tǒng)的集中式存儲(chǔ)已經(jīng)很難滿足這樣的需求，分布式存儲(chǔ)系統(tǒng)也應(yīng)運(yùn)而生。高吞吐量、更高的性價(jià)比、更加可靠、部署友好、易于擴(kuò)展，這是正是現(xiàn)在的互聯(lián)網(wǎng)分布式存儲(chǔ)的主要特性。
　　HDFS正是這樣一個(gè)分布式存儲(chǔ)系統(tǒng)。它提供了無(wú)可匹敵的收集和存儲(chǔ)功能，但是隨著集群規(guī)模的增大，集群的部署，升級(jí)和維護(hù)變得越加艱難，維護(hù)人員不得不花費(fèi)寶貴的時(shí)間來(lái)

2、做一些重復(fù)而繁瑣的工作。因此，在使用了基于HDFS的分布式文件系統(tǒng)之后，使用者有必要對(duì)HDFS的管理和監(jiān)控進(jìn)行研究，開發(fā)出一套簡(jiǎn)單可靠的分布式文件系統(tǒng)管理和監(jiān)控解決方案。
　　論文以實(shí)際工程項(xiàng)目為背景，在深入分析研究現(xiàn)有集群監(jiān)控技術(shù)和自動(dòng)化部署技術(shù)的基礎(chǔ)上，在監(jiān)控方面提出了通過(guò)補(bǔ)充和修改Hadoop監(jiān)控模塊源代碼以實(shí)現(xiàn)內(nèi)置的監(jiān)控客戶端的可行性和實(shí)現(xiàn)方法，在自動(dòng)化部署方面提出了基于對(duì)等計(jì)算模型的集群部署方法，并在此基礎(chǔ)上設(shè)計(jì)了分布式

3、文件系統(tǒng)管理和監(jiān)控平臺(tái)的系統(tǒng)框架。整個(gè)框架由管理子系統(tǒng)和監(jiān)控子系統(tǒng)兩大部分組成。管理子系統(tǒng)包括集群部署，集群配置管理和集群管理三個(gè)模塊，本文主要介紹集群部署模塊。集群部署模塊包括文件服務(wù)器和文件客戶端。監(jiān)控子系統(tǒng)包括監(jiān)控客戶端和監(jiān)控服務(wù)器兩個(gè)部分。在此系統(tǒng)框架下論文詳細(xì)介紹了系統(tǒng)的詳細(xì)設(shè)計(jì)和實(shí)現(xiàn)。
　　通過(guò)測(cè)試，驗(yàn)證了系統(tǒng)的有效性和正確性。與其他同類產(chǎn)品相比，本文提出的系統(tǒng)經(jīng)過(guò)高度定制，能獲取自定義的監(jiān)控信息，更適合監(jiān)控和管理HD