大規(guī)模分布式可信監(jiān)控系統(tǒng)研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展,計算模式也不斷的發(fā)生著重大的變革,近年來先后出現(xiàn)了網(wǎng)格,廣域網(wǎng)P2P,云計算系統(tǒng)等等,這些都是大規(guī)模的網(wǎng)絡(luò)計算系統(tǒng)典型代表。然而網(wǎng)絡(luò)計算系統(tǒng)在不斷發(fā)展和演化的同時,也遇到了不少新的挑戰(zhàn)。諸如現(xiàn)代軍事,金融,航天航空,電力,工業(yè)制造甚至于民用互聯(lián)網(wǎng)應(yīng)用等領(lǐng)域?qū)W(wǎng)絡(luò)計算系統(tǒng)的要求越來越高,不僅僅要求系統(tǒng)能夠提供快速處理各種應(yīng)用業(yè)務(wù)的功能,也要求系統(tǒng)能夠持續(xù)地提供高可靠,高可用,低耗費,低成本等特點的高質(zhì)量服務(wù)。但是,

2、即便在計算機應(yīng)用水平高度成熟,應(yīng)用范圍高度普及的現(xiàn)代社會,仍然存在大量服務(wù)失敗的情況。因此,如何為網(wǎng)絡(luò)應(yīng)用提供高可信性(Dependability)的支持,也就成為分布式計算技術(shù)應(yīng)用與發(fā)展的關(guān)鍵。面向這些新的要求,學(xué)術(shù)界以及工業(yè)界做了大量的基礎(chǔ)性研究,本文針對可信計算中大規(guī)模分布式可信監(jiān)控的若干問題展開探討和研究。在對已有的相關(guān)技術(shù)及研究成果總結(jié)和深入分析的基礎(chǔ)上,提出了在大規(guī)模分布式計算環(huán)境中的可信監(jiān)控系統(tǒng)的體系結(jié)構(gòu)以及監(jiān)控策略,并設(shè)

3、計了相應(yīng)的自組織式的監(jiān)控模式以及相關(guān)自組織算法、異常消息散播算法、系統(tǒng)異常檢測算法,最后實現(xiàn)了一個自組織式的原型系統(tǒng)。具體研究工作如下:
　　 ①針對大規(guī)模分布式系統(tǒng)的特點,分析總結(jié)了其在可信監(jiān)控方面面臨的問題;根據(jù)現(xiàn)代開放性網(wǎng)絡(luò)分布式系統(tǒng)的特點,提出了開放網(wǎng)絡(luò)環(huán)境下的分布式監(jiān)控的類型以及系統(tǒng)監(jiān)控與上層應(yīng)用相分離的監(jiān)控體系結(jié)構(gòu);建立了可信監(jiān)控數(shù)據(jù)采集、異常分析、可信策略控制、組成員管理、監(jiān)控消息發(fā)布等模塊的總體監(jiān)控架構(gòu),并給出了

4、監(jiān)控系統(tǒng)的運行流程;
　　 ②將傳統(tǒng)的故障檢測含義進行了擴展,在基于時間預(yù)測的故障檢測基礎(chǔ)之上,把系統(tǒng)異常檢測也包含在故障檢測之內(nèi),形成對系統(tǒng)的綜合可信監(jiān)測;提出了針對大規(guī)模分布式系統(tǒng)的分鄰域自組織可信監(jiān)測協(xié)議,設(shè)計并分析了相關(guān)算法;分析了傳統(tǒng)的Gossip協(xié)議在故障檢測方面的優(yōu)缺點,提出了基于自組織式的Gossip監(jiān)測算法,并將其進一步改進為基于異步散播的可信監(jiān)測算法。仿真實驗表明,在監(jiān)控的準確性方面分鄰域的自組織可信監(jiān)測更優(yōu)

5、,且在通信耗費方面取得了較大進步。而基于異步散播的可信監(jiān)控算法有效地降低了監(jiān)測控的時間耗費,增強了大規(guī)模分布式系統(tǒng)監(jiān)控的實時性和fail-stop類型故障檢測的準確性。
　　 ③針對傳統(tǒng)△t故障檢測方法僅對fail-stop類型的故障進行監(jiān)測的局限性,從模式識別的角度考慮系統(tǒng)的運行狀態(tài)的變化,以多維可信監(jiān)測指標向量作為異常判別的輸入,利用降維技術(shù)以及原始樣本數(shù)據(jù)最大分散化的思想設(shè)計了基于PCA的異常判別算法;結(jié)合高維數(shù)據(jù)向低維空

6、間映射時存在內(nèi)部流形結(jié)構(gòu)的特點提出了PCLPP異常判別算法;利用樣本分類標簽進行監(jiān)督學(xué)習(xí)的Fisher判別分析的優(yōu)點并結(jié)合流形學(xué)習(xí)提出了DLPP異常判別算法。仿真實驗表明,基于模式識別的異常監(jiān)測算法能有效地識別出包含系統(tǒng)固有缺陷及惡意故障引起的系統(tǒng)異常,識別精度較高,滿足分布式系統(tǒng)中可信監(jiān)控的實際需求,并且在樣本的控制方面也有突出表現(xiàn)。
　　 ④設(shè)計了大規(guī)模分布式可信監(jiān)控的原型系統(tǒng),對系統(tǒng)中每個組件的實現(xiàn)過程給出了詳細的介紹;在