大規(guī)模分布式可信監(jiān)控系統(tǒng)研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展,計(jì)算模式也不斷的發(fā)生著重大的變革,近年來先后出現(xiàn)了網(wǎng)格,廣域網(wǎng)P2P,云計(jì)算系統(tǒng)等等,這些都是大規(guī)模的網(wǎng)絡(luò)計(jì)算系統(tǒng)典型代表。然而網(wǎng)絡(luò)計(jì)算系統(tǒng)在不斷發(fā)展和演化的同時(shí),也遇到了不少新的挑戰(zhàn)。諸如現(xiàn)代軍事,金融,航天航空,電力,工業(yè)制造甚至于民用互聯(lián)網(wǎng)應(yīng)用等領(lǐng)域?qū)W(wǎng)絡(luò)計(jì)算系統(tǒng)的要求越來越高,不僅僅要求系統(tǒng)能夠提供快速處理各種應(yīng)用業(yè)務(wù)的功能,也要求系統(tǒng)能夠持續(xù)地提供高可靠,高可用,低耗費(fèi),低成本等特點(diǎn)的高質(zhì)量服務(wù)。但是,

2、即便在計(jì)算機(jī)應(yīng)用水平高度成熟,應(yīng)用范圍高度普及的現(xiàn)代社會(huì),仍然存在大量服務(wù)失敗的情況。因此,如何為網(wǎng)絡(luò)應(yīng)用提供高可信性(Dependability)的支持,也就成為分布式計(jì)算技術(shù)應(yīng)用與發(fā)展的關(guān)鍵。面向這些新的要求,學(xué)術(shù)界以及工業(yè)界做了大量的基礎(chǔ)性研究,本文針對(duì)可信計(jì)算中大規(guī)模分布式可信監(jiān)控的若干問題展開探討和研究。在對(duì)已有的相關(guān)技術(shù)及研究成果總結(jié)和深入分析的基礎(chǔ)上,提出了在大規(guī)模分布式計(jì)算環(huán)境中的可信監(jiān)控系統(tǒng)的體系結(jié)構(gòu)以及監(jiān)控策略,并設(shè)

3、計(jì)了相應(yīng)的自組織式的監(jiān)控模式以及相關(guān)自組織算法、異常消息散播算法、系統(tǒng)異常檢測算法,最后實(shí)現(xiàn)了一個(gè)自組織式的原型系統(tǒng)。具體研究工作如下:
　　 ①針對(duì)大規(guī)模分布式系統(tǒng)的特點(diǎn),分析總結(jié)了其在可信監(jiān)控方面面臨的問題;根據(jù)現(xiàn)代開放性網(wǎng)絡(luò)分布式系統(tǒng)的特點(diǎn),提出了開放網(wǎng)絡(luò)環(huán)境下的分布式監(jiān)控的類型以及系統(tǒng)監(jiān)控與上層應(yīng)用相分離的監(jiān)控體系結(jié)構(gòu);建立了可信監(jiān)控?cái)?shù)據(jù)采集、異常分析、可信策略控制、組成員管理、監(jiān)控消息發(fā)布等模塊的總體監(jiān)控架構(gòu),并給出了

4、監(jiān)控系統(tǒng)的運(yùn)行流程;
　　 ②將傳統(tǒng)的故障檢測含義進(jìn)行了擴(kuò)展,在基于時(shí)間預(yù)測的故障檢測基礎(chǔ)之上,把系統(tǒng)異常檢測也包含在故障檢測之內(nèi),形成對(duì)系統(tǒng)的綜合可信監(jiān)測;提出了針對(duì)大規(guī)模分布式系統(tǒng)的分鄰域自組織可信監(jiān)測協(xié)議,設(shè)計(jì)并分析了相關(guān)算法;分析了傳統(tǒng)的Gossip協(xié)議在故障檢測方面的優(yōu)缺點(diǎn),提出了基于自組織式的Gossip監(jiān)測算法,并將其進(jìn)一步改進(jìn)為基于異步散播的可信監(jiān)測算法。仿真實(shí)驗(yàn)表明,在監(jiān)控的準(zhǔn)確性方面分鄰域的自組織可信監(jiān)測更優(yōu)

5、,且在通信耗費(fèi)方面取得了較大進(jìn)步。而基于異步散播的可信監(jiān)控算法有效地降低了監(jiān)測控的時(shí)間耗費(fèi),增強(qiáng)了大規(guī)模分布式系統(tǒng)監(jiān)控的實(shí)時(shí)性和fail-stop類型故障檢測的準(zhǔn)確性。
　　 ③針對(duì)傳統(tǒng)△t故障檢測方法僅對(duì)fail-stop類型的故障進(jìn)行監(jiān)測的局限性,從模式識(shí)別的角度考慮系統(tǒng)的運(yùn)行狀態(tài)的變化,以多維可信監(jiān)測指標(biāo)向量作為異常判別的輸入,利用降維技術(shù)以及原始樣本數(shù)據(jù)最大分散化的思想設(shè)計(jì)了基于PCA的異常判別算法;結(jié)合高維數(shù)據(jù)向低維空

6、間映射時(shí)存在內(nèi)部流形結(jié)構(gòu)的特點(diǎn)提出了PCLPP異常判別算法;利用樣本分類標(biāo)簽進(jìn)行監(jiān)督學(xué)習(xí)的Fisher判別分析的優(yōu)點(diǎn)并結(jié)合流形學(xué)習(xí)提出了DLPP異常判別算法。仿真實(shí)驗(yàn)表明,基于模式識(shí)別的異常監(jiān)測算法能有效地識(shí)別出包含系統(tǒng)固有缺陷及惡意故障引起的系統(tǒng)異常,識(shí)別精度較高,滿足分布式系統(tǒng)中可信監(jiān)控的實(shí)際需求,并且在樣本的控制方面也有突出表現(xiàn)。
　　 ④設(shè)計(jì)了大規(guī)模分布式可信監(jiān)控的原型系統(tǒng),對(duì)系統(tǒng)中每個(gè)組件的實(shí)現(xiàn)過程給出了詳細(xì)的介紹;在