分布式計(jì)算環(huán)境中的性能異常預(yù)測(cè)監(jiān)控.pdf

1、近十幾年來(lái),分布式系統(tǒng)環(huán)境得到了廣泛的關(guān)注和研究。分布式計(jì)算將需要龐大計(jì)算資源的問(wèn)題分割成若干子問(wèn)題,這些子問(wèn)題再由系統(tǒng)中的多個(gè)計(jì)算機(jī)分別進(jìn)行處理,各個(gè)計(jì)算機(jī)處理的結(jié)果集中整合到一起成為一個(gè)最終的結(jié)果,由于一個(gè)巨大的問(wèn)題需要多個(gè)計(jì)算機(jī)合作進(jìn)行解決,因此計(jì)算的可靠性和有效性成了人們的關(guān)注目標(biāo)。為了提高分布式環(huán)境的可靠性,傳統(tǒng)的方法是通過(guò)使用基于冗余部件的高可用性(HA)技術(shù)來(lái)保證持續(xù)的服務(wù),在出現(xiàn)節(jié)點(diǎn)失效的情況下,將該節(jié)點(diǎn)上的應(yīng)用立即遷移

2、到冗余節(jié)點(diǎn)上。但是,如果使用預(yù)測(cè)機(jī)制在節(jié)點(diǎn)失效之前及時(shí)地發(fā)現(xiàn)系統(tǒng)中的異常,根據(jù)異常的級(jí)別和相關(guān)的維護(hù)機(jī)制,可以有效地避免節(jié)點(diǎn)意外中止,因此可以更大程度地高分布式環(huán)境的可靠性。在實(shí)際情況中,性能異常預(yù)測(cè)可以應(yīng)用到多方領(lǐng)域中減少不要的損失,根據(jù)需要達(dá)成特定的監(jiān)控目的。機(jī)器的性能主要可以反映為 CPU負(fù)載、內(nèi)存使用率、磁盤(pán)使用率等,因此,本文主要研究這些數(shù)據(jù)所形成的時(shí)間序列異常預(yù)測(cè)的技術(shù)。
　　目前,在異常研究領(lǐng)域,盡管已經(jīng)有不少有關(guān)性

3、能異常探測(cè)技術(shù),但性能異常預(yù)測(cè)卻尚未得到廣泛研究。異常探測(cè)只能在異常已經(jīng)發(fā)生之后對(duì)其進(jìn)行檢測(cè)分析,而異常預(yù)測(cè)技術(shù)才是真正避免異常發(fā)生的關(guān)鍵所在。
　　針對(duì)這些問(wèn)題,本文提出了兩類異常預(yù)測(cè)模型——單變量的異常預(yù)測(cè)算法和多變量的異常預(yù)測(cè)算法。其中,單變量的異常預(yù)測(cè)算法采用單個(gè)性能度量作為預(yù)測(cè)對(duì)象,通過(guò)尋找最相似模式與機(jī)器學(xué)習(xí)結(jié)合的方法,對(duì)異常的預(yù)兆進(jìn)行判斷。多變量的異常預(yù)測(cè)算法則同時(shí)觀察系統(tǒng)的多個(gè)度量,綜合考慮多方面因素,通過(guò)改進(jìn)的基

4、于KNN的方法對(duì)異常進(jìn)行預(yù)測(cè)。除此以外,對(duì)每一種算法本文都設(shè)計(jì)了一系列實(shí)驗(yàn),從多角度來(lái)檢驗(yàn)各算法的準(zhǔn)確性,在各實(shí)驗(yàn)中,本文將算法結(jié)果與前人的算法實(shí)驗(yàn)結(jié)果想對(duì)比,比較各自算法的長(zhǎng)處和不足。
　　在本文的最后,介紹了名為“基于語(yǔ)義事件的分布式監(jiān)控系統(tǒng)”的分布式監(jiān)控模型,該系統(tǒng)是一種全新的監(jiān)控系統(tǒng),它用語(yǔ)義的形式來(lái)發(fā)布監(jiān)控信息,而語(yǔ)義事件可由用戶自行定義,這樣使得該系統(tǒng)更加靈活并且易于擴(kuò)展。此外,我們還將以上兩類異常監(jiān)控模型整合到該系統(tǒng)