基于HPM的軟件性能與狀態(tài)分析研究.pdf

1、計(jì)算機(jī)軟件性能分析及優(yōu)化在科學(xué)研究和大型工程應(yīng)用中有著重要的作用。軟件性能的改善從經(jīng)濟(jì)上可以節(jié)約大量的財(cái)力和物力，避免不必要的硬件系統(tǒng)升級(jí)和軟件系統(tǒng)的變革性升級(jí)；從技術(shù)上，可以探索計(jì)算機(jī)系統(tǒng)的性能特征，性能極限，為工業(yè)生產(chǎn)提供有力的支持。 另一方面，各個(gè)廠(chǎng)商和系統(tǒng)運(yùn)營(yíng)商，如移動(dòng)、電信運(yùn)營(yíng)商等，希望可以對(duì)應(yīng)用服務(wù)系統(tǒng)以盡可能低的成本和運(yùn)行代價(jià)進(jìn)行有效的在線(xiàn)監(jiān)控和性能分析，并智能決策軟件的當(dāng)前的性能情況和軟件的動(dòng)態(tài)運(yùn)行狀態(tài)情況，從而

2、為系統(tǒng)的升級(jí)和維護(hù)提供準(zhǔn)確的具有說(shuō)服力的數(shù)據(jù)和支持，以此達(dá)到向客戶(hù)提供更好的服務(wù)的目的。 現(xiàn)代計(jì)算機(jī)和CPU設(shè)計(jì)中，CPU片內(nèi)的寄存器、一級(jí)高速緩存（Level 1 Cache）和二級(jí)高速緩存（Level 2 Cache），主板上的三級(jí)高速緩沖，再加上主存，外存（硬盤(pán)、軟盤(pán)、電子盤(pán)等），構(gòu)成了現(xiàn)代計(jì)算機(jī)的多級(jí)存儲(chǔ)體系結(jié)構(gòu)。這種多級(jí)存儲(chǔ)層次的速度則根據(jù)距離CPU核心運(yùn)算單元的近遠(yuǎn)，呈現(xiàn)出逐級(jí)按級(jí)數(shù)遞減，成本逐級(jí)遞增的特性?，F(xiàn)在的軟

3、件性能分析及其相關(guān)的性能優(yōu)化，除了程序本身算法之外，幾乎所有的分析和優(yōu)化都是在這樣一個(gè)多級(jí)的存儲(chǔ)體系結(jié)構(gòu)上進(jìn)行的，試圖盡可能地利用近端的存儲(chǔ)，期望達(dá)到一個(gè)接近線(xiàn)速的計(jì)算性能，即計(jì)算的性能僅由CPU的處理速度決定，與其他外設(shè)和數(shù)據(jù)存儲(chǔ)無(wú)關(guān)。 為了對(duì)CPU的生產(chǎn)和性能分析給出精確的性能數(shù)據(jù)，現(xiàn)代的CPU的生產(chǎn)廠(chǎng)家大多數(shù)都在自己的CPU設(shè)計(jì)中，加入以并行采集方式的具有特殊用途的寄存器，記錄CPU在運(yùn)行過(guò)程中的一些動(dòng)態(tài)性能數(shù)據(jù)，如Lev

4、e1 1 Cache Misses, Branches Mispredicts, TLB(Translate Lookaside Buffer) Misses, Instruction Loads，這些寄存器就是硬件性能計(jì)數(shù)器（Hardware Performance counter Monitor，HPM）[1] [2] [3] [4]，也稱(chēng)HPM事件。這些性能數(shù)據(jù)從系統(tǒng)運(yùn)行的最底層反映了CPU的性能表現(xiàn)和當(dāng)前的性能狀態(tài)。另一方面，C

5、PU的運(yùn)行狀態(tài)也就決定了軟件運(yùn)行的性能和狀態(tài)。因此，本世紀(jì)初，國(guó)際上出現(xiàn)了很多基于HPM的性能分析模型和工具。其中美國(guó)的幾家著名研究機(jī)構(gòu)專(zhuān)門(mén)成立一個(gè)HPC（高性能計(jì)算）研究小組，建立了PERC高性能分析模型，并主要針對(duì)科學(xué)計(jì)算中的高性能計(jì)算做了很深入的分析和研究，開(kāi)發(fā)了一套比較完善的數(shù)據(jù)采集用的應(yīng)用接口（Application Interface,API）集PAPI [5] [6]。但具本文作者所知，在國(guó)內(nèi)還很少有相關(guān)研究報(bào)道；針對(duì)HP

6、M事件的特性，對(duì)軟件進(jìn)行狀態(tài)分析和監(jiān)控的研究在國(guó)內(nèi)外目前都沒(méi)有相關(guān)研究報(bào)道。 HPM事件本身所具有的底層性能數(shù)據(jù)記錄特征，使其對(duì)于高性能分析和優(yōu)化，以及應(yīng)用系統(tǒng)的監(jiān)控和狀態(tài)分析幾方面都有其獨(dú)特的應(yīng)用。本文作者將在PERC研究的基礎(chǔ)上，從對(duì)HPM的分析開(kāi)始，充分挖掘這類(lèi)性能數(shù)據(jù)對(duì)軟件系統(tǒng)的性能和狀態(tài)監(jiān)控的潛在規(guī)則，為以更小代價(jià)和更細(xì)粒度的軟件性能分析和狀態(tài)監(jiān)控提供有力的支持。本文的主要內(nèi)容和作者的主要工作將從以下幾個(gè)方面展開(kāi)。

7、 1) 研究和分析了HPM事件的內(nèi)在特性，給出基于HPM事件的性能和狀態(tài)分析的方法。希望根據(jù)軟件的HPM事件性能表象，推斷潛在的動(dòng)態(tài)運(yùn)行性能和狀態(tài)，實(shí)現(xiàn)對(duì)軟件的性能分析和狀態(tài)監(jiān)控。 2) 針對(duì)具有并發(fā)線(xiàn)程特征的應(yīng)用系統(tǒng)，引入以動(dòng)態(tài)指令編譯技術(shù)為基礎(chǔ)，從動(dòng)態(tài)執(zhí)行角度，以并發(fā)通信層[7]方法分析進(jìn)程的通信代價(jià)、性能指標(biāo)和HPM性能數(shù)據(jù)的采集點(diǎn)的方法，并利用通信層的特性，聚合程序的結(jié)構(gòu)，去掉在關(guān)鍵路徑分析中可能出現(xiàn)的回路問(wèn)題。

8、 3) 針對(duì)樸素貝葉斯(Naive Bayesian, NB)分類(lèi)中類(lèi)別屬性等權(quán)重問(wèn)題，提出一種新的基于加權(quán)修正的方法修正樸素貝葉斯分類(lèi)器（weigHted Contribution Naive Bayesian Classifier, HCNB），并采用該分類(lèi)器對(duì)CPU中存在的上百種HPM事件進(jìn)行分類(lèi)和HPM特征選取。 4) 針對(duì)樸素貝葉斯分類(lèi)中的先驗(yàn)概率及類(lèi)別屬性狀態(tài)概率分布在軟件狀態(tài)“隱含”情況下無(wú)法學(xué)習(xí)問(wèn)題，提出了采

9、用隱馬爾科夫（Hidden Markov Model,HMM）模型的參數(shù)學(xué)習(xí)方法替代樸素貝葉斯學(xué)習(xí)方法的混合分析模型HMMNB，并將該模型用語(yǔ)分析基于HPM事件的軟件性能和狀態(tài)。 5) 實(shí)現(xiàn)了在HPM性能數(shù)據(jù)基礎(chǔ)上的性能數(shù)據(jù)的采集接口、用戶(hù)界面和基于HMMNB、HCNB的應(yīng)用軟件系統(tǒng)性能分析和狀態(tài)監(jiān)控工具Vanilla-GunDog。該工具在軟件的性能分析和狀態(tài)監(jiān)控方面目前已經(jīng)達(dá)到初步應(yīng)用的要求，并在實(shí)際的系統(tǒng)中得到了較好的應(yīng)用