基于HPM的軟件性能與狀態(tài)分析研究.pdf

1、計算機軟件性能分析及優(yōu)化在科學研究和大型工程應用中有著重要的作用。軟件性能的改善從經(jīng)濟上可以節(jié)約大量的財力和物力，避免不必要的硬件系統(tǒng)升級和軟件系統(tǒng)的變革性升級；從技術(shù)上，可以探索計算機系統(tǒng)的性能特征，性能極限，為工業(yè)生產(chǎn)提供有力的支持。 另一方面，各個廠商和系統(tǒng)運營商，如移動、電信運營商等，希望可以對應用服務系統(tǒng)以盡可能低的成本和運行代價進行有效的在線監(jiān)控和性能分析，并智能決策軟件的當前的性能情況和軟件的動態(tài)運行狀態(tài)情況，從而

2、為系統(tǒng)的升級和維護提供準確的具有說服力的數(shù)據(jù)和支持，以此達到向客戶提供更好的服務的目的。 現(xiàn)代計算機和CPU設計中，CPU片內(nèi)的寄存器、一級高速緩存（Level 1 Cache）和二級高速緩存（Level 2 Cache），主板上的三級高速緩沖，再加上主存，外存（硬盤、軟盤、電子盤等），構(gòu)成了現(xiàn)代計算機的多級存儲體系結(jié)構(gòu)。這種多級存儲層次的速度則根據(jù)距離CPU核心運算單元的近遠，呈現(xiàn)出逐級按級數(shù)遞減，成本逐級遞增的特性?，F(xiàn)在的軟

3、件性能分析及其相關(guān)的性能優(yōu)化，除了程序本身算法之外，幾乎所有的分析和優(yōu)化都是在這樣一個多級的存儲體系結(jié)構(gòu)上進行的，試圖盡可能地利用近端的存儲，期望達到一個接近線速的計算性能，即計算的性能僅由CPU的處理速度決定，與其他外設和數(shù)據(jù)存儲無關(guān)。 為了對CPU的生產(chǎn)和性能分析給出精確的性能數(shù)據(jù)，現(xiàn)代的CPU的生產(chǎn)廠家大多數(shù)都在自己的CPU設計中，加入以并行采集方式的具有特殊用途的寄存器，記錄CPU在運行過程中的一些動態(tài)性能數(shù)據(jù)，如Lev

4、e1 1 Cache Misses, Branches Mispredicts, TLB(Translate Lookaside Buffer) Misses, Instruction Loads，這些寄存器就是硬件性能計數(shù)器（Hardware Performance counter Monitor，HPM）[1] [2] [3] [4]，也稱HPM事件。這些性能數(shù)據(jù)從系統(tǒng)運行的最底層反映了CPU的性能表現(xiàn)和當前的性能狀態(tài)。另一方面，C

5、PU的運行狀態(tài)也就決定了軟件運行的性能和狀態(tài)。因此，本世紀初，國際上出現(xiàn)了很多基于HPM的性能分析模型和工具。其中美國的幾家著名研究機構(gòu)專門成立一個HPC（高性能計算）研究小組，建立了PERC高性能分析模型，并主要針對科學計算中的高性能計算做了很深入的分析和研究，開發(fā)了一套比較完善的數(shù)據(jù)采集用的應用接口（Application Interface,API）集PAPI [5] [6]。但具本文作者所知，在國內(nèi)還很少有相關(guān)研究報道；針對HP

6、M事件的特性，對軟件進行狀態(tài)分析和監(jiān)控的研究在國內(nèi)外目前都沒有相關(guān)研究報道。 HPM事件本身所具有的底層性能數(shù)據(jù)記錄特征，使其對于高性能分析和優(yōu)化，以及應用系統(tǒng)的監(jiān)控和狀態(tài)分析幾方面都有其獨特的應用。本文作者將在PERC研究的基礎(chǔ)上，從對HPM的分析開始，充分挖掘這類性能數(shù)據(jù)對軟件系統(tǒng)的性能和狀態(tài)監(jiān)控的潛在規(guī)則，為以更小代價和更細粒度的軟件性能分析和狀態(tài)監(jiān)控提供有力的支持。本文的主要內(nèi)容和作者的主要工作將從以下幾個方面展開。

7、 1) 研究和分析了HPM事件的內(nèi)在特性，給出基于HPM事件的性能和狀態(tài)分析的方法。希望根據(jù)軟件的HPM事件性能表象，推斷潛在的動態(tài)運行性能和狀態(tài)，實現(xiàn)對軟件的性能分析和狀態(tài)監(jiān)控。 2) 針對具有并發(fā)線程特征的應用系統(tǒng)，引入以動態(tài)指令編譯技術(shù)為基礎(chǔ)，從動態(tài)執(zhí)行角度，以并發(fā)通信層[7]方法分析進程的通信代價、性能指標和HPM性能數(shù)據(jù)的采集點的方法，并利用通信層的特性，聚合程序的結(jié)構(gòu)，去掉在關(guān)鍵路徑分析中可能出現(xiàn)的回路問題。

8、 3) 針對樸素貝葉斯(Naive Bayesian, NB)分類中類別屬性等權(quán)重問題，提出一種新的基于加權(quán)修正的方法修正樸素貝葉斯分類器（weigHted Contribution Naive Bayesian Classifier, HCNB），并采用該分類器對CPU中存在的上百種HPM事件進行分類和HPM特征選取。 4) 針對樸素貝葉斯分類中的先驗概率及類別屬性狀態(tài)概率分布在軟件狀態(tài)“隱含”情況下無法學習問題，提出了采

9、用隱馬爾科夫（Hidden Markov Model,HMM）模型的參數(shù)學習方法替代樸素貝葉斯學習方法的混合分析模型HMMNB，并將該模型用語分析基于HPM事件的軟件性能和狀態(tài)。 5) 實現(xiàn)了在HPM性能數(shù)據(jù)基礎(chǔ)上的性能數(shù)據(jù)的采集接口、用戶界面和基于HMMNB、HCNB的應用軟件系統(tǒng)性能分析和狀態(tài)監(jiān)控工具Vanilla-GunDog。該工具在軟件的性能分析和狀態(tài)監(jiān)控方面目前已經(jīng)達到初步應用的要求，并在實際的系統(tǒng)中得到了較好的應用