基于行為特征的惡意程序動態(tài)分析與檢測方法研究.pdf

1、惡意程序是計算機系統(tǒng)面臨的首要威脅，代碼混淆的流行，惡意程序自動生成器在互聯(lián)網(wǎng)上肆意傳播，都造成了變種及未知惡意程序呈爆炸式增長，極大地挑戰(zhàn)著傳統(tǒng)基于靜態(tài)特征碼的惡意程序檢測方法。為了對抗惡意程序威脅，研究者提出了基于行為特征的惡意程序檢測?；谛袨樘卣鞯膼阂獬绦驒z測包括三個環(huán)節(jié)：行為數(shù)據(jù)采集，行為特征抽象，以及行為檢測算法設計。這三個環(huán)節(jié)相輔相成，共同保證了惡意程序檢測的準確率。本論文圍繞這三個環(huán)節(jié)，對基于行為特征的惡意程序檢測問題進

2、行了深入的研究，主要取得了以下研究成果。
　　1.在行為數(shù)據(jù)采集研究中，設計并實現(xiàn)了虛擬機監(jiān)控器層的程序行為監(jiān)控系統(tǒng)Osiris，解決了虛擬機監(jiān)控器與客戶操作系統(tǒng)之間的語義缺口問題。Osiris系統(tǒng)采用開源模擬器 Qemu作為虛擬執(zhí)行組件，程序行為監(jiān)控全部實現(xiàn)于虛擬機系統(tǒng)中有著最高特權等級的虛擬機監(jiān)控器層，因此，惡意程序難以逃避分析。通過向開源模擬器Qemu的CPU模擬例程中加入API監(jiān)控框架，Osiris系統(tǒng)能夠對被分析程序發(fā)起

3、的API調用進行監(jiān)控；同時，Osiris系統(tǒng)采用雙虛擬機體系結構對惡意程序運行所需的網(wǎng)絡運行環(huán)境，以及常見主機事件進行模擬，能夠最大限度激發(fā)惡意程序的潛伏行為。實驗表明，Osiris系統(tǒng)是一種新型惡意程序行為分析工具，為后續(xù)行為檢測打下了良好的數(shù)據(jù)基礎。
　　2.在程序行為特征抽象研究中，提出了安全敏感最小行為特征以及相應的行為抽象算法。一個API的輸出參數(shù)或是返回值會成為另一個API的輸入?yún)?shù)，API之間存在數(shù)據(jù)依賴關系，這是一

4、種相對穩(wěn)定的程序行為特征。論文提出以操作系統(tǒng)敏感資源為中心，對API調用按照數(shù)據(jù)依賴關系進行較低等級聚合，并對API參數(shù)進行抽象描述，最終從 API調用序列中抽象出被分析程序對安全敏感的操作系統(tǒng)資源進行操作的模式，也就是安全敏感最小行為序列，并嵌入到高維特征向量空間作為后續(xù)行為檢測算法的輸入。程序相似性比較，聚類以及分類實驗都驗證了安全敏感最小行為能夠有效刻畫惡意程序的特征行為。
　　3.提出了靜態(tài)分析特征與動態(tài)分析特征相結合的惡

5、意程序檢測思路。同時設計了基于Totally Corrective Boosting思想的特征選擇算法BoostFS，將用于解決分類問題的Boosting算法擴展到特征選擇問題。BoosFS算法使用Decision Stump作為子分類器，每一輪迭代 BoostFS算法尋找的子分類器其分類結果向量與所有已生成子分類器的分類結果向量盡可能正交。由于 Decision Stump是僅含有一個結點的決策樹，一個訓練好的Decision Stu

6、mp又相當于一個篩選出的特征，所有生成的子分類器恰相當于一個篩選出的特征子集，并且這些特征盡可能不相關。
　　4.惡意程序檢測是一個典型的代價敏感學習問題。在這一問題背景下，論文嚴格遵循Boosting理論框架，首先對AdaBoost算法使用的分類間隔的指數(shù)損失函數(shù)，以及LogitBoost算法使用的Logit損失函數(shù)進行代價敏感改造，然后使用函數(shù)空間梯度下降優(yōu)化方法推導代價敏感的AsyB和AsyBL算法?？梢宰C明，AsyB和As

7、yBL算法在極限情況下，收斂到最優(yōu)的代價敏感貝葉斯決策。論文同時利用Newman-Person決策準則解決惡意程序檢測問題中如何確定代價因子的問題。
　　5.對噪聲數(shù)據(jù)敏感是AdaBoost算法廣為人知的特性之一。在惡意程序行為檢測問題中，由于惡意程序常具有潛伏行為，或是被分析程序為充分執(zhí)行等原因，程序行為數(shù)據(jù)中常常含有噪聲數(shù)據(jù)。針對這一問題，論文嚴格遵循 Boosting理論框架設計了抗噪聲能力更好的RBoost算法。首先，RB

8、oost算法優(yōu)化非凸的Savage2損失函數(shù)。由于 Savage2損失函數(shù)不會無限懲罰分類間隔很大的錯分類樣本，因此，對始終難以正確分類的噪聲數(shù)據(jù)敏感性更低。在此基礎上，RBoost算法進一步使用兩種數(shù)值計算穩(wěn)定性更好的每一輪迭代的最優(yōu)子分類器。以上兩個步驟共同保證了RBoost算法在訓練和測試樣本集含有噪聲情況下學習的穩(wěn)定性。實驗表明在有噪聲情況下，與 AdaBoost以及 GentleBoost，LogitBoost，SavageB