HTTP-Based Botnet Detection Using Network Traffic Traces.pdf

1、僵尸網(wǎng)絡(luò)已經(jīng)成為當今Internet面臨的最嚴重威脅之一，它們被作為高度受控的平臺用于進行大規(guī)模合作的網(wǎng)絡(luò)攻擊，如:分布式拒絕服務(wù)，垃圾郵件，信息竊取等。因此，僵尸網(wǎng)絡(luò)檢測至關(guān)重要，安全研究人員已經(jīng)提出了諸多有效的僵尸網(wǎng)絡(luò)檢測方法。
　　然而，僵尸網(wǎng)絡(luò)制作者仍不斷開發(fā)新的技術(shù)來改進僵尸程序，以逃避安全研究人員提出的檢測方法。近年來，基于HTTP的僵尸網(wǎng)絡(luò)愈加泛濫，已對眾多政府組織和工業(yè)機構(gòu)造成巨大破壞。新一代的HTTP僵尸網(wǎng)絡(luò)多采

2、取fast-flux，domain-flux或DGA(Domain Generation Algorithmically)技術(shù)來逃避檢測，其中一些使用domain-flux技術(shù)來規(guī)避黑名單檢測，而一些使用fast-flux技術(shù)來隱藏真實的命令控制服務(wù)器位置。
　　因此，本文主要研究目標是對使用DGA，domain-flux或fast-flux技術(shù)來逃避檢測的HTTP僵尸網(wǎng)絡(luò)構(gòu)建檢測方案。為此，本文解決如下三個問題:(1)研究在被管

3、網(wǎng)或企業(yè)網(wǎng)中識別與檢測感染DGA僵持程序的主機;(2)檢測與識別使用domain-flux或DGA技術(shù)的C&C服務(wù)器;(3)檢測惡意的fast-flux服務(wù)網(wǎng)絡(luò)。此3項的主要研究內(nèi)容概括如下:
　　第一個問題是如何在被管網(wǎng)或企業(yè)網(wǎng)中識別出感染DGA僵持程序的主機。為此，本文收集了多個知名的domain-flux或DGA-bot僵尸程序樣本，如Kraken，Zeus，Conficker，Bobax和Murofet。然后在虛擬機環(huán)境中

4、執(zhí)行這些樣本并獲取相應(yīng)的網(wǎng)絡(luò)流量數(shù)據(jù)。通過檢查和分析這些網(wǎng)絡(luò)流量數(shù)據(jù)，本文發(fā)現(xiàn)這些僵尸程序樣本在請求域名時呈現(xiàn)出相似的周期行為。另外，感染domain-flux或DGA-bot僵尸程序的主機在查找C&C服務(wù)器時經(jīng)常會請求大量的非存在域名，且請求行為的周期時間間隔序列具有相似性。而一般的合法主機是不會以相似的周期時間間隔序列來訪問許多不同域名，并且產(chǎn)生大量的非存在域名應(yīng)答。這些相似行為僅發(fā)生在感染DGA僵持程序的主機上。因此，基于上述特征

5、，本文提出一種通過分析DNS請求時間間隔序列對的關(guān)聯(lián)性來聚類相似域名的方法，即同一僵尸網(wǎng)絡(luò)或DGA算法所產(chǎn)生的域名相似性的方法。實驗結(jié)果表明，相同DGA僵尸代碼產(chǎn)生的域名會被劃為同一類別中。請求某類域名的主機則被標記為感染相應(yīng)domain-flux或DGA-bot僵尸程序的主機。該方法并不能適用于所有感染僵尸程序主機的檢測。它只有效檢測被管網(wǎng)內(nèi)感染domain-flux或DGA類型僵尸程序主機。此項研究結(jié)果將有助于尋找新的C&C服務(wù)器檢

6、測方法，這也是本文今后的研究工作之一（第4章)。
　　第二個問題是如何檢測出domain-flux或DGA僵尸網(wǎng)絡(luò)的C&C服務(wù)器。已有一些研究工作關(guān)注此問題[1-4]，而且這些方法也取得了一定效果。Yadav等[1]給出了一種基于所有域名一元和二元語法分布的DGA僵尸網(wǎng)絡(luò)C&C域名檢測方法。然而，該方法特別是檢測Kraken，Bobax或Murofet僵尸網(wǎng)絡(luò)產(chǎn)生的域名時效果欠佳，因為這些僵尸網(wǎng)絡(luò)產(chǎn)生的域名與正常域名在一元和二元語

7、法分布上沒有較大差別。為克服此缺陷，本文工作目標是改進和擴展Yadav等[1]等人的工作。本文計算了正常域名的n-grams(n=3，4，5)的發(fā)生頻率，并分別給每個n-gram評分。為區(qū)分一個域名是合法域名還是僵尸網(wǎng)絡(luò)產(chǎn)生的域名，本文提出了一種方法來測量域名期望分值，并且結(jié)合其他兩個特征來輸入進事先訓練好的分類器中。該分類器可用來從用戶產(chǎn)生的域名中分類出僵持程序域名。本文使用5種不同機器學習算法的分類器，并評測了每種算法檢測的有效性。

8、實驗結(jié)果表明，與其它算法相比，決策樹算法(J48)效果最好，對domain-flux僵尸網(wǎng)絡(luò)的檢測更為有效。實驗結(jié)果頁證明本文所提方法可在被管網(wǎng)絡(luò)中有效檢測僵尸網(wǎng)絡(luò)。該方法的具體細節(jié)可參考本文第4章。
　　最后一個問題是如何使用基于特征機器學習的分類方法來檢測惡意fast-flux服務(wù)網(wǎng)絡(luò)(FFSN)。關(guān)于FFSN的檢測，已經(jīng)存在一些方法[5-8]。由于FFSN的特點是一個或多個域名可被解析為許多（數(shù)百個或者數(shù)千個）不同的具有較短

9、TTL，DNS應(yīng)答快速變化的IP地址。因此，分類過程需要依賴所收集的各種用戶所發(fā)送請求的完全非預(yù)測性時序數(shù)據(jù)。文獻[5-8]所提出的方法使用少量的主動DNS流量記錄，所以并不能完全獲得惡意fast-flux網(wǎng)絡(luò)的所有可能的解析IP地址。這個不足會造成假陽率與假陰率的增大。但是，此不足可通過使用被動DNS復制方法來解決。本文開發(fā)了用于從網(wǎng)絡(luò)接口或pcap文件嗅探DNS請求的工具PassiveTool，并將DNS服務(wù)器應(yīng)答輸出到日志文件中(

10、DNSlog)。此技術(shù)實際就是重建域名解析系統(tǒng)中心數(shù)據(jù)庫中部分可見數(shù)據(jù)，并且能被查詢和請求，如某個域名過去是指向什么地方，給定名字服務(wù)器的是什么域名？指向給定IP網(wǎng)絡(luò)的域名是什么？某個域名下的子域名是什么？等等。本文也定義了DNSlog文件來方便跟蹤和管理與每個域名相關(guān)的請求/應(yīng)答信息。此外，Holz等人[7]關(guān)注從主動DNS請求中得出的三個特征（即，DNSA記錄的個數(shù)，DNS NS記錄的個數(shù)和自治系統(tǒng)的數(shù)量)。Passerini等人[