基于Spark框架的惡意域名實(shí)時(shí)檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、域名系統(tǒng)是當(dāng)前互聯(lián)網(wǎng)重要的基礎(chǔ)設(shè)施之一，是將IP地址和域名互相對(duì)應(yīng)的一個(gè)分布式數(shù)據(jù)庫(kù)，大量的網(wǎng)絡(luò)服務(wù)依賴于域名服務(wù)來(lái)開展，使互聯(lián)網(wǎng)用戶更加方便地訪問(wèn)各種網(wǎng)絡(luò)資源。域名系統(tǒng)本身不提供對(duì)惡意域名的檢測(cè)，因此惡意域名就能夠利用域名系統(tǒng)來(lái)實(shí)現(xiàn)惡意的行為。
　　傳統(tǒng)的惡意域名檢測(cè)方法是通過(guò)域名黑名單、逆向技術(shù)、數(shù)據(jù)挖掘等方法來(lái)檢測(cè)惡意域名，但隨著越來(lái)越多新的網(wǎng)絡(luò)技術(shù)的應(yīng)用，惡意域名的產(chǎn)生和使用也變得越來(lái)越靈活，傳統(tǒng)的檢測(cè)方法不能有效的檢測(cè)也

2、這些惡意域名。但是在惡意域名的檢測(cè)中,可以分析DNS(Domain Name System)日志記錄來(lái)找出惡意域名不同于善意域名的特征,通過(guò)從DNS日志中提取出域名、訪問(wèn)時(shí)間、ttl值和ip地址，然后計(jì)算出相應(yīng)的特征值，如域名生存期、域名對(duì)應(yīng)國(guó)家數(shù)，域名對(duì)應(yīng)域名數(shù)等特征值。使用大數(shù)據(jù)技術(shù)Spark可以快速地從海量DNS日志中提取出域名的相關(guān)屬性，并計(jì)算出對(duì)應(yīng)的特征值來(lái)形成樣本集。利用Spark框架實(shí)現(xiàn)對(duì)惡意域名實(shí)時(shí)檢測(cè)的系統(tǒng)，系統(tǒng)包括了

3、三個(gè)模塊，抓包模塊、Spark集群模塊和監(jiān)控模塊。同時(shí)在Spark系統(tǒng)上實(shí)現(xiàn)C4.5算法，用該算法來(lái)訓(xùn)練樣本來(lái)建立檢測(cè)模型，并實(shí)現(xiàn)對(duì)域名的實(shí)時(shí)檢測(cè)。
　　搭建了Spark和Hadoop集群，同時(shí)用Spark和Hadoop對(duì)DNS日志進(jìn)行分析，結(jié)果表明Spark的計(jì)算速度明顯快于Hadoop。也對(duì)Spark實(shí)時(shí)接收域名數(shù)據(jù)的能力進(jìn)行了測(cè)試，表明Spark能快速獲取實(shí)時(shí)的數(shù)據(jù)流。最后對(duì)系統(tǒng)實(shí)時(shí)檢測(cè)域名的能力進(jìn)行了測(cè)試，通過(guò)Spark的