在線社會(huì)網(wǎng)絡(luò)上SPAM行為檢測(cè)方法研究.pdf

1、隨著web2.0的飛速發(fā)展，在線社會(huì)網(wǎng)絡(luò)（Online Social Network，簡(jiǎn)稱OSN）已經(jīng)成為人們?nèi)粘Ｍㄓ嵔涣鞯闹匾绞?。然而，Spam(本文指一切非正常信件的總稱，包括OSN中惡意的wall posts以及其它互聯(lián)網(wǎng)媒體中用戶不愿意接收到的信件等)的出現(xiàn)，引發(fā)了日益嚴(yán)重的OSN安全問(wèn)題。Spammer可用平臺(tái)越來(lái)越廣，可用傳播媒介越來(lái)越多，Spam技術(shù)也越來(lái)越復(fù)雜。Spam技術(shù)從總體來(lái)說(shuō)集中在通過(guò)不同的手段達(dá)到擴(kuò)大規(guī)模和逃

2、避檢測(cè)的目的。例如傳播媒體從傳統(tǒng)的Email到在線社會(huì)網(wǎng)絡(luò)，即時(shí)通訊，移動(dòng)手機(jī)，在線網(wǎng)絡(luò)游戲，博客，維基百科等。傳播形式從純文本，到圖片，附件等。Spam不僅會(huì)耗費(fèi)網(wǎng)絡(luò)資源和大量的處理時(shí)間，造成生產(chǎn)力浪費(fèi)，嚴(yán)重的會(huì)使公司蒙受巨大經(jīng)濟(jì)損失。因此，Spam的檢測(cè)方法的研究，已成為國(guó)內(nèi)外研究的熱點(diǎn)，具有重要的理論意義和應(yīng)用價(jià)值。
　　提出存在利用Facebook等在線社會(huì)網(wǎng)絡(luò)傳播Spam及其惡意內(nèi)容的問(wèn)題（spamming），并通過(guò)Fa

3、cebook上獲取的大量wall posts的數(shù)據(jù)對(duì)這個(gè)問(wèn)題進(jìn)行了深入的分析和測(cè)量，研制出OSCD(OSN Spam Campaign Detection)檢測(cè)方法。Wall posts是Facebook上主要的交流方式，用戶在wall上可以隨意留言給自己的好友或public用戶。用戶wall上的信息會(huì)一直保留除非用戶自己刪除，由于這些信息的持久性和公開(kāi)性，很容易被目標(biāo)用戶和其好友閱讀訪問(wèn)以及利用，因此使得wall上的信息成為尋找和發(fā)現(xiàn)

4、Facebook上spam的最佳切入點(diǎn)。通過(guò)2009年抓取Facebook地區(qū)網(wǎng)的數(shù)據(jù)，獲得了大量匿名Facebook用戶信息，以及這些用戶及其好友長(zhǎng)達(dá)1.5年的wall posts記錄。總計(jì)約3.5M（million）用戶和187M wall posts。通過(guò)一系列的自動(dòng)檢測(cè)技術(shù)得到若干spam campaigns，檢測(cè)出大約2M個(gè)含有嵌入U(xiǎn)RLs的惡意wall posts，這些wall posts來(lái)自約57000個(gè)用戶帳號(hào)。進(jìn)一步的

5、分析發(fā)現(xiàn)，其中70％的惡意wall posts用于網(wǎng)絡(luò)釣魚(yú)。同時(shí)本文對(duì)這些惡意的用戶帳號(hào)也從各方面進(jìn)行了詳細(xì)的分析，發(fā)現(xiàn)多于97％的惡意帳號(hào)是被入侵的帳號(hào)，而不是spammer自己創(chuàng)建的帳號(hào)。最后，當(dāng)我們把發(fā)送者的時(shí)間調(diào)整到當(dāng)?shù)貢r(shí)間時(shí)，發(fā)現(xiàn)spamming的行為一般發(fā)生在凌晨。
　　使用一系列數(shù)學(xué)統(tǒng)計(jì)及聚類方法對(duì)wall posts進(jìn)行分析，識(shí)別出試圖傳播惡意內(nèi)容的wall posts。通過(guò)分析那些含有URLs的文本信息，從這些信

6、息中找出關(guān)聯(lián)子集。首先，將每一個(gè)wall post抽象成一個(gè)節(jié)點(diǎn)，并且在含有相同的URL或者具有相似文本的兩個(gè)wall post之間建立一條邊。這個(gè)過(guò)程將可疑的wall posts劃分成互相排斥的子集。然后利用突發(fā)性和分布性兩大特征找出具有惡意spam campaigns特征的信息子集。最后，利用一些補(bǔ)充的機(jī)制驗(yàn)證檢測(cè)技術(shù)的有效性。通過(guò)對(duì)惡意wall posts的分析，對(duì)OSN上惡意內(nèi)容傳播的行為特征進(jìn)行測(cè)量。發(fā)現(xiàn)phishing是目前

7、為止Facebook上最流行的攻擊。同時(shí)也發(fā)現(xiàn)傳播惡意內(nèi)容的用戶與正常的用戶有著不同的交流模式，惡意用戶wall posts的突發(fā)性以及日間模式非常特別。通過(guò)對(duì)惡意內(nèi)容持續(xù)時(shí)間和用戶生命周期的分析，發(fā)現(xiàn)絕大多數(shù)的惡意內(nèi)容是從被入侵之后的帳號(hào)產(chǎn)生的，而不是專門(mén)用于傳播spam的虛假帳號(hào)。
　　提出驗(yàn)證惡意Span URLs的情感分析方法（CUD:Crowdsourcing for spam URL Detection），它可作為目前

8、驗(yàn)證工具的輔助部件來(lái)驗(yàn)證檢測(cè)到的Spam URLs。CUD通過(guò)crowdsourcing利用人類的智慧達(dá)到分類URL的目的。CUD通過(guò)crowdsourcing獲取已經(jīng)存在于網(wǎng)絡(luò)上的用戶對(duì)于spam URL的評(píng)論，并且利用自然語(yǔ)言處理中的情感分析方法，通過(guò)分析用戶評(píng)論達(dá)到自動(dòng)檢測(cè)驗(yàn)證spam URLs的目的。由于CUD并不直接使用和URL本身相關(guān)以及URL頁(yè)面的信息，因此對(duì)新出現(xiàn)的惡意URLs或者較為狡猾的URLs會(huì)更有效。通過(guò)評(píng)估，我

9、們發(fā)現(xiàn)70％的URLs在網(wǎng)絡(luò)上有評(píng)論，CUD可以達(dá)到86.8％的檢測(cè)準(zhǔn)確率以及0.9％的檢測(cè)誤報(bào)率。而且，由CUD檢測(cè)出來(lái)的URLs中，75％都不能被其它的spam工具檢測(cè)出來(lái)。
　　最后提出SPAMMER的SDSF(Spammer Detection based on SMTP Frequency)追蹤方法，對(duì)SPAMMER進(jìn)行了追蹤。SDSF通過(guò)對(duì)網(wǎng)絡(luò)層SMTP包進(jìn)行檢測(cè)和解析，利用SMTP發(fā)送頻率和SMTP內(nèi)容的相似性兩大特