基于WEB的某社交網(wǎng)站SPAM評估系統(tǒng)的設計與實現(xiàn).pdf

1、隨著網(wǎng)絡的大規(guī)模普及，國內(nèi)外涌現(xiàn)出了大量的社交網(wǎng)站平臺，其中以facebook、微博、百度貼吧、天涯社區(qū)等為代表。這些網(wǎng)站有一個共同點，那就是都屬于UGC(UserGeneratedContent)—用戶原創(chuàng)內(nèi)容類型的網(wǎng)站平臺。這類網(wǎng)站上內(nèi)容主要是依賴用戶創(chuàng)造生成，每一個網(wǎng)站用戶都可以隨心所欲的生成發(fā)表自己的內(nèi)容。利用這種產(chǎn)出方式，這類網(wǎng)站的內(nèi)容會迅速膨脹，形成一個多、廣、專的局面，有力地促進了知識的積累和傳播。
　　以目前全球最

2、大的中文社區(qū)網(wǎng)站-百度貼吧為例，百度貼吧經(jīng)過10年的發(fā)展，已經(jīng)擁有幾億的注冊用戶，創(chuàng)建的貼吧數(shù)量有上百萬個，每天新增的話題貼近億。貼吧有如此巨大的用戶群體，并且由于屬于UGC類社交網(wǎng)站，每一個用戶都可以生成自己個性化的內(nèi)容，所以在有效進行知識傳播的同時，不可避免的會出現(xiàn)大量不健康（色情、暴力、反動）、廣告?zhèn)麂N、虛假欺詐等令用戶反感、侵害正常用戶權(quán)益甚至違法犯罪的垃圾內(nèi)容。在互聯(lián)網(wǎng)行業(yè)，人們稱這些垃圾內(nèi)容為“spam”或者“作弊內(nèi)容”;那

3、些在網(wǎng)上發(fā)布這些spam的人被稱為“作弊者”;如果一個正常用戶在瀏覽網(wǎng)頁的過程中，看到了這些垃圾內(nèi)容，那么我們稱用戶的這次瀏覽行為“被污染”了。
　　為了盡可能既快又準的從上億條的數(shù)據(jù)中發(fā)現(xiàn)識別出垃圾內(nèi)容，以保證網(wǎng)站的正常用戶在使用網(wǎng)站服務時能更快更便捷的獲取自己的所求，就需要能及時準確地掌握這些垃圾內(nèi)容在網(wǎng)站上所占的比例（作弊率）、對正常用戶的影響程度（污染率）以及作弊者所發(fā)垃圾內(nèi)容的共同特征和所屬類型。這樣才能以很小的人力成本

4、及時高效地清理掉這些垃圾內(nèi)容，減少其對正常用戶的負面影響，提高用戶的產(chǎn)品體驗。
　　目前，以貼吧為例，人工評估一次作弊率大約需要1天/人次，包括評估數(shù)據(jù)的獲取，人工審查數(shù)據(jù)，手工計算作弊率。用戶污染率更是無法評估。而統(tǒng)計一次垃圾內(nèi)容的共同特征（如帶有文字廣告、圖片等），再將其分類，這個過程更是需要幾天的時間。這種評估方式不僅繁瑣耗時耗人力，而且評估統(tǒng)計出的結(jié)果準確率不高，也不能保證時效性，致使工程師們不能及時準確地掌握作弊率和新出

5、現(xiàn)的各種垃圾內(nèi)容的特征類別，從而不能及時高效地調(diào)整應對策略清除這些垃圾內(nèi)容數(shù)據(jù)。即使統(tǒng)計出來了，作弊者也已經(jīng)發(fā)布了大量的垃圾內(nèi)容到網(wǎng)站上，已經(jīng)對正常用戶造成了不可挽回的身心權(quán)益?zhèn)Γ蟠笥绊懥苏Ｓ脩舻捏w驗，有可能導致正常用戶的流失。
　　為了解決評估周期長、成本高、準確率低的問題，本論文基于WEB設計并實現(xiàn)一個可快速準確的評估出各項指標的貼吧SPAM評估系統(tǒng)。本系統(tǒng)采用B/S模式，使用MVC開發(fā)框架結(jié)構(gòu)，基于PHP+Mysql+