論壇垃圾回帖的識別與過濾.pdf

1、隨著互聯(lián)網(wǎng)的蓬勃發(fā)展和互聯(lián)網(wǎng)向SoLoMo(社會化、本地化、移動化)轉(zhuǎn)變的趨勢日益顯現(xiàn),大型門戶網(wǎng)站、論壇社區(qū)的互動量顯著增加,而這些信息當(dāng)中包含了發(fā)帖機和水軍發(fā)布的大量灌水帖、垃圾廣告甚至是違法信息,嚴(yán)重降低網(wǎng)民的訪問體驗,也隨之降低了論壇用戶的活躍度和流量,同時還干擾了面向評論內(nèi)容的數(shù)據(jù)挖掘和輿情監(jiān)測工作。關(guān)于如何有效的識別并過濾評論中的垃圾信息,本文主要開展了如下工作:
　　首先進行了論壇數(shù)據(jù)的采集,通過設(shè)計網(wǎng)絡(luò)爬蟲,抓取論

2、壇某一時段內(nèi)的主帖和回帖及其相關(guān)的發(fā)帖信息(如發(fā)帖人、發(fā)帖時間、瀏覽量、回復(fù)量)等,并保存在本地數(shù)據(jù)庫中。
　　其次要對論壇中的回帖進行較為準(zhǔn)確的垃圾回帖的識別和過濾,就必須把握論壇領(lǐng)域內(nèi)垃圾回帖的特點。本文結(jié)合網(wǎng)絡(luò)語言的特點,通過大量瀏覽論壇回帖,分析總結(jié)了論壇領(lǐng)域中回帖人的行為特點和回帖內(nèi)容的語言特征,并定義了論壇領(lǐng)域中垃圾回帖的類型。
　　本文采取了多層次過濾的方法,對不同類型的垃圾回帖使用了針對性較強、匹配度較高的過

3、濾方法,提高了垃圾帖的識別率。在預(yù)處理階段使用禁用詞表和論壇灌水詞詞典識別過濾惡意回帖和灌水帖,然后對規(guī)范化后的變形垃圾回帖采用正則表達式匹配的方法,進一步過濾出部分廣告宣傳帖;使用添加了語義信息和位置信息的余弦相似度算法,過濾與主帖無關(guān)的回帖評論。
　　最后通過對各類垃圾回帖的過濾結(jié)果的統(tǒng)計分析,研究了發(fā)帖人的回帖傾向。經(jīng)試驗,利用本文的方法進行論壇回帖的識別和過濾的方法,能較好的識別出垃圾回帖,并且對發(fā)帖人的發(fā)帖傾向作出較為合