基于AdaBoost-LC的微博垃圾評論識別研究.pdf

1、隨著Web2.0和互聯(lián)網(wǎng)的飛速發(fā)展,社交網(wǎng)絡呈現(xiàn)爆發(fā)式增長。微博作為社交網(wǎng)絡的一大重要代表逐漸深入人心,成為網(wǎng)民上網(wǎng)的主要活動之一。正是由于微博具有便捷性、高速度、廣泛性、效率高、背對臉等特點,吸引了垃圾制造者們的注意。垃圾制造者出于各種目的,在微博上發(fā)表了大量的各種垃圾評論,這些垃圾評論的泛濫既影響網(wǎng)民之間的交流,甚至使得網(wǎng)民上當受騙,又阻礙了面向評論的數(shù)據(jù)挖掘工作,因此垃圾評論的識別與過濾具有重要意義。
　　本文面向微博領域進

2、行識別垃圾評論的研究,主要的研究工作及成果如下:
　?、籴槍ξ⒉┰u論短小,分詞后容易出現(xiàn)特征稀疏的問題,提出把微博評論表示成特征值向量,由9個特征值組成,從多個不同的角度來描述評論的內容,在此基礎上提出一種基于AdaBoost-LC的微博垃圾評論識別方法,該方法以線性分類器中最簡單的單閾值二值分類器作為基分類器,然后使用集成學習算法——AdaBoost算法來提升基分類器的分類精度。
　?、卺槍daBoost-LC算法存在的

3、不足之處,“困難”樣本權重急劇擴張引起的退化現(xiàn)象,以及在垃圾評論識別場景下,正常評論被錯誤識別的代價更加高昂的問題,提出一種改進的AdaBoost-Ex算法來識別垃圾評論。
　　③針對垃圾評論出現(xiàn)新特征,或者分類器隨時間流逝分類性能下降需要重新學習的問題,本文設計了算法的模塊化增量學習模型,該模型在保留原本學習到的規(guī)則的基礎上,只需要學習新樣本的規(guī)則,學習到的子分類器以線性加權的方式融合到增量學習系統(tǒng)中,使得算法具有漸進式的學習能