中文垃圾短文本的自動(dòng)識(shí)別研究.pdf

1、當(dāng)前社會(huì)上用于信息交互的各種社交平臺(tái)、即時(shí)通訊工具日益普及。這些用來(lái)信息交流的平臺(tái)工具目前主要使用短文本作為信息傳播與交互的載體，其方便、快捷、高效的特點(diǎn)適合當(dāng)今信息化、快節(jié)奏的生活。
　　所謂短文本主要是指手機(jī)短信、微博、商品評(píng)論、論壇帖子等一類長(zhǎng)度較短，字?jǐn)?shù)有限的文本。在該類短文本中，往往存在著大量的違反信息交互平臺(tái)使用規(guī)定的違法的垃圾類文本，例如垃圾短信、廣告微博、虛假評(píng)論等。由于短文本長(zhǎng)度較短，字?jǐn)?shù)有限，編輯來(lái)源廣泛且內(nèi)容

2、編輯存在諸多不規(guī)范。因此，對(duì)其進(jìn)行二分類，識(shí)別其中的垃圾類短文本時(shí)將會(huì)面臨三個(gè)問(wèn)題：（1）數(shù)據(jù)噪聲大；（2）訓(xùn)練數(shù)據(jù)集不平衡；（3）如果直接采用基于詞表的向量空間模型來(lái)表示短文本，將會(huì)導(dǎo)致特征向量過(guò)于稀疏且維度較高。
　　針對(duì)以上三個(gè)問(wèn)題，本文主要進(jìn)行了以下研究：
　　1）提出了適用于短文本的預(yù)處理方法，對(duì)短文本數(shù)據(jù)進(jìn)行規(guī)范化處理，主要包括“錯(cuò)別字糾正”、“繁體字轉(zhuǎn)換”、“大小寫(xiě)字母的轉(zhuǎn)換”、“同類信息的統(tǒng)一化表示”等，在一

3、定程度上減少數(shù)據(jù)集中存在的噪聲。
　　2）從短文本內(nèi)容的編輯語(yǔ)法、用詞特點(diǎn)等及非內(nèi)容的結(jié)構(gòu)屬性，即多個(gè)角度來(lái)提取特征，避免采用基于詞表的向量空間模型表示短文本時(shí)，特征向量過(guò)于稀疏且維度較高。
　　3）提出了隨機(jī)森林與 Adaboost相結(jié)合的“隨機(jī)森林+Adaboost”集成分類方法，該方法將隨機(jī)森林作為Adaboost算法的基分類器，用來(lái)降低數(shù)據(jù)噪聲及數(shù)據(jù)不平衡所帶來(lái)的影響。
　　由于短信與商品評(píng)論在內(nèi)容上具有較大相