不文明微博帖的自動識別方法研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，各類社交網(wǎng)絡(luò)產(chǎn)品正不斷改變著人們的生活方式。微博作為這些產(chǎn)品中的佼佼者，進(jìn)一步促進(jìn)了個人與世界的交互。然而微博產(chǎn)品的無門檻準(zhǔn)入機(jī)制也招致了大量水軍散播的不良信息和用戶無責(zé)任的惡意言論，它們不僅對各年齡段微博使用者的身心造成了影響，更危害著整個網(wǎng)絡(luò)環(huán)境甚至是社會秩序。
　　為了凈化網(wǎng)絡(luò)環(huán)境、促進(jìn)和諧的網(wǎng)絡(luò)語言生活方式的建設(shè)，需要落實(shí)對微博信息的監(jiān)管工作，而對于不文明微博的自動識別則是監(jiān)管工作中的重要環(huán)節(jié)。若要實(shí)

2、現(xiàn)不文明微博的自動識別，應(yīng)對微博帖進(jìn)行不文明傾向的分類。本文的工作主要包括以下兩大部分:
　　第一，本文提出了不文明微博語料庫的構(gòu)建方法。由于沒有合適的微博語料庫來開展研究，特別是缺少一定規(guī)模的不文明的微博帖，本文通過調(diào)用騰訊微博API下載公共時間線的微博，提取其中的用戶種子，并以用戶種子為基礎(chǔ)獲取大規(guī)模的用戶信息及用戶微博文件。針對微博數(shù)據(jù)中一些對研究毫無意義的微博帖，定義了篩選規(guī)則對其進(jìn)行剔除。另外為了抽取潛在的不文明微博帖，

3、建立了不文明種子詞表來匹配一部分可能具有不文明傾向的語料，便于后續(xù)研究工作。最后，對微博數(shù)據(jù)文件進(jìn)行解析即可索引式地構(gòu)建不文明微博語料庫。
　　第二，本文提出了不文明微博帖的自動識別方法，它的核心問題是微博短文本的分類。我們選擇使用樸素貝葉斯分類器作為分類模型，結(jié)合基于字的二元語言模型思想對文本進(jìn)行切分以提取關(guān)鍵的不文明特征。在完成語料人工標(biāo)注后，進(jìn)行樸素貝葉斯分類器的訓(xùn)練及分類應(yīng)用。由于在真實(shí)網(wǎng)絡(luò)環(huán)境中不文明微博所占比例未知，引