基于語(yǔ)義及情感的微博分類等級(jí)判定方法研究.pdf

1、隨著互聯(lián)網(wǎng)和信息技術(shù)的快速發(fā)展，微博成為了人與人之間交流的一種重要方式，微博讓人們擁有自己的媒體變成了一件簡(jiǎn)單的事情。然而，作為公民自由發(fā)表言論的網(wǎng)絡(luò)空間，我們可以發(fā)現(xiàn)與正式場(chǎng)合的言論相比，微博言論的隨意性更強(qiáng)，主觀色彩更濃，容易陷入無(wú)意識(shí)的自由表達(dá)情境之中，這也導(dǎo)致了微博內(nèi)容良莠不齊。為了給微博用戶提供一個(gè)更加正能量的空間，理應(yīng)將正能量和負(fù)能量的微博加以區(qū)分。
　　論文將從尋找微博態(tài)度的角度出發(fā)，利用聚類算法，對(duì)微博的語(yǔ)義和情感

2、兩方面分別進(jìn)行聚類，再根據(jù)聚類結(jié)果對(duì)微博的分類等級(jí)進(jìn)行判定，主要區(qū)分出積極、消極和中性的微博文本。研究?jī)?nèi)容包括以下兩個(gè)部分:
　　首先，由于微博短文本表達(dá)隨意，表現(xiàn)形式不規(guī)范的問(wèn)題，先對(duì)原始的微博文本進(jìn)行預(yù)處理，預(yù)處理的主要工作有分詞，去除停用詞，根據(jù)情感詞典選出情感詞，再利用詞性選擇工具在剩下的詞中選出名詞、動(dòng)詞和形容詞作為語(yǔ)義詞。接著對(duì)特征詞等級(jí)進(jìn)行標(biāo)注，標(biāo)注的等級(jí)分為3等，分別代表了消極、中性和積極。最后使用了應(yīng)用較多且效果

3、較好的向量空間模型表示方法對(duì)微博短文本進(jìn)行建模表示。為了對(duì)微博文本的語(yǔ)義和情感分別進(jìn)行聚類，需要選擇合適的聚類方法，考慮到基于密度的聚類算法具有可以在含有“噪聲”的空間數(shù)據(jù)集中發(fā)現(xiàn)任意形狀的優(yōu)點(diǎn)，因此論文選擇對(duì)傳統(tǒng)的從一點(diǎn)開始擴(kuò)展簇的DBSCAN算法加以優(yōu)化，提出了從多個(gè)點(diǎn)同時(shí)開始擴(kuò)展簇的MPSCAN算法，從而改善DBSCAN算法時(shí)間性能低效的缺點(diǎn)，加快聚類算法的運(yùn)算速率。
　　其次，對(duì)聚類后得到的每一個(gè)類采用了基于文檔頻的特征詞

4、選擇，相似詞匯合并，以及一種求加權(quán)平均值的量化處理方式，使其對(duì)應(yīng)一個(gè)具體的值，再根據(jù)自定義的規(guī)則最終得到文本的分類等級(jí)。實(shí)驗(yàn)中，在數(shù)據(jù)集里抽樣選取了一部分，通過(guò)對(duì)比人工判定的結(jié)果和論文所提方法得到的結(jié)果進(jìn)行校驗(yàn)，校驗(yàn)后發(fā)現(xiàn)相較于積極和中性的文本分類等級(jí)的判定，消極文本的判定效果不夠理想，針對(duì)此現(xiàn)象進(jìn)行了相應(yīng)的分析。
　　針對(duì)論文提出的微博分類等級(jí)判定方法，目的是希望可以大批量的對(duì)微博文本的態(tài)度傾向進(jìn)行區(qū)分，同時(shí)不再單一地考慮微博的