微博熱點(diǎn)話題感知關(guān)鍵技術(shù)的研究.pdf

1、微博平臺(tái)作為WEB2.0時(shí)代的新產(chǎn)物，近年來(lái)發(fā)展迅速，已經(jīng)成為了社會(huì)輿情傳播的重要載體。對(duì)微博上輿論信息的挖掘、提取、分析和監(jiān)管也就成了重中之重。微博熱點(diǎn)話題感知不但可以挖掘熱點(diǎn)詞匯、熱門事件，還能了解社會(huì)動(dòng)態(tài)和民心所向，具有很強(qiáng)的社會(huì)意義和現(xiàn)實(shí)意義。
　　本文的主要工作如下:
　　(1)針對(duì)微博文本中存在著的大量廣告微博和其余噪聲微博，本文在文本聚類模塊之前加入了廣告過(guò)濾模塊和噪聲過(guò)濾模塊，改進(jìn)了傳統(tǒng)的文本話題感知機(jī)制，提

2、升了文本聚類的效率。根據(jù)廣告用戶共同的行為特征，本文使用了C4.5決策樹(shù)分類算法對(duì)微博進(jìn)行了過(guò)濾，并對(duì)C4.5算法的連續(xù)屬性分割閾值選擇進(jìn)行了優(yōu)化。在噪聲過(guò)濾模塊中，本文提出了基于特征值詞頻的噪聲記分過(guò)濾算法，將不含高頻特征詞條的微博文本視為噪聲濾除。為了防止特征值集合過(guò)大，又考慮到微博話題的實(shí)時(shí)性，給文本詞頻統(tǒng)計(jì)的過(guò)程加上了滑動(dòng)窗口。此外，由于不同詞性的詞對(duì)表征話題具有不同的貢獻(xiàn)度，本文在記分算法中對(duì)詞條進(jìn)行了詞性加權(quán)。該記分算法能對(duì)

3、噪聲微博進(jìn)行有效過(guò)濾。
　　(2)在話題感知模塊中，針對(duì)微博話題的時(shí)效性，本文在傳統(tǒng)的夾角余弦距計(jì)算方法中加入了一個(gè)時(shí)間參數(shù)，提升了文本相似度計(jì)算的準(zhǔn)確性。在文本聚類模塊中，針對(duì)K-means聚類算法的K值和話題中心難以確立的問(wèn)題，本文在聚類算法之前加入了一個(gè)基于特征值集合的初步劃分過(guò)程，優(yōu)化了K-means算法的K值確立和中心選擇方法，提升了算法的性能。傳統(tǒng)的微博話題熱度評(píng)估算法只考慮了用戶的參與度，本文在此基礎(chǔ)上結(jié)合了微博傳播