基于詞類和搭配的微博輿情文本聚類方法研究.pdf

1、微博是近年出現(xiàn)的新型互聯(lián)網(wǎng)信息交流平臺，它具有主題分散、體量短小、文體自由等特性，它能對社會產(chǎn)生巨大的影響，所以信息監(jiān)管部門和商業(yè)企業(yè)對基于微博信息的輿情分析都有迫切需求。由于微博的自身特點，這決定了一般的網(wǎng)絡輿情分析技術(shù)不再滿足微博的研究，對此需要做出改進和調(diào)整。隨著微博的快速發(fā)展和流行，基于微博的輿情分析已經(jīng)逐漸成為一個熱門的研究方向。
　　本文根據(jù)微博的特性，提出了基于詞類和搭配的微博輿情文本聚類方法，文章的主要包括：

2、>　　(1)文章首先對輿情分析的相關(guān)技術(shù)做出綜述，說明了目前數(shù)據(jù)采集的幾種方法，接著闡述了文本預處理中的經(jīng)典分詞系統(tǒng)和相關(guān)的一些算法，最后對各種分詞算法的優(yōu)勢和缺陷作出比較和分析，在這前提下介紹了本文采用的分詞工具 ICTCLAS及其優(yōu)勢。
　　(2)文本聚類是本文研究的重點，根據(jù)前人的研究可以知道，向量空間模型（VSM)無法表示具有語義關(guān)系的詞語，比如近義詞和多義詞等。本文利用詞類模型來描述文本，該模型的詞義歸納技術(shù)使用的是LD

3、A(Latent Dirichlet Allocation)主題模型，解決了文本表示時的高維向量向低維向量轉(zhuǎn)化的問題。利用文本中的詞語搭配技術(shù)不僅可以明確研究主題而且可以文本間的相似度計算更加方便，本文提出了基于對數(shù)似然比和熵結(jié)合的自動抽取搭配的方法來識別詞語間的搭配關(guān)系，實驗表明該方法有良好性能。
　　(3)在傳統(tǒng)K均值文本聚類的基礎上同時根據(jù)微博的特性，提出了基于詞類和搭配的微博文本聚類算法，并將該算法同前人提出的基于詞類的文