熱門微博話題事件主題聚類分析.pdf

1、在當(dāng)今的社會中，以互聯(lián)網(wǎng)為載體，產(chǎn)生了與電視、報紙、廣播等傳統(tǒng)媒體近乎對等的網(wǎng)絡(luò)媒體，這些新媒體經(jīng)過不斷地發(fā)展，擁有大量的用戶基礎(chǔ)，它們也成為了社會輿論非常重要的陣地之一，典型的代表有網(wǎng)絡(luò)視頻網(wǎng)站、微博、微信等。這些網(wǎng)絡(luò)輿論陣地，表達的是群眾的意志，是無數(shù)網(wǎng)民自由表達觀點想法的平臺。通過這些平臺，網(wǎng)民隨時隨地發(fā)表身邊的新鮮事，或者發(fā)表對熱門微博話題的看法和觀點，而這些微博上的輿論信息能夠很好的反映人們真實的想法，能夠從中挖掘出許多有價值

2、的信息。因此對這些平臺上的內(nèi)容進行研究，有著許多重要的意義，比如輿情分析、新媒體營銷、品牌維護等。
　　微博是基于關(guān)注關(guān)系形成的社交網(wǎng)絡(luò)，用戶可以發(fā)表少于140個字的文本，對別人的微博進行點贊、評論、轉(zhuǎn)發(fā)。隨著近幾年的發(fā)展，用戶數(shù)快速增長，每天都會生成海量的數(shù)據(jù)。隨著數(shù)據(jù)量的爆炸式增長，用戶越來越感覺到，從這些數(shù)據(jù)中獲取自己關(guān)心的有價值的信息越來越難。第一，微博內(nèi)容五花八門，良莠不齊，充斥著許多垃圾信息;第二，對于特定事件，每個人

3、看問題的角度或者目的不同，摻雜的情感也不同，所以都會有一些不同的看法;第三，隨著事件討論熱度變化，或者一些新的情況出現(xiàn)，事件的輿論發(fā)生改變，如何準確獲取這些演變，也是一個值得研究的問題。對微博的分析研究，有助于我們發(fā)現(xiàn)其中蘊含的輿論觀點，感情傾向，為決策和預(yù)測提供可靠而寶貴的信息支撐。
　　本文從文本挖掘的基本概念開始，討論了相關(guān)的算法和基本技術(shù)，文本的表示方法，文本挖掘的相關(guān)理論。接著詳述了LDA（Latent Dirichle

4、t Allocation，潛在狄利克雷分布）主題模型，包括模型的數(shù)學(xué)基礎(chǔ)、評估、推斷。本文的主要研究工作有:
　　1.通過新詞發(fā)現(xiàn)、詞頻TF和逆文檔頻率IDF進行詞級特征選擇，能夠很好的挑選出良好的特征，剔除不良特征;
　　2.使用LDA主題模型對數(shù)據(jù)建模，然后進行主題聚類，分析主題的變化，提出了主題詞及其權(quán)重作為二元組的元素結(jié)合動態(tài)閾值進行新主題發(fā)現(xiàn)的方法;
　　3.提出了“一篇短文本有且僅有一個主要主題”假設(shè)。基于

5、這個假設(shè)，使用文本主題分布中的主要主題作為分類決定因素，對文本進行分類，提出了一種先主題聚類再文本分類的方法。
　　實驗中，面向有關(guān)巴黎恐怖襲擊微博數(shù)據(jù)和百度知道數(shù)據(jù)，采用本文提出的算法，對實驗結(jié)果進行分析，以驗證本文提出的方法。實驗結(jié)果分析表明，本文的特征選擇方法改進了LDA主題模型的建模效果;基于主題詞及其權(quán)重的新主題發(fā)現(xiàn)算法能夠很好的發(fā)現(xiàn)新主題，這些新主題對應(yīng)著話題下的一些熱門子話題;基于主題聚類的文本分類方法，相比較傳統(tǒng)的