微博熱點(diǎn)話題發(fā)現(xiàn)方法研究.pdf

1、微博自誕生以來就以其廣泛的參與性，改變了人們獲取新聞的方式，近年來許多的熱點(diǎn)新聞都是通過微博首先發(fā)布的，因此對微博進(jìn)行熱點(diǎn)話題挖掘具有重要的現(xiàn)實(shí)意義。但微博信息量大、信息分散等特點(diǎn)使得傳統(tǒng)文本處理的方法已不能適應(yīng)于微博信息的處理，如何快速、準(zhǔn)確地發(fā)現(xiàn)微博熱點(diǎn)話題是本文研究的內(nèi)容。
　　本文在分析微博信息特點(diǎn)的基礎(chǔ)上，使用文本聚類方法提出了一種發(fā)現(xiàn)微博熱點(diǎn)話題的方法，取得的成果如下:
　　(1)提出了一種微博預(yù)處理的方法。根據(jù)

2、微博內(nèi)容上的不同分為原發(fā)、轉(zhuǎn)發(fā)和評論微博，將轉(zhuǎn)發(fā)和評論微博合并到原發(fā)微博中。微博與其它文本不同的一個(gè)特點(diǎn)是存在大量的轉(zhuǎn)發(fā)與評論，它們都是源自原發(fā)微博，因此將轉(zhuǎn)發(fā)和評論微博合并到原發(fā)微博可以在不影響熱點(diǎn)話題發(fā)現(xiàn)結(jié)果的基礎(chǔ)上減小微博文本表示的規(guī)模;此外，微博熱點(diǎn)話題的形成主要是由于用戶對該話題進(jìn)行大量的轉(zhuǎn)發(fā)和評論，將轉(zhuǎn)發(fā)和評論微博合并到原發(fā)微博可以形成預(yù)熱點(diǎn)話題。
　　(2)提出了降低微博文本空間向量表示維度的方法。針對微博中存在大量

3、干擾詞的情況，本文借鑒微博平臺(tái)上的詞頻統(tǒng)計(jì)方法，在微博文本經(jīng)過分詞、去停用詞后，統(tǒng)計(jì)文本中每個(gè)詞匯出現(xiàn)的頻率，將頻率低的詞匯去掉，這樣既去掉部分干擾詞，又降低微博文本向量空間表示的維度。
　　(3)提出了基于預(yù)選熱點(diǎn)話題和時(shí)間窗口限定的單遍聚類與層次聚類相結(jié)合(TW-SPHC)的算法，對微博文本進(jìn)行聚類。針對微博熱點(diǎn)話題存在大量轉(zhuǎn)發(fā)和時(shí)間相近的話題相似性高的特點(diǎn)，本文在單遍聚類前根據(jù)微博合并權(quán)重預(yù)選熱點(diǎn)話題，并設(shè)定時(shí)間窗口以限定文