中文微博文本聚類與話題檢測(cè)的研究.pdf

1、Web2.0技術(shù)獲得發(fā)展以來(lái)，微博這一社會(huì)網(wǎng)絡(luò)新媒體獲得了快速發(fā)展，一方面微博提供大量的可用數(shù)據(jù)，另一方面大量數(shù)據(jù)產(chǎn)生的同時(shí)也造成了數(shù)據(jù)分析的災(zāi)難。如何將微博數(shù)據(jù)按照人的理解迅速劃分出有意義的類別，并進(jìn)一步呈現(xiàn)出感興趣的內(nèi)容，成為微博平臺(tái)下一個(gè)新的重要研究方向。由于微博文本短小，用戶復(fù)雜等特性，傳統(tǒng)的分析方法沒(méi)有達(dá)到令人滿意的效果。
　　本文所研究的中文微博文本聚類與話題檢測(cè)主要包括三方面：數(shù)據(jù)預(yù)處理，微博的聚類，話題檢測(cè)。論文的

2、主要工作包括：
　　數(shù)據(jù)預(yù)處理方面，立足于對(duì)前人研究成果的歸納總結(jié)，首先采用了基于“長(zhǎng)尾現(xiàn)象”的數(shù)據(jù)粗過(guò)濾機(jī)制來(lái)解決由于存在大量的噪聲數(shù)據(jù)，導(dǎo)致的處理效率不高的問(wèn)題；其次提出了“去除停用詞”和基于知網(wǎng)語(yǔ)義關(guān)聯(lián)擴(kuò)展相結(jié)合的方法，該組合方法既保證去除弱表達(dá)詞語(yǔ)，又改善了因數(shù)據(jù)模型和微博文本特性所導(dǎo)致的數(shù)據(jù)稀疏性問(wèn)題和語(yǔ)義不完整問(wèn)題。
　　微博聚類方面，本文主要以K-means算法作為基礎(chǔ)算法，根據(jù)微博數(shù)據(jù)的稀疏性特點(diǎn)提出了一種自

3、動(dòng)確定初始值的K-means算法。該算法有效解決了K-means算法初始值選擇的問(wèn)題，并保證了聚簇的高內(nèi)聚性。最后在K-means聚類結(jié)果的基礎(chǔ)上，本文應(yīng)用閾值融合算法，對(duì)聚簇區(qū)域進(jìn)行合并，提高了聚簇間的相異性，達(dá)到高質(zhì)量的聚類效果。
　　話題檢測(cè)部分，承接前文改進(jìn)的聚類算法，本文在最后通過(guò)分析用戶打分算法，將其改造并移植到聚類算法內(nèi)，實(shí)現(xiàn)了最終的微博話題檢測(cè)算法。通過(guò)這種方法可以在話題檢測(cè)中引入用戶對(duì)話題關(guān)注程度以及參與程度等信