基于微博的網(wǎng)絡(luò)輿情分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、在互聯(lián)網(wǎng)+時(shí)代，借助各種各樣的社交媒體，人與人之間的交流越來越便捷，成本也越來越低。無論是國家大事、社情民意還是明星八卦，這些信息都在網(wǎng)民的積極討論與交流中迅速地傳播，龐大的社交媒體用戶群產(chǎn)生了數(shù)量巨大的網(wǎng)絡(luò)數(shù)據(jù)，如何在這些非結(jié)構(gòu)化、動態(tài)、海量的數(shù)據(jù)中及時(shí)發(fā)現(xiàn)有價(jià)值的熱點(diǎn)話題、捕捉網(wǎng)絡(luò)輿論的發(fā)展動向，是當(dāng)今自然語言處理領(lǐng)域的研究熱點(diǎn)之一。近年來微博的用戶數(shù)量持續(xù)增長，其影響力也越來越不可小覷，故本論文選用微博作為研究對象，利用網(wǎng)絡(luò)爬蟲技

2、術(shù)獲取微博數(shù)據(jù)。微博文本雖然包含了豐富的社會話題但其數(shù)據(jù)較為特殊，采用傳統(tǒng)的方法對其進(jìn)行話題檢測效果往往差強(qiáng)人意。
　　本文的重點(diǎn)研究內(nèi)容為：話題檢測處理流程中的文本表示模型以及文本聚類算法。針對微博文本的特殊性，本文改進(jìn)了word2vec更新詞向量的方法，并將改進(jìn)的word2vec與TF-IDF（TF-IDF）相結(jié)合，設(shè)計(jì)并實(shí)現(xiàn)了基于Improved-word2vec&TF-IDF的文本表示模型。利用此文本表示方法可將微博數(shù)據(jù)映

3、射為固定維度的文本向量，有效地解決了傳統(tǒng)文本表示模型映射出的向量高維稀疏性、忽略語義相似度的問題。實(shí)驗(yàn)證明，利用該文本表示方法進(jìn)行話題聚類，聚類準(zhǔn)確度比VSM相比提高了19.62％。
　　本文針對經(jīng)典Single-pass算法的兩個(gè)缺陷進(jìn)行了改進(jìn)，并將改進(jìn)的Single-pass聚類算法與凝聚式層次聚類（HAC）算法相結(jié)合，設(shè)計(jì)并實(shí)現(xiàn)了基于Improved-SP&HAC的微博話題檢測聚類算法。Improved-SP&HAC算法分兩