基于微博的網(wǎng)絡(luò)輿情分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、在互聯(lián)網(wǎng)+時(shí)代，借助各種各樣的社交媒體，人與人之間的交流越來(lái)越便捷，成本也越來(lái)越低。無(wú)論是國(guó)家大事、社情民意還是明星八卦，這些信息都在網(wǎng)民的積極討論與交流中迅速地傳播，龐大的社交媒體用戶(hù)群產(chǎn)生了數(shù)量巨大的網(wǎng)絡(luò)數(shù)據(jù)，如何在這些非結(jié)構(gòu)化、動(dòng)態(tài)、海量的數(shù)據(jù)中及時(shí)發(fā)現(xiàn)有價(jià)值的熱點(diǎn)話(huà)題、捕捉網(wǎng)絡(luò)輿論的發(fā)展動(dòng)向，是當(dāng)今自然語(yǔ)言處理領(lǐng)域的研究熱點(diǎn)之一。近年來(lái)微博的用戶(hù)數(shù)量持續(xù)增長(zhǎng)，其影響力也越來(lái)越不可小覷，故本論文選用微博作為研究對(duì)象，利用網(wǎng)絡(luò)爬蟲(chóng)技

2、術(shù)獲取微博數(shù)據(jù)。微博文本雖然包含了豐富的社會(huì)話(huà)題但其數(shù)據(jù)較為特殊，采用傳統(tǒng)的方法對(duì)其進(jìn)行話(huà)題檢測(cè)效果往往差強(qiáng)人意。
　　本文的重點(diǎn)研究?jī)?nèi)容為：話(huà)題檢測(cè)處理流程中的文本表示模型以及文本聚類(lèi)算法。針對(duì)微博文本的特殊性，本文改進(jìn)了word2vec更新詞向量的方法，并將改進(jìn)的word2vec與TF-IDF（TF-IDF）相結(jié)合，設(shè)計(jì)并實(shí)現(xiàn)了基于Improved-word2vec&TF-IDF的文本表示模型。利用此文本表示方法可將微博數(shù)據(jù)映

3、射為固定維度的文本向量，有效地解決了傳統(tǒng)文本表示模型映射出的向量高維稀疏性、忽略語(yǔ)義相似度的問(wèn)題。實(shí)驗(yàn)證明，利用該文本表示方法進(jìn)行話(huà)題聚類(lèi)，聚類(lèi)準(zhǔn)確度比VSM相比提高了19.62％。
　　本文針對(duì)經(jīng)典Single-pass算法的兩個(gè)缺陷進(jìn)行了改進(jìn)，并將改進(jìn)的Single-pass聚類(lèi)算法與凝聚式層次聚類(lèi)（HAC）算法相結(jié)合，設(shè)計(jì)并實(shí)現(xiàn)了基于Improved-SP&HAC的微博話(huà)題檢測(cè)聚類(lèi)算法。Improved-SP&HAC算法分兩