網(wǎng)絡(luò)輿情信息挖掘系統(tǒng)的研究.pdf

1、隨著科技的迅速發(fā)展，網(wǎng)絡(luò)已成為中國(guó)公眾表達(dá)民意、討論公共事務(wù)、參與經(jīng)濟(jì)社會(huì)及政治生活以及進(jìn)行輿論監(jiān)督的重要公共平臺(tái)，伴之而來的是政府有關(guān)部門對(duì)網(wǎng)絡(luò)輿情的管理問題，如何能夠及時(shí)發(fā)現(xiàn)輿情熱點(diǎn)、正確引導(dǎo)民意走勢(shì)是當(dāng)前急需解決的難點(diǎn)。 輿情挖掘技術(shù)就是在這種背景下應(yīng)運(yùn)而生的，傳統(tǒng)的信息挖掘技術(shù)分為互聯(lián)網(wǎng)內(nèi)容挖掘、日志挖掘、超鏈接拓?fù)浣Y(jié)構(gòu)挖掘三種。隨著信息多元化的增長(zhǎng)，輿情信息的挖掘往往是針對(duì)受限領(lǐng)域和面向特定主題的，而單一挖掘(如Pag

2、eRank，HITS)引擎的召回率和精確率都是很低的，顯然已經(jīng)不能滿足用戶對(duì)特定主題更深入的挖掘需求。因此，本文中將Web內(nèi)容挖掘與超鏈接挖掘相結(jié)合，將文本相似度計(jì)算技術(shù)引入到PageRank算法當(dāng)中，構(gòu)成了基于余弦相似度計(jì)算技術(shù)的Cosine Similarity PageRank(CSP)算法。經(jīng)過多次實(shí)驗(yàn)比較，發(fā)現(xiàn)CSP算法在優(yōu)化整個(gè)網(wǎng)絡(luò)的PageRank值上有更明顯的效果。 本文以CSP算法為核心，構(gòu)建了包含挖掘模塊、挖

3、掘策略管理模塊、用戶管理模塊、故障管理模塊四大模塊的網(wǎng)絡(luò)信息挖掘系統(tǒng)，系統(tǒng)主要完成網(wǎng)頁(yè)郵件等網(wǎng)絡(luò)媒介的輿情挖掘、文本分類、概念聚類、相似度分析、自動(dòng)文摘、優(yōu)化排序等任務(wù)。系統(tǒng)在經(jīng)過主題確立、優(yōu)化初始種子等挖掘策略后獲得輿情資源，并通過文本分析技術(shù)進(jìn)行特征提取，生成輿情信息文摘，接著采用文本分類技術(shù)來進(jìn)行文檔自動(dòng)分類，將分類后的文檔進(jìn)行概念聚類，產(chǎn)生概念空間，然后采用神經(jīng)網(wǎng)絡(luò)算法建立具有聯(lián)想功能的語(yǔ)義索引，最后為用戶提供基于概念空間的檢索