網(wǎng)絡(luò)輿情分析關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)技術(shù)和通信技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)己成為了人們生活的不可缺少的組成部分。據(jù)國(guó)際電聯(lián)統(tǒng)計(jì)，截止至2010年12月，全球互聯(lián)網(wǎng)用戶總數(shù)已經(jīng)超過20億。其中，我國(guó)的互聯(lián)網(wǎng)用戶數(shù)量已經(jīng)超過3.9億。網(wǎng)絡(luò)被公認(rèn)為是繼報(bào)紙、廣播、電視之后的“第四媒體”，民眾知情權(quán)、表達(dá)權(quán)、參與權(quán)、監(jiān)督權(quán)在互聯(lián)網(wǎng)上已基本得到落實(shí)。網(wǎng)民對(duì)企業(yè)、民生、政府管理、反腐敗、社會(huì)道德等熱點(diǎn)問題在互聯(lián)網(wǎng)上踴躍發(fā)表意見，這些意見形成一種強(qiáng)大的輿論壓力，其影響已經(jīng)大大超過了

2、傳統(tǒng)媒體。網(wǎng)絡(luò)已經(jīng)成為反映社會(huì)輿情的最主要載體。
　　在網(wǎng)絡(luò)輿情迅猛發(fā)展的同時(shí)，對(duì)網(wǎng)絡(luò)輿情分析監(jiān)控工作顯得愈發(fā)重要。網(wǎng)絡(luò)具有的開放性和相對(duì)自由的寬松度，使得民眾發(fā)言擺脫了社會(huì)權(quán)利體制的管制和限制，可以暢所欲言無所顧忌的表達(dá)個(gè)人的觀點(diǎn)、立場(chǎng)、情緒，民意表達(dá)更為暢通。網(wǎng)絡(luò)也由于其虛擬性也帶來了很大的安全隱患，發(fā)言者身份隱蔽，并且缺少規(guī)則限制和有效監(jiān)督，因此網(wǎng)絡(luò)很容易成為一些網(wǎng)民發(fā)泄不良情緒的空間。而且由于目前我國(guó)正處于社會(huì)轉(zhuǎn)型期，存在

3、諸多矛盾，再加上少數(shù)社會(huì)管理者對(duì)于輿論習(xí)慣性的回避或堵塞，因此，非常需要使用輿情分析系統(tǒng)對(duì)網(wǎng)絡(luò)輿情進(jìn)行分析監(jiān)控，及時(shí)防范誤導(dǎo)性輿論造成的社會(huì)危害，把握和保障正確輿論的前進(jìn)導(dǎo)向，為構(gòu)建和諧社會(huì)的輿情保駕護(hù)航。
　　本論文對(duì)網(wǎng)絡(luò)輿情分析系統(tǒng)進(jìn)行需求分析，提出了系統(tǒng)的設(shè)計(jì)方案，并實(shí)現(xiàn)了系統(tǒng)中網(wǎng)頁(yè)文本分類和文本傾向性分析等關(guān)鍵技術(shù)。本論文的先進(jìn)性表現(xiàn)在：
　　1)針對(duì)現(xiàn)有的通用爬蟲技術(shù)存在的局限性，提出了一種基于爬行策略和過濾策略的

4、數(shù)據(jù)采集方法，過濾大量無用信息；同時(shí)制定了針對(duì)輿情分析系統(tǒng)的網(wǎng)頁(yè)庫(kù)更新策略，保證本地網(wǎng)頁(yè)庫(kù)的時(shí)新性。
　　2)通過對(duì)基于樸素貝葉斯的網(wǎng)頁(yè)文本分類技術(shù)進(jìn)行研究，提出了一種基于粗糙集改進(jìn)的樸素貝葉斯分類方法，并將該方法運(yùn)用到輿情分析系統(tǒng)的輿情分類中。
　　3)通過對(duì)現(xiàn)有的基于語(yǔ)義和基于機(jī)器學(xué)習(xí)的文本傾向性分析技術(shù)分別進(jìn)行了探討，并結(jié)合兩類方法的優(yōu)點(diǎn)，提出了一種基于語(yǔ)義改進(jìn)的機(jī)器學(xué)習(xí)文本傾向性分析方法，并將該方法成功的應(yīng)用到輿情分