網絡輿情分析關鍵技術研究與實現.pdf

1、隨著計算機技術和通信技術的飛速發(fā)展，互聯網己成為了人們生活的不可缺少的組成部分。據國際電聯統(tǒng)計，截止至2010年12月，全球互聯網用戶總數已經超過20億。其中，我國的互聯網用戶數量已經超過3.9億。網絡被公認為是繼報紙、廣播、電視之后的“第四媒體”，民眾知情權、表達權、參與權、監(jiān)督權在互聯網上已基本得到落實。網民對企業(yè)、民生、政府管理、反腐敗、社會道德等熱點問題在互聯網上踴躍發(fā)表意見，這些意見形成一種強大的輿論壓力，其影響已經大大超過了

2、傳統(tǒng)媒體。網絡已經成為反映社會輿情的最主要載體。
　　在網絡輿情迅猛發(fā)展的同時，對網絡輿情分析監(jiān)控工作顯得愈發(fā)重要。網絡具有的開放性和相對自由的寬松度，使得民眾發(fā)言擺脫了社會權利體制的管制和限制，可以暢所欲言無所顧忌的表達個人的觀點、立場、情緒，民意表達更為暢通。網絡也由于其虛擬性也帶來了很大的安全隱患，發(fā)言者身份隱蔽，并且缺少規(guī)則限制和有效監(jiān)督，因此網絡很容易成為一些網民發(fā)泄不良情緒的空間。而且由于目前我國正處于社會轉型期，存在

3、諸多矛盾，再加上少數社會管理者對于輿論習慣性的回避或堵塞，因此，非常需要使用輿情分析系統(tǒng)對網絡輿情進行分析監(jiān)控，及時防范誤導性輿論造成的社會危害，把握和保障正確輿論的前進導向，為構建和諧社會的輿情保駕護航。
　　本論文對網絡輿情分析系統(tǒng)進行需求分析，提出了系統(tǒng)的設計方案，并實現了系統(tǒng)中網頁文本分類和文本傾向性分析等關鍵技術。本論文的先進性表現在：
　　1)針對現有的通用爬蟲技術存在的局限性，提出了一種基于爬行策略和過濾策略的

4、數據采集方法，過濾大量無用信息；同時制定了針對輿情分析系統(tǒng)的網頁庫更新策略，保證本地網頁庫的時新性。
　　2)通過對基于樸素貝葉斯的網頁文本分類技術進行研究，提出了一種基于粗糙集改進的樸素貝葉斯分類方法，并將該方法運用到輿情分析系統(tǒng)的輿情分類中。
　　3)通過對現有的基于語義和基于機器學習的文本傾向性分析技術分別進行了探討，并結合兩類方法的優(yōu)點，提出了一種基于語義改進的機器學習文本傾向性分析方法，并將該方法成功的應用到輿情分