企業(yè)多源輿情監(jiān)測系統(tǒng)研究與實現(xiàn).pdf

1、互聯(lián)網(wǎng)輿情是人們獲取資訊、表達觀點的重要渠道，隨著各種各樣以社交為基礎的綜合資訊流通方式不斷出現(xiàn)，輿情來源越來越豐富，且具有較強的社會性、即時性和傳播性。企業(yè)迫切需要對新聞、博客、微博、論壇討論、視頻等進行全面、及時、準確地掌握，以維護公眾形象，及時應對突發(fā)事件，面向企業(yè)決策和應急處理的多源輿情采集、分析與監(jiān)測系統(tǒng)應運而生。
　　本文結合背景項目需求，對多源輿情監(jiān)測涉及的網(wǎng)頁采集、網(wǎng)頁預處理、輿情信息判別、突發(fā)事件識別、輿情話題識

2、別與跟蹤、輿情情感傾向分析等技術進行深入調(diào)研，分析了現(xiàn)有算法的局限、缺陷，并針對傳統(tǒng)網(wǎng)頁爬蟲對Web2.0下站點抓取覆蓋率低、向量空間模型的突發(fā)事件識別方案誤判率高、輿情情感傾向識別準確率不高等關鍵問題，進行了算法和技術方案創(chuàng)新，設計了滿足企業(yè)決策與應急處理需求的企業(yè)輿情監(jiān)測系統(tǒng)，進行了開發(fā)和測試。
　　論文提出了一種基于DOM狀態(tài)轉換的隱網(wǎng)頁信息抽取算法。該算法嵌入瀏覽器環(huán)境，全量構建DOM狀態(tài)轉換機，以DOM節(jié)點及其點擊事件作

3、為狀態(tài)機的輸入事件，應用RTDM算法對DOM狀態(tài)空間進行壓縮，通過覆蓋監(jiān)聽器方法原型，獲取DOM樹中所有可點擊的節(jié)點作為候選節(jié)點。實驗表明，該算法性能優(yōu)良，對隱網(wǎng)頁內(nèi)容的抽取準確率達到89.48％，遠優(yōu)于傳統(tǒng)方法;提出了一個基于預分類和命名實體識別的方法來進行突發(fā)事件識別，預先將文本分類到十個大類下，將搜索規(guī)?？s減為十分之一，定義帶權NE相似度來進行輿情文檔間的比較，實驗表明，帶權NE相似度的引入對突發(fā)事件識別的準確率和召回率有提升;提