企業(yè)多源輿情監(jiān)測系統(tǒng)研究與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)輿情是人們獲取資訊、表達(dá)觀點(diǎn)的重要渠道，隨著各種各樣以社交為基礎(chǔ)的綜合資訊流通方式不斷出現(xiàn)，輿情來源越來越豐富，且具有較強(qiáng)的社會性、即時性和傳播性。企業(yè)迫切需要對新聞、博客、微博、論壇討論、視頻等進(jìn)行全面、及時、準(zhǔn)確地掌握，以維護(hù)公眾形象，及時應(yīng)對突發(fā)事件，面向企業(yè)決策和應(yīng)急處理的多源輿情采集、分析與監(jiān)測系統(tǒng)應(yīng)運(yùn)而生。
　　本文結(jié)合背景項(xiàng)目需求，對多源輿情監(jiān)測涉及的網(wǎng)頁采集、網(wǎng)頁預(yù)處理、輿情信息判別、突發(fā)事件識別、輿情話題識

2、別與跟蹤、輿情情感傾向分析等技術(shù)進(jìn)行深入調(diào)研，分析了現(xiàn)有算法的局限、缺陷，并針對傳統(tǒng)網(wǎng)頁爬蟲對Web2.0下站點(diǎn)抓取覆蓋率低、向量空間模型的突發(fā)事件識別方案誤判率高、輿情情感傾向識別準(zhǔn)確率不高等關(guān)鍵問題，進(jìn)行了算法和技術(shù)方案創(chuàng)新，設(shè)計(jì)了滿足企業(yè)決策與應(yīng)急處理需求的企業(yè)輿情監(jiān)測系統(tǒng)，進(jìn)行了開發(fā)和測試。
　　論文提出了一種基于DOM狀態(tài)轉(zhuǎn)換的隱網(wǎng)頁信息抽取算法。該算法嵌入瀏覽器環(huán)境，全量構(gòu)建DOM狀態(tài)轉(zhuǎn)換機(jī)，以DOM節(jié)點(diǎn)及其點(diǎn)擊事件作

3、為狀態(tài)機(jī)的輸入事件，應(yīng)用RTDM算法對DOM狀態(tài)空間進(jìn)行壓縮，通過覆蓋監(jiān)聽器方法原型，獲取DOM樹中所有可點(diǎn)擊的節(jié)點(diǎn)作為候選節(jié)點(diǎn)。實(shí)驗(yàn)表明，該算法性能優(yōu)良，對隱網(wǎng)頁內(nèi)容的抽取準(zhǔn)確率達(dá)到89.48％，遠(yuǎn)優(yōu)于傳統(tǒng)方法;提出了一個基于預(yù)分類和命名實(shí)體識別的方法來進(jìn)行突發(fā)事件識別，預(yù)先將文本分類到十個大類下，將搜索規(guī)模縮減為十分之一，定義帶權(quán)NE相似度來進(jìn)行輿情文檔間的比較，實(shí)驗(yàn)表明，帶權(quán)NE相似度的引入對突發(fā)事件識別的準(zhǔn)確率和召回率有提升;提