web輿情信息自動化采集系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、輿情作為群眾對于社會中存在的某些事件的觀點和態(tài)度的集合，對政府維護社會的穩(wěn)定、了解社會存在的問題，提高政府公信力有積極的作用。同時，輿情對公司準確及時掌握客戶對公司產(chǎn)品和服務(wù)的看法和建議，提升產(chǎn)品和服務(wù)的質(zhì)量，增強公司的綜合競爭力有深遠的戰(zhàn)略意義。Web2.0的興起，為Web輿情信息的自動化采集帶來了重大發(fā)展機遇，同時也對采集技術(shù)提出了新的挑戰(zhàn)。Web信息作為輿情信息的主要載體，因此，解決該類信息的采集問題，顯得更加迫切。從現(xiàn)有的研究成

2、果來看，Web輿情采集需要解決海量數(shù)據(jù)挖掘，數(shù)據(jù)實時分析以及數(shù)據(jù)分析的準確性等問題。
　　本文首先對現(xiàn)有的Web信息抽取技術(shù)的國內(nèi)外研究現(xiàn)狀做了概要的總結(jié)，然后對目前已有的研究成果進行了詳細的分析。結(jié)合實際項目的需要，提出了自己的web輿情信息采集方法。主要研究內(nèi)容如下：
　　1．研究已有的信息采集模型和采集算法，并對它們的功能和優(yōu)缺點進行了對比和分析。采集模型主要包括理解模型、對象模型和視覺模型，采集算法包括本體論算法、馬

3、爾可夫算法等，總結(jié)比較全面。
　　2．研究并提出了可視化信息采集模板生成技術(shù)，將用戶操作行為（包括點擊下一頁超鏈接或者按鈕、點擊網(wǎng)頁某個元素、下拉列表等）轉(zhuǎn)化為采集模板，降低了模板的制作難度，并提高了模板的制作效率。
　　3．實現(xiàn)了基于DOM樹和行塊分布函數(shù)的網(wǎng)頁正文提取子系統(tǒng)，應(yīng)用了xpath和正則表達式等相關(guān)技術(shù)，系統(tǒng)綜合采用了統(tǒng)計與規(guī)則相結(jié)合的方法來解決系統(tǒng)的通用性問題。
　　4．實現(xiàn)了對采集到的web信息進行聚