web輿情信息自動(dòng)化采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、輿情作為群眾對(duì)于社會(huì)中存在的某些事件的觀點(diǎn)和態(tài)度的集合，對(duì)政府維護(hù)社會(huì)的穩(wěn)定、了解社會(huì)存在的問(wèn)題，提高政府公信力有積極的作用。同時(shí)，輿情對(duì)公司準(zhǔn)確及時(shí)掌握客戶對(duì)公司產(chǎn)品和服務(wù)的看法和建議，提升產(chǎn)品和服務(wù)的質(zhì)量，增強(qiáng)公司的綜合競(jìng)爭(zhēng)力有深遠(yuǎn)的戰(zhàn)略意義。Web2.0的興起，為Web輿情信息的自動(dòng)化采集帶來(lái)了重大發(fā)展機(jī)遇，同時(shí)也對(duì)采集技術(shù)提出了新的挑戰(zhàn)。Web信息作為輿情信息的主要載體，因此，解決該類信息的采集問(wèn)題，顯得更加迫切。從現(xiàn)有的研究成

2、果來(lái)看，Web輿情采集需要解決海量數(shù)據(jù)挖掘，數(shù)據(jù)實(shí)時(shí)分析以及數(shù)據(jù)分析的準(zhǔn)確性等問(wèn)題。
　　本文首先對(duì)現(xiàn)有的Web信息抽取技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀做了概要的總結(jié)，然后對(duì)目前已有的研究成果進(jìn)行了詳細(xì)的分析。結(jié)合實(shí)際項(xiàng)目的需要，提出了自己的web輿情信息采集方法。主要研究?jī)?nèi)容如下：
　　1．研究已有的信息采集模型和采集算法，并對(duì)它們的功能和優(yōu)缺點(diǎn)進(jìn)行了對(duì)比和分析。采集模型主要包括理解模型、對(duì)象模型和視覺(jué)模型，采集算法包括本體論算法、馬

3、爾可夫算法等，總結(jié)比較全面。
　　2．研究并提出了可視化信息采集模板生成技術(shù)，將用戶操作行為（包括點(diǎn)擊下一頁(yè)超鏈接或者按鈕、點(diǎn)擊網(wǎng)頁(yè)某個(gè)元素、下拉列表等）轉(zhuǎn)化為采集模板，降低了模板的制作難度，并提高了模板的制作效率。
　　3．實(shí)現(xiàn)了基于DOM樹(shù)和行塊分布函數(shù)的網(wǎng)頁(yè)正文提取子系統(tǒng)，應(yīng)用了xpath和正則表達(dá)式等相關(guān)技術(shù)，系統(tǒng)綜合采用了統(tǒng)計(jì)與規(guī)則相結(jié)合的方法來(lái)解決系統(tǒng)的通用性問(wèn)題。
　　4．實(shí)現(xiàn)了對(duì)采集到的web信息進(jìn)行聚