網(wǎng)站文本數(shù)據(jù)采集系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、互聯(lián)網(wǎng)輿情監(jiān)測系統(tǒng)實時監(jiān)測網(wǎng)絡(luò)信息傳播，是新媒介發(fā)展的產(chǎn)物。輿情監(jiān)測讓用戶第一時間發(fā)現(xiàn)輿情，追蹤輿情，了解輿情發(fā)展，使預(yù)防違法犯罪成為可能?；ヂ?lián)網(wǎng)爬蟲作為輿情監(jiān)測的一部分，很大程度上決定了輿情監(jiān)測的實時性。本文設(shè)計并實現(xiàn)了網(wǎng)站文本數(shù)據(jù)采集系統(tǒng)，通過用戶配置網(wǎng)站模板等相關(guān)信息，定制抓取目標(biāo)網(wǎng)站內(nèi)容，為輿情系統(tǒng)提供實時數(shù)據(jù)源。
　　本文設(shè)計的網(wǎng)站文本數(shù)據(jù)采集系統(tǒng)主要通過爬蟲資源配置與監(jiān)控平臺和爬蟲抓取信息平臺兩個子系統(tǒng)來實現(xiàn)對定制網(wǎng)站

2、內(nèi)容的抓取。爬蟲資源配置與監(jiān)控平臺采用Struts2和Spring等JavaEE開源開發(fā)框架，利用系統(tǒng)分層結(jié)構(gòu)和模塊化設(shè)計，提高了系統(tǒng)開發(fā)效率與可擴展性。爬蟲抓取信息平臺參考SourceForge開源網(wǎng)絡(luò)爬蟲Heritrix項目架構(gòu)，進行了重新設(shè)計開發(fā)，以適應(yīng)自身產(chǎn)品需要。爬蟲資源配置與監(jiān)控平臺主要負責(zé)對待抓取的網(wǎng)站信息進行配置，包括:站點、頻道、種子、模板等配置信息。另外平臺實現(xiàn)了對配置模板的測試功能，驗證模板配置的準(zhǔn)確性。同時平臺提

3、供了爬蟲抓取歷史動態(tài)展示圖，方便用戶監(jiān)測后臺爬蟲抓取數(shù)量。還可以導(dǎo)出模板錯誤記錄，進行錯誤模板的修改。爬蟲抓取信息平臺主要負責(zé)對配置網(wǎng)站信息的抓取，通過種子加載、網(wǎng)頁下載、網(wǎng)頁解析、存儲四步，實現(xiàn)對網(wǎng)頁內(nèi)容的采集。在系統(tǒng)設(shè)計和開發(fā)過程中，作者參與并完成了以下五個方面的工作:
　　(1)搜集客戶需求，調(diào)查爬蟲產(chǎn)品現(xiàn)狀，整理出本系統(tǒng)的整體需求與各模塊的功能需求。
　　(2)完成了系統(tǒng)總體架構(gòu)設(shè)計與功能模塊劃分。
　　(3)

4、根據(jù)各功能模塊劃分，進行了各模塊功能解決方案的制定，根據(jù)方案，作者完成了網(wǎng)站信息配置管理、模板測試、抓取記錄狀態(tài)展示、爬蟲種子獲取、HTML下載、模板解析、存儲等模塊的設(shè)計。
　　(4)作者根據(jù)具體設(shè)計，對各功能模塊進行了編程實現(xiàn)。
　　(5)作者對重點開發(fā)模塊進行了功能測試，并對采集準(zhǔn)確度進行了驗證。
　　本系統(tǒng)作為內(nèi)部測試版本，可以滿足客戶基本需要，但仍舊未成為部門有競爭力的產(chǎn)品。未來，需要在模板自動化配置與爬蟲采