基于主題和類別的網(wǎng)絡(luò)新聞采集系統(tǒng)設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)新聞成為人們獲取信息的重要來源之一。網(wǎng)絡(luò)新聞具有傳播速度快、影響范圍大、社會受眾面廣等優(yōu)點，但是也存在一些虛假性、低質(zhì)量的網(wǎng)絡(luò)新聞，網(wǎng)絡(luò)新聞質(zhì)量的參差不齊降低了用戶的閱讀體驗。另外，網(wǎng)絡(luò)新聞在某種程度上成為網(wǎng)絡(luò)輿論的來源和傳播途徑，因此在海量的網(wǎng)絡(luò)新聞數(shù)據(jù)中采集到真實、準確、結(jié)構(gòu)化的網(wǎng)絡(luò)新聞數(shù)據(jù)成為網(wǎng)絡(luò)輿情研究的重點。本文面向主題網(wǎng)絡(luò)新聞和類別網(wǎng)絡(luò)新聞，著重解決了網(wǎng)絡(luò)新聞采集中主題采集、類別采集的問題，并在其基本功

2、能的實現(xiàn)基礎(chǔ)上，進一步考慮提高系統(tǒng)的性能。本文引入了主題爬蟲和SVM分類器的概念，引入了Xpath和多線程的技術(shù)，在以上理論和技術(shù)的基礎(chǔ)上，設(shè)計并實現(xiàn)了一個基于主題和類別的網(wǎng)絡(luò)新聞采集系統(tǒng)，系統(tǒng)具有采集并存儲主題網(wǎng)絡(luò)新聞和類別網(wǎng)絡(luò)新聞的功能。在基于主題的網(wǎng)絡(luò)新聞采集中，本系統(tǒng)通過計算頁面相似度的方法形成爬取的優(yōu)先級隊列，然后通過Xpath技術(shù)抽取主題網(wǎng)絡(luò)新聞的標題、網(wǎng)址、發(fā)布時間、發(fā)布來源、正文等內(nèi)容，最后將采集到的主題性網(wǎng)絡(luò)新聞數(shù)據(jù)存

3、儲到系統(tǒng)數(shù)據(jù)庫中。在基于類別的網(wǎng)絡(luò)新聞采集中，本文引入Libsvm包來實現(xiàn)分類器的訓練和構(gòu)造，然后通過Xpath技術(shù)抽取類別新聞的標題、網(wǎng)址、發(fā)布時間、發(fā)布來源、正文等內(nèi)容，類別包括社會、娛樂、財經(jīng)和體育，最后將采集到的類別性網(wǎng)絡(luò)新聞數(shù)據(jù)存儲到系統(tǒng)數(shù)據(jù)庫中。
　　本研究首先介紹了網(wǎng)絡(luò)新聞采集的研究背景和意義，著重介紹了國內(nèi)外對于主題爬蟲、分類器的研究工作；其次介紹了網(wǎng)絡(luò)新聞采集過程中涉及的理論和技術(shù)，包括Robots協(xié)議、通用網(wǎng)絡(luò)

4、爬蟲、支持向量機、主題爬蟲搜索策略、Xpath技術(shù)等；對系統(tǒng)的需求進行了分析和介紹，對系統(tǒng)的體系結(jié)構(gòu)進行了整體設(shè)計，對系統(tǒng)的模塊組成進行了詳細設(shè)計，其中系統(tǒng)的模塊包括新聞網(wǎng)站種子注入模塊、網(wǎng)頁源代碼獲取模塊、網(wǎng)頁解析模塊、分類模塊、主題過濾模塊、URL調(diào)度模塊、URL去重模塊、網(wǎng)頁信息抽取模塊、數(shù)據(jù)庫存儲模塊；另外，在系統(tǒng)整體設(shè)計和詳細設(shè)計的基礎(chǔ)上，通過調(diào)用 ICTCLAS包和 Libsvm包，實現(xiàn)了以上設(shè)計的諸多模塊，進一步地實現(xiàn)了基