基于Na_ve Bayes算法的定向爬蟲(chóng)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著高速發(fā)展計(jì)算機(jī)技術(shù)以及日益普及的計(jì)算機(jī)網(wǎng)絡(luò)，當(dāng)前網(wǎng)絡(luò)成為各種媒體傳播信息、發(fā)表觀點(diǎn)的重要途徑。根據(jù)2016年發(fā)布的第37次《中國(guó)互聯(lián)網(wǎng)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示，到2015年12月為止，我國(guó)的網(wǎng)民的數(shù)量已達(dá)到6.88億，互聯(lián)網(wǎng)的普及率達(dá)到50.3％，較2014年提升了2.4個(gè)百分點(diǎn)。網(wǎng)絡(luò)在人們生活中扮演著越來(lái)越重要的角色。然而，當(dāng)網(wǎng)絡(luò)中某一事件受到大家關(guān)注并廣泛傳播時(shí)就會(huì)形成網(wǎng)絡(luò)輿情，面對(duì)海量的網(wǎng)絡(luò)數(shù)據(jù)，如何對(duì)數(shù)據(jù)進(jìn)行采集并發(fā)現(xiàn)熱點(diǎn)輿情

2、以及對(duì)輿情進(jìn)行分析和預(yù)警成為了現(xiàn)在的一個(gè)熱門話題。也因此，定向爬蟲(chóng)作為輿情發(fā)現(xiàn)的重要數(shù)據(jù)獲取方式受到人們的廣泛關(guān)注。
　　本論文學(xué)習(xí)和研究了當(dāng)今主流的幾種信息采集系統(tǒng)，并且研讀了大量的數(shù)據(jù)采集方面的學(xué)術(shù)論文。當(dāng)前主流的爬蟲(chóng)系統(tǒng)主要分三類：傳統(tǒng)爬蟲(chóng)、主題爬蟲(chóng)和定向爬蟲(chóng)。傳統(tǒng)爬蟲(chóng)作為最早出現(xiàn)的爬蟲(chóng)，它是其他兩種爬蟲(chóng)技術(shù)的基礎(chǔ)；主題爬蟲(chóng)在傳統(tǒng)爬蟲(chóng)的基礎(chǔ)上加入主題算法對(duì)爬行范圍及策略進(jìn)行優(yōu)化對(duì)某一主題相關(guān)的數(shù)據(jù)進(jìn)行采集，雖然該方法在一定程

3、度上提高了采集數(shù)據(jù)的精度，但是由于算法本身的限制，得到的結(jié)果仍不能用于對(duì)數(shù)據(jù)精度要求較高的領(lǐng)域；定向爬蟲(chóng)只對(duì)特定的網(wǎng)頁(yè)進(jìn)行數(shù)據(jù)采集，根據(jù)系統(tǒng)集成的模版信息匹配網(wǎng)頁(yè)中的目標(biāo)數(shù)據(jù)，該種方法采集范圍較小，并且由于采集中若要精確的采集數(shù)據(jù)通常要構(gòu)造復(fù)雜的正則表達(dá)式，但是定向爬蟲(chóng)相對(duì)于主題爬蟲(chóng)來(lái)說(shuō)采集精度更高一些，速率更快。
　　基于以上對(duì)當(dāng)前主流爬蟲(chóng)系統(tǒng)的分析，發(fā)現(xiàn)如果在當(dāng)前定向爬蟲(chóng)的基礎(chǔ)上加入分類器會(huì)使得爬蟲(chóng)有更高的數(shù)據(jù)采集精度，以達(dá)到

4、對(duì)輿情精準(zhǔn)分析的目標(biāo)，因此本文構(gòu)建了一種基于Na+i+veBayes分類器的定向爬蟲(chóng)系統(tǒng)。本文對(duì)定向爬蟲(chóng)做了如下改進(jìn)：
　　(1)在采集方式上使用正則表達(dá)式與XPath混合式采集。由于正則表達(dá)式適用范圍廣，但是噪聲大；XPath方法采集精度高，但是對(duì)頁(yè)面結(jié)構(gòu)要求嚴(yán)格，因此在本系統(tǒng)中將兩種方法相結(jié)合，從而取長(zhǎng)補(bǔ)短。
　　(2)在系統(tǒng)采集的過(guò)程中加入Nai(i)ve Bayes分類器對(duì)數(shù)據(jù)進(jìn)行去噪，從而達(dá)到提高系統(tǒng)準(zhǔn)確性的效果。

5、
　　本系統(tǒng)基于C＃語(yǔ)言，開(kāi)發(fā)工具為Visual Studio2013，數(shù)據(jù)庫(kù)存儲(chǔ)采用的是SQL Server2008?？刹杉v訊新聞、新浪新聞、騰訊新聞、搜狐新聞、網(wǎng)信網(wǎng)等十幾個(gè)主流新聞門戶網(wǎng)站。該系統(tǒng)與傳統(tǒng)的爬蟲(chóng)系統(tǒng)相比，可以精確地采集用戶需要的數(shù)據(jù)，并且減少垃圾數(shù)據(jù)的采集，從而也使得該系統(tǒng)不但采集效率高而且數(shù)據(jù)精確。
　　本系統(tǒng)主要設(shè)計(jì)為四個(gè)模塊，分別為目標(biāo)網(wǎng)址選擇模塊、數(shù)據(jù)采集模塊、數(shù)據(jù)處理模塊以及數(shù)據(jù)存儲(chǔ)模塊。