基于關(guān)鍵詞的微博爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著社交網(wǎng)絡(luò)媒體的興起，其中微博已然成為了大眾關(guān)注熱點(diǎn)話題的工具之一。在微博當(dāng)中，人人都可以發(fā)出自己的聲音，也可以聽到別人不同的聲音，因此形成了巨大的信息量、信息碎片化的特點(diǎn)。這個(gè)爬蟲系統(tǒng)是為了能夠更好地服務(wù)大眾，使得個(gè)人、公司、企業(yè)都能及時(shí)地發(fā)覺到自己關(guān)注的話題，然后做出及時(shí)的反饋，避免一些不必要的損失。
　　本文設(shè)計(jì)的爬蟲針對(duì)于微博，主要對(duì)需求相關(guān)關(guān)鍵詞展開搜索，在此搜索結(jié)果中，進(jìn)行廣度優(yōu)先的爬取策略，此爬蟲系統(tǒng)能解決傳統(tǒng)爬蟲

2、無法解決的垂直爬取、動(dòng)態(tài)頁(yè)面和自動(dòng)化登陸問題。
　　本文針對(duì)了微博的問題，從而設(shè)計(jì)并且實(shí)現(xiàn)了一種面向微博的數(shù)據(jù)爬取與解析系統(tǒng)。主要工作是主要利用提供的關(guān)鍵詞，對(duì)微博中已經(jīng)發(fā)布的微博條目進(jìn)行爬取，并抽取出博主信息、微博內(nèi)容、粉絲數(shù)目、評(píng)論數(shù)目等等數(shù)據(jù)，存入數(shù)據(jù)庫(kù)中。主要工作有：
　　1、模擬登陸，本系統(tǒng)能夠通過訪問微博登陸頁(yè)，而不是微博的首頁(yè)，登陸信息是通過Base64加密后發(fā)送給服務(wù)器，獲取cookie后，能夠?qū)崿F(xiàn)自動(dòng)登陸。

3、
　　2、信息的收集和過濾，本系統(tǒng)采用基于關(guān)鍵詞的網(wǎng)絡(luò)爬蟲訪問微博進(jìn)行信息的收集，獲取微博網(wǎng)站的主要頁(yè)面，在頁(yè)面上獲取內(nèi)容，已經(jīng)被系統(tǒng)爬取的網(wǎng)頁(yè)會(huì)被過濾。
　　3、關(guān)鍵內(nèi)容抽取，本系統(tǒng)主要采用基于 JSoup框架和 XPath相結(jié)合的方法對(duì)基于HTML結(jié)構(gòu)頁(yè)面進(jìn)行解析，針對(duì)爬取模塊下載得到的微博網(wǎng)頁(yè)抽取關(guān)鍵信息。
　　4、數(shù)據(jù)更新和存儲(chǔ)，采用固定的爬取周期對(duì)微博源網(wǎng)頁(yè)信息進(jìn)行持續(xù)更新；采用MySQL對(duì)爬蟲系統(tǒng)抽取的信息