基于主題的微博網(wǎng)頁爬蟲研究.pdf

1、隨著美國twitter的火熱，國內(nèi)各大微博網(wǎng)站興起，微博在網(wǎng)民中日益火熱。在微博中誕生的各種網(wǎng)絡(luò)熱詞也迅速走紅網(wǎng)絡(luò)，微博效應(yīng)正在逐漸形成，微博成為中國網(wǎng)民上網(wǎng)的主要活動之一。正是由于微博效應(yīng)的形成，微博話題在網(wǎng)民之間迅速傳遞。對于微博信息的獲取以及分析，成為重要的研究對象。為方便微博數(shù)據(jù)的獲取，各大網(wǎng)站微博也相繼提供了抓取微博的API，但這些API都有訪問次數(shù)的限制，無法滿足獲取大量微博數(shù)據(jù)的要求，同時抓取的數(shù)據(jù)往往很雜亂。針對上述問題

2、，本文引入網(wǎng)頁頁面分析技術(shù)和主題相關(guān)性分析技術(shù)，展開基于主題的微博網(wǎng)頁爬蟲的研究與設(shè)計。
　　本文的主要工作有研究分析網(wǎng)頁頁面分析技術(shù)，根據(jù)微博頁面特點選擇微博頁面信息獲取方法；重點描述基于“剪枝”的廣度優(yōu)先搜索策略的思考以及設(shè)計的詳細過程，著重解決URL的去重、URL地址集合動態(tài)變化等問題；研究分析短文本主題抽取技術(shù)以及多關(guān)鍵匹配技術(shù)，確定微博主題相關(guān)性分析的設(shè)計方案；最后設(shè)計實現(xiàn)基于主題的微博網(wǎng)頁爬蟲的原型系統(tǒng)，實時抓取和存儲

3、微博數(shù)據(jù)。本文研究的核心問題是，根據(jù)微博數(shù)據(jù)的特點設(shè)計一種基于“剪枝”的廣度優(yōu)先搜索策略，并將其應(yīng)用到微博爬蟲中；同時使用微博頁面分析技術(shù)使得爬蟲不受微博平臺API限制，從而讓用戶盡可能準確地抓取主題相關(guān)的微博數(shù)據(jù)。
　　通過多次反復(fù)實驗獲取原型系統(tǒng)實驗結(jié)果，將實驗結(jié)果同基于API微博爬蟲和基于網(wǎng)頁微博爬蟲的抓取效果進行對比分析得出結(jié)論：本文提出的爬行策略能夠抓取主題相關(guān)的微博數(shù)據(jù)，雖然在效率上有所降低，但在抓取的微博數(shù)據(jù)具有較好