支持Ajax技術(shù)的Deep Web網(wǎng)絡(luò)爬蟲(chóng)模型研究.pdf

1、快速增長(zhǎng)的網(wǎng)絡(luò)信息資源已經(jīng)成為一個(gè)巨大的信息寶藏。實(shí)際上通用搜索引擎僅能檢索到整個(gè)網(wǎng)絡(luò)資源的一小部分信息(稱之為Surface Web),而大部分更有價(jià)值的信息資源卻不能夠被通用搜索引擎檢索,這些不能被檢索到的信息就稱為Deep Web。對(duì)Deep Web中信息獲取的研究已經(jīng)越來(lái)越受到人們的關(guān)注。
　　 在Deep Web中,有相當(dāng)一部分內(nèi)容因?yàn)橐詣?dòng)態(tài)網(wǎng)頁(yè)的形式存在而不能被有效抓取。究其因?yàn)槭?目前很多網(wǎng)站通過(guò)動(dòng)態(tài)腳本的方式與用

2、戶進(jìn)行交互,特別是以Ajax為代表的技術(shù)在網(wǎng)站開(kāi)發(fā)中得到了廣泛應(yīng)用。Ajax技術(shù)改變了傳統(tǒng)的基于靜態(tài)頁(yè)面的網(wǎng)站架構(gòu),在提高用戶體驗(yàn)度的同時(shí),由于其特性如JavaScript事件執(zhí)行、狀態(tài)識(shí)別與切換等,導(dǎo)致使用Ajax技術(shù)的網(wǎng)站及其后臺(tái)服務(wù)器資源無(wú)法被通用網(wǎng)絡(luò)爬蟲(chóng)抓取,成為了不同于Surface Web的Deep Web資源。針對(duì)如何獲取這類使用Ajax技術(shù)的網(wǎng)站信息的問(wèn)題研究將變得越來(lái)越重要,因此,實(shí)現(xiàn)此類信息的獲取成為了本文工作的出發(fā)

3、點(diǎn)。本文的主要研究?jī)?nèi)容如下:
　　 (1)研究了通用網(wǎng)絡(luò)爬蟲(chóng)的體系結(jié)構(gòu)、工作原理,重點(diǎn)分析其抓取Ajax網(wǎng)頁(yè)所面臨的JavaScript執(zhí)行、狀態(tài)識(shí)別與切換等問(wèn)題?；谝陨涎芯?本文提出了一種基于狀態(tài)倉(cāng)庫(kù)的Deep Web網(wǎng)絡(luò)爬蟲(chóng)(即AjaxFetcher)的體系結(jié)構(gòu)及其基本算法。
　　 (2)該爬蟲(chóng)通過(guò)加入嵌入式瀏覽器的功能,可以模擬執(zhí)行頁(yè)面中的JavaScript事件,接受服務(wù)器端的異步響應(yīng),通過(guò)分析頁(yè)面DOM結(jié)構(gòu)的

4、變化識(shí)別新生成的狀態(tài),逐步生成Ajax網(wǎng)站的狀態(tài)倉(cāng)庫(kù),該狀態(tài)倉(cāng)庫(kù)呈現(xiàn)出了Ajax網(wǎng)站的結(jié)構(gòu)及其各個(gè)頁(yè)面狀態(tài)信息。
　　 (3)由于在Ajax分頁(yè)抓取中對(duì)同一個(gè)函數(shù)的每次調(diào)用都將導(dǎo)致同樣的服務(wù)器端響應(yīng),本文將包含Ajax請(qǐng)求的JavaScript函數(shù)標(biāo)記為熱點(diǎn),通過(guò)緩存數(shù)據(jù)響應(yīng)策略的方法改進(jìn)上述基本算法,從而減少與服務(wù)器端通信所帶來(lái)的性能損耗。
　　 最后本論文通過(guò)設(shè)計(jì)對(duì)比實(shí)驗(yàn)來(lái)驗(yàn)證提出的新型網(wǎng)絡(luò)爬蟲(chóng)的有效性,實(shí)驗(yàn)結(jié)果表明