基于AJAX技術(shù)的Deep Web爬蟲實(shí)現(xiàn)方法研究.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，越來(lái)越多的信息在網(wǎng)上發(fā)布，這給人們查詢信息帶來(lái)了巨大便利的同時(shí)，也使得人們面對(duì)大量的信息不知所措，尋找一條自己想要的信息變得異常困難。因此，人們開發(fā)了搜索引擎，并試圖通過(guò)它實(shí)現(xiàn)用戶信息的快速準(zhǔn)確查詢。目前的搜索引擎能夠檢索的僅僅是World Wide Web提供的小部分稱為Surface Web的信息。大量的Deep Web信息（估計(jì)容量是Surface Web的500倍）對(duì)這些搜索引擎是不可見(jiàn)的。特別是近年來(lái)，隨

2、著Web2.0的興起，AJAX技術(shù)在Web中獲得大量使用。AJAX采用異步通信機(jī)制，從服務(wù)器獲取數(shù)據(jù)后動(dòng)態(tài)修改Web頁(yè)面內(nèi)容，導(dǎo)致傳統(tǒng)網(wǎng)絡(luò)爬蟲采集的內(nèi)容遠(yuǎn)少于頁(yè)面呈現(xiàn)的內(nèi)容。因此，需要開發(fā)一個(gè)基于AJAX技術(shù)的Deep Web爬蟲來(lái)實(shí)現(xiàn)此類信息的搜索。
　　本文通過(guò)對(duì)傳統(tǒng)網(wǎng)絡(luò)爬蟲實(shí)現(xiàn)方法和技術(shù)的研究，提出了一個(gè)基于AJAX技術(shù)的Deep Web爬蟲的基本結(jié)構(gòu)框架，并對(duì)框架中各模塊的實(shí)現(xiàn)方法進(jìn)行了研究。此框架由URL Server模

3、塊、網(wǎng)頁(yè)采集模塊、HTML解析模塊、JavaScript解析器、頁(yè)面生成模塊五部分組成。和傳統(tǒng)網(wǎng)絡(luò)爬蟲不同的是，基于AJAX技術(shù)的Deep Web爬蟲不僅分析頁(yè)面中的超鏈接和頁(yè)面內(nèi)容，還要分析JavaScript文件和代碼，這些JavaScript文件和代碼需要在HTML解析模塊中抓取，并在JavaScript解析器中解釋執(zhí)行，其解釋執(zhí)行的結(jié)果是生成新的頁(yè)面的基礎(chǔ)?；贏JAX技術(shù)的Deep Web爬蟲與傳統(tǒng)網(wǎng)絡(luò)爬蟲的不同主要體現(xiàn)在HT