基于AJAX技術(shù)的Deep Web爬蟲實現(xiàn)方法研究.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，越來越多的信息在網(wǎng)上發(fā)布，這給人們查詢信息帶來了巨大便利的同時，也使得人們面對大量的信息不知所措，尋找一條自己想要的信息變得異常困難。因此，人們開發(fā)了搜索引擎，并試圖通過它實現(xiàn)用戶信息的快速準確查詢。目前的搜索引擎能夠檢索的僅僅是World Wide Web提供的小部分稱為Surface Web的信息。大量的Deep Web信息（估計容量是Surface Web的500倍）對這些搜索引擎是不可見的。特別是近年來，隨

2、著Web2.0的興起，AJAX技術(shù)在Web中獲得大量使用。AJAX采用異步通信機制，從服務器獲取數(shù)據(jù)后動態(tài)修改Web頁面內(nèi)容，導致傳統(tǒng)網(wǎng)絡爬蟲采集的內(nèi)容遠少于頁面呈現(xiàn)的內(nèi)容。因此，需要開發(fā)一個基于AJAX技術(shù)的Deep Web爬蟲來實現(xiàn)此類信息的搜索。
　　本文通過對傳統(tǒng)網(wǎng)絡爬蟲實現(xiàn)方法和技術(shù)的研究，提出了一個基于AJAX技術(shù)的Deep Web爬蟲的基本結(jié)構(gòu)框架，并對框架中各模塊的實現(xiàn)方法進行了研究。此框架由URL Server模

3、塊、網(wǎng)頁采集模塊、HTML解析模塊、JavaScript解析器、頁面生成模塊五部分組成。和傳統(tǒng)網(wǎng)絡爬蟲不同的是，基于AJAX技術(shù)的Deep Web爬蟲不僅分析頁面中的超鏈接和頁面內(nèi)容，還要分析JavaScript文件和代碼，這些JavaScript文件和代碼需要在HTML解析模塊中抓取，并在JavaScript解析器中解釋執(zhí)行，其解釋執(zhí)行的結(jié)果是生成新的頁面的基礎?；贏JAX技術(shù)的Deep Web爬蟲與傳統(tǒng)網(wǎng)絡爬蟲的不同主要體現(xiàn)在HT