面向動(dòng)態(tài)頁面的網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)從誕生到現(xiàn)在，已經(jīng)聚集了海量的信息資源，然而這些信息在網(wǎng)絡(luò)中的存放雜亂無章，使人們?cè)讷@取信息的時(shí)候遇到困難，搜索引擎是的產(chǎn)生就是為了幫助人們更好地從互聯(lián)網(wǎng)中檢索信息，它已經(jīng)成為互聯(lián)網(wǎng)中最不可或缺的工具。本文在學(xué)習(xí)了網(wǎng)絡(luò)爬蟲程序的工作原理、遍歷策略、網(wǎng)頁排序算法、DeepWeb等知識(shí)的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)能自動(dòng)從目標(biāo)網(wǎng)站中提取各種頁面的系統(tǒng)。網(wǎng)絡(luò)爬蟲程序是搜索引擎中用于下載Web頁面的重要組成部分，隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展變化，

2、對(duì)于如何增強(qiáng)網(wǎng)絡(luò)爬蟲程序的工作能力來適應(yīng)變化的Web應(yīng)用程序已經(jīng)成為國內(nèi)外學(xué)習(xí)研究的熱點(diǎn)。傳統(tǒng)的網(wǎng)絡(luò)爬蟲程序只能抓取互聯(lián)網(wǎng)表層的可索引頁面，它們忽視了大量的必須經(jīng)過動(dòng)態(tài)技術(shù)才能獲取的處于網(wǎng)絡(luò)深層的頁面，因此研究面向動(dòng)態(tài)頁面的網(wǎng)絡(luò)爬蟲系統(tǒng)非常具有實(shí)用價(jià)值。
　　 本文根據(jù)動(dòng)態(tài)頁面產(chǎn)生的多種原因，如利用HTML表單查詢數(shù)據(jù)庫動(dòng)態(tài)生成頁面、AJAX技術(shù)動(dòng)態(tài)執(zhí)行腳本后生成新的頁面，提出了多種提取動(dòng)態(tài)頁面的方案，使得網(wǎng)絡(luò)爬蟲系統(tǒng)能夠從目標(biāo)

3、網(wǎng)站中得到更多傳統(tǒng)爬蟲系統(tǒng)無法獲取的Web頁面。面向動(dòng)態(tài)頁面的網(wǎng)絡(luò)爬蟲系統(tǒng)使用多線程對(duì)Web頁面進(jìn)行同步的下載和分析，提取Web頁面中的所有靜態(tài)鏈接、表單、JavaScript腳本代碼以及JavaScript頁面事件，通過模擬用戶填寫表單和觸發(fā)事件執(zhí)行腳本來獲取頁面中的動(dòng)態(tài)鏈接，并將提取的所有鏈接使用布隆過濾器存儲(chǔ)，將鏈接通過多個(gè)互不相關(guān)的hash函數(shù)映射到一快內(nèi)存的多個(gè)比特位上，能夠迅速地判斷鏈接是否重復(fù)，大大地提高了效率，最后對(duì)該系