面向AJAX腳本網絡的網頁爬行及解析技術的研究與實現.pdf

1、隨著Web2.0時代的到來，具有AJAX異步傳輸特征的動態(tài)網站已經逐漸成為互聯(lián)網中的主流表現形式。該技術雖然實現了與服務器的異步通信，帶來了良好的用戶體驗，但是卻改變了基于靜態(tài)頁面的傳統(tǒng)Web站點的架構。這導致傳統(tǒng)網絡爬蟲無法獲取動態(tài)站點中的所有頁面信息，隱藏在服務器端的很多數據內容無法被獲取并進行進一步的分析與利用，造成了資源的浪費。
　　通過上述現狀，本文首先分析了AJAX技術的工作原理與主要特點，以及網頁分析的核心技術，構建

2、了動態(tài)網頁數據獲取的模型。在此基礎上，提出了一種基于動態(tài)腳本分析的網頁爬行及解析的方法。該方法首先通過對動態(tài)頁面結構與內容的解析完成了識別第三方框架、分類相似站點、確定頁面事件標簽集合、頁面表單的自動填寫等工作。利用Watij模擬用戶操作并通過內嵌Selenium腳本解析器順序執(zhí)行相應腳本程序。采用廣度優(yōu)先的頁面爬行策略、XMLHttpRequest對象監(jiān)聽和DOM樹結構相似性判斷相結合的頁面狀態(tài)判定方式、基于狀態(tài)轉換圖的狀態(tài)轉換控制方

3、法實現了動態(tài)頁面的數據獲取。通過路徑存儲倉庫和本地緩存的加入，有效地減少了頁面重新加載次數且較好地處理了服務器端的主動數據更新。
　　基于該方法的工作原理和處理流程，本文設計并實現了一個用于獲取動態(tài)網頁數據信息的原型系統(tǒng)。
　　實驗表明，本文提出的算法能夠有效地對動態(tài)網頁進行解析并獲取其中的數據信息。對算法做出的優(yōu)化，使得該算法在不影響數據獲取準確率的情況下，執(zhí)行時間大大降低，性能較同類型其他算法有顯著提升。本文所實現的動態(tài)