基于用戶界面狀態(tài)改變的Ajax動態(tài)網(wǎng)頁爬取算法研究.pdf

1、現(xiàn)在的Web應(yīng)用程序中，由于JavaScript和動態(tài)文檔對象模型具有的高交互性和快速的應(yīng)答能力，使得它們在Web應(yīng)用程序端得到越來越廣泛的應(yīng)用。近年來隨著Web2.0的興起，在網(wǎng)頁開發(fā)中也開始大量的運用Ajax技術(shù)。傳統(tǒng)的Web站點中每一個URL標(biāo)志一個靜態(tài)頁面，而在Ajax應(yīng)用中，一個頁面可能有很多狀態(tài)變化，這種狀態(tài)變化并不能通過頁面的URL體現(xiàn)出來，而是通過文檔對象模型(DOM)結(jié)構(gòu)的動態(tài)變化來展現(xiàn)，所以對Ajax程序的爬取不同于

2、對傳統(tǒng)的網(wǎng)頁爬取。現(xiàn)有的一些對Ajax網(wǎng)頁爬取的算法存在爬取準(zhǔn)確度不高或者狀態(tài)爆炸等的問題，本論文結(jié)合Ajax動態(tài)網(wǎng)頁的特點，設(shè)計并實現(xiàn)了一個可以爬取Ajax動態(tài)網(wǎng)頁的爬取系統(tǒng)。
　　本論文提出了基于用戶界面狀態(tài)改變的Ajax動態(tài)網(wǎng)頁爬取算法，通過使用算法中狀態(tài)的轉(zhuǎn)換來模擬動態(tài)網(wǎng)頁中通過觸發(fā)動態(tài)事件造成的網(wǎng)頁結(jié)構(gòu)的改變。該算法首先初始化空的狀態(tài)圖及爬行隊列，通過給定的URL獲取初始頁面的DOM樹，通過遍歷DOM樹，算法識別出能夠引

3、起狀態(tài)改變的候選可點擊元素，并依次觸發(fā)這些候選元素下的事件，然后進(jìn)行狀態(tài)比較，發(fā)現(xiàn)新的可能到達(dá)的狀態(tài)，逐步更新狀態(tài)圖。為了能夠觸發(fā)同一狀態(tài)下對應(yīng)的所有綁定事件，該算法實現(xiàn)了狀態(tài)回退的方法，用來判別某個狀態(tài)下是否存在未被檢查到的可點擊元素存在。
　　為了提高對Ajax動態(tài)網(wǎng)頁爬取的性能，本文又提出了并行爬取Ajax動態(tài)網(wǎng)頁的算法。該算法采用并行爬取的方法來進(jìn)行狀態(tài)爬取，通過控制器來監(jiān)測所有的爬取節(jié)點，每個爬取節(jié)點負(fù)責(zé)自己對應(yīng)的狀態(tài)機(jī)

4、，從瀏覽器池中運行自己的瀏覽器實例?？刂破鞑捎脛討B(tài)分配任務(wù)的方法給所有參與的爬取節(jié)點合理分配爬取任務(wù)，當(dāng)爬取節(jié)點發(fā)現(xiàn)一個新的狀態(tài)后，如果在先前的狀態(tài)下還有未被識別的候選可點擊元素存在，那么會沿著這個未被識別的狀態(tài)，分配另一個線程新的線程進(jìn)行探索，這種方法下就不需要瀏覽器重新加載和狀態(tài)回退，極大的縮短了算法爬取的時間。
　　最后，論文把算法應(yīng)用于一些實際的Web動態(tài)網(wǎng)頁中，通過實驗對算法進(jìn)行了評估和分析，驗證了算法的可行性和有效性。