分布式JS解析系統(tǒng)的設計與構建.pdf

1、隨著互聯(lián)網(wǎng)技術的飛速發(fā)展，網(wǎng)頁的頁面視圖效果越來越美觀，使用的頁面編程技術也不僅僅局限于HTML、CSS等靜態(tài)語言。以JavaScript為代表的動態(tài)腳本由于其功能強大，使界面觀賞程度高等優(yōu)勢越來越受到開發(fā)者和用戶的青睞。但是由于其編寫復雜程度比傳統(tǒng)的靜態(tài)網(wǎng)頁技術高，所以在搜索引擎、輿論分析等領域進行網(wǎng)頁內(nèi)容抓取和分析的時候，很難對JavaScript中包含的信息進行解析。所以本論文在設計并構建能夠高效解析網(wǎng)頁中JavaScript的分

2、布式系統(tǒng)時，能夠完成對存在于HTML文檔中的JavaScript片段進行高效的提取和分布式解析的功能，并且在分布式計算機集群中合理的進行任務調(diào)度。
　　該論文主要包括兩個研究方向:首先是對網(wǎng)頁中存在的JavaScript進行有效的提取和解析;然后結合Hadoop分布式計算技術，在深入分析現(xiàn)有任務調(diào)度算法、結合本系統(tǒng)實際情況的基礎之上，設計本系統(tǒng)在分布式計算環(huán)境中的任務調(diào)度算法，合理的進行JavaScript解析任務調(diào)度，實現(xiàn)對頁面

3、中包含的JavaScript片段的高效解析。通過對JavaScript語法規(guī)則和其在網(wǎng)頁中的存在形式的研究，設計了JavaScript的提取流程和算法，然后借鑒瀏覽器解析JavaScript的方法，使用JavaScript解析引擎，構造JavaScript解析環(huán)境來實現(xiàn)第一模塊。通過對現(xiàn)有Map/Reduce任務調(diào)度算法的研究、分析和對比，并結合JavaScript解析任務的具體特點和分布式集群的環(huán)境，探究最適合本系統(tǒng)的Map/Redu

4、ce任務調(diào)度算法。對JavaScript解析任務進行合理調(diào)度，然后搭建計算機集群，對設計的分布式JavaScript解析系統(tǒng)進行構建。最后對分布式JS解析系統(tǒng)進行測試，對其應用性能和解析準確性進行驗證，并且總結系統(tǒng)的不足，提出后續(xù)改進意見。
　　本文實現(xiàn)的分布式系統(tǒng)能夠?qū)W(wǎng)頁中存在的大量JavaScript進行高效、快速的解析。實驗結果表明，本系統(tǒng)能夠?qū)W(wǎng)頁中JavaScript片段內(nèi)包含的文本文字和超鏈接內(nèi)容進行高效、準確的提取