分布式JS解析在web信息采集系統(tǒng)中的研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)在人們生活當(dāng)中的應(yīng)用范圍越來(lái)越廣泛。一方面，由互聯(lián)網(wǎng)產(chǎn)生的海量數(shù)據(jù)中包含了許多有利用價(jià)值的信息，這就對(duì)web信息的采集提出了需求；另一方面，越來(lái)越多的新技術(shù)被運(yùn)用于互聯(lián)網(wǎng)領(lǐng)域，其中動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)，尤其是動(dòng)態(tài)腳本技術(shù)的運(yùn)用，很大程度地提升了網(wǎng)頁(yè)的功能性、美觀性以及用戶使用時(shí)的體驗(yàn)，但由于原有的網(wǎng)頁(yè)信息采集系統(tǒng)不能夠?qū)δ_本進(jìn)行解析，所以無(wú)法實(shí)現(xiàn)對(duì)動(dòng)態(tài)網(wǎng)頁(yè)信息的采集。針對(duì)此問(wèn)題，本文設(shè)計(jì)實(shí)現(xiàn)了一個(gè)基于分布式計(jì)算的網(wǎng)

2、頁(yè)腳本提取解析系統(tǒng)，并將其與原有信息采集系統(tǒng)相結(jié)合，從而實(shí)現(xiàn)了信息采集系統(tǒng)對(duì)動(dòng)態(tài)網(wǎng)頁(yè)信息準(zhǔn)確、高效的采集。
　　首先，通過(guò)對(duì)JavaScript腳本語(yǔ)言和常用解析引擎的研究分析，設(shè)計(jì)了腳本提取解析的流程，主要包括腳本程序的提取和解析環(huán)境的構(gòu)建。
　　其次，將JavaScript腳本提取解析與Hadoop分布式計(jì)算相結(jié)合，通過(guò)對(duì)現(xiàn)有Hadoop調(diào)度算法的研究分析，結(jié)合腳本提取解析系統(tǒng)實(shí)際運(yùn)行所處的異構(gòu)集群環(huán)境，設(shè)計(jì)了異構(gòu)集群環(huán)

3、境下基于和聲搜索的調(diào)度算法。
　　再次，為了將腳本提取解析系統(tǒng)與原有信息采集系統(tǒng)相結(jié)合，以原有的Nutch系統(tǒng)的文件存儲(chǔ)結(jié)構(gòu)為基礎(chǔ)，設(shè)計(jì)了系統(tǒng)整體文件結(jié)構(gòu)和數(shù)據(jù)存儲(chǔ)格式。
　　最后，完成了系統(tǒng)的MapReduce編程實(shí)現(xiàn)，并在實(shí)際的Hadoop平臺(tái)上進(jìn)行了測(cè)試。通過(guò)對(duì)測(cè)試結(jié)果的分析，驗(yàn)證了整合腳本提取解析系統(tǒng)之后的信息采集系統(tǒng)能夠?qū)?dòng)態(tài)網(wǎng)頁(yè)進(jìn)行信息采集，并且采用基于和聲搜索的調(diào)度算法在異構(gòu)集群環(huán)境中提高了腳本提取解析任務(wù)的執(zhí)