分布式JS解析在web信息采集系統(tǒng)中的研究與應(yīng)用.pdf_第1頁(yè)
已閱讀1頁(yè),還剩61頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,網(wǎng)絡(luò)在人們生活當(dāng)中的應(yīng)用范圍越來(lái)越廣泛。一方面,由互聯(lián)網(wǎng)產(chǎn)生的海量數(shù)據(jù)中包含了許多有利用價(jià)值的信息,這就對(duì)web信息的采集提出了需求;另一方面,越來(lái)越多的新技術(shù)被運(yùn)用于互聯(lián)網(wǎng)領(lǐng)域,其中動(dòng)態(tài)網(wǎng)頁(yè)技術(shù),尤其是動(dòng)態(tài)腳本技術(shù)的運(yùn)用,很大程度地提升了網(wǎng)頁(yè)的功能性、美觀性以及用戶使用時(shí)的體驗(yàn),但由于原有的網(wǎng)頁(yè)信息采集系統(tǒng)不能夠?qū)δ_本進(jìn)行解析,所以無(wú)法實(shí)現(xiàn)對(duì)動(dòng)態(tài)網(wǎng)頁(yè)信息的采集。針對(duì)此問(wèn)題,本文設(shè)計(jì)實(shí)現(xiàn)了一個(gè)基于分布式計(jì)算的網(wǎng)

2、頁(yè)腳本提取解析系統(tǒng),并將其與原有信息采集系統(tǒng)相結(jié)合,從而實(shí)現(xiàn)了信息采集系統(tǒng)對(duì)動(dòng)態(tài)網(wǎng)頁(yè)信息準(zhǔn)確、高效的采集。
  首先,通過(guò)對(duì)JavaScript腳本語(yǔ)言和常用解析引擎的研究分析,設(shè)計(jì)了腳本提取解析的流程,主要包括腳本程序的提取和解析環(huán)境的構(gòu)建。
  其次,將JavaScript腳本提取解析與Hadoop分布式計(jì)算相結(jié)合,通過(guò)對(duì)現(xiàn)有Hadoop調(diào)度算法的研究分析,結(jié)合腳本提取解析系統(tǒng)實(shí)際運(yùn)行所處的異構(gòu)集群環(huán)境,設(shè)計(jì)了異構(gòu)集群環(huán)

3、境下基于和聲搜索的調(diào)度算法。
  再次,為了將腳本提取解析系統(tǒng)與原有信息采集系統(tǒng)相結(jié)合,以原有的Nutch系統(tǒng)的文件存儲(chǔ)結(jié)構(gòu)為基礎(chǔ),設(shè)計(jì)了系統(tǒng)整體文件結(jié)構(gòu)和數(shù)據(jù)存儲(chǔ)格式。
  最后,完成了系統(tǒng)的MapReduce編程實(shí)現(xiàn),并在實(shí)際的Hadoop平臺(tái)上進(jìn)行了測(cè)試。通過(guò)對(duì)測(cè)試結(jié)果的分析,驗(yàn)證了整合腳本提取解析系統(tǒng)之后的信息采集系統(tǒng)能夠?qū)?dòng)態(tài)網(wǎng)頁(yè)進(jìn)行信息采集,并且采用基于和聲搜索的調(diào)度算法在異構(gòu)集群環(huán)境中提高了腳本提取解析任務(wù)的執(zhí)

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論