基于網(wǎng)格的Web信息抽取技術(shù)的研究與實現(xiàn).pdf

1、Web文檔往往用各種復(fù)雜的HTML標記來包裝內(nèi)部數(shù)據(jù)，但這種方式給應(yīng)用系統(tǒng)直接使用Web文檔中的數(shù)據(jù)帶來了困難。Web信息抽取是處理海量數(shù)據(jù)且需要各種復(fù)雜算法支持的一種技術(shù)，因此它在一般平臺上的工作效率不是很好。網(wǎng)格能為復(fù)雜應(yīng)用提供分布式并行環(huán)境，它面向服務(wù)的開放式結(jié)構(gòu)能提高應(yīng)用的靈活性和代碼重用率。因此，結(jié)合網(wǎng)格技術(shù)來開發(fā)一個自動的Web信息抽取應(yīng)用有著非常重要的意義。 本文首先介紹了Web信息抽取的有關(guān)技術(shù)，分析了自動抽取系

2、統(tǒng)RoadRunner的算法和優(yōu)缺點；接著，介紹了網(wǎng)格的相關(guān)知識，重點研究網(wǎng)格應(yīng)用的特性。在這之后，本文重點解決兩個問題：如何自動抽取Web信息和如何在網(wǎng)格中實現(xiàn)。在第一階段，本文通過有效的啟發(fā)規(guī)則解決自動獲取一批相似頁面的問題，提出并實現(xiàn)了二級頁面噪聲處理的方案和算法，完成了自動歸納抽取規(guī)則的算法，并最終實現(xiàn)了一個完整的面向數(shù)據(jù)密集型頁面的Web信息抽取系統(tǒng)。在第二階段，本文首先分析了Web抽取應(yīng)用的可并行化部分，給出了相應(yīng)的網(wǎng)格應(yīng)用