基于XML的Web信息抽取研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展以及Web數(shù)據(jù)的日益龐大，用戶從Web中獲取有用信息變得日益困難，如何快速有效地從Web中準(zhǔn)確尋找信息已經(jīng)成為亟待解決的問(wèn)題，Web信息抽取技術(shù)應(yīng)運(yùn)而生。從網(wǎng)頁(yè)中抽取信息的程序叫包裝器(Wrapper)，構(gòu)建包裝器的主要任務(wù)是編寫(xiě)抽取規(guī)則，因此，編寫(xiě)健壯靈活的抽取規(guī)則成為信息抽取的研究重點(diǎn)。 針對(duì)Web信息抽取，人們已經(jīng)提出了各種包裝器構(gòu)造方法，但這些方法都有其應(yīng)用的局限性。隨著XML技術(shù)的不斷發(fā)展，XML在

2、Web信息抽取中的應(yīng)用價(jià)值日益凸現(xiàn)。本文在研究現(xiàn)有的Web信息抽取技術(shù)的基礎(chǔ)上，把標(biāo)準(zhǔn)的XML技術(shù)運(yùn)用于Web信息抽取中，提出了一種基于XML的通用Web信息抽取解決方案。本文的主要貢獻(xiàn)有以下幾點(diǎn)： 1.設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)通用的Web信息抽取系統(tǒng)。通過(guò)該系統(tǒng)用戶能夠把HTML頁(yè)面中感興趣的信息點(diǎn)抽取出來(lái)，用結(jié)構(gòu)化和擴(kuò)展性強(qiáng)的XML來(lái)表示抽取結(jié)果。該系統(tǒng)具有一定的通用性和靈活性，用戶能夠快速定制應(yīng)用于不同領(lǐng)域的Web信息抽取包裝器。

3、 2.提出并實(shí)現(xiàn)了一種基于XML的Web數(shù)據(jù)轉(zhuǎn)化算法。該數(shù)據(jù)轉(zhuǎn)換算法能夠有效地把HTML格式的文檔轉(zhuǎn)化為XHTML (XML)格式的文檔，它是系統(tǒng)對(duì)HTML頁(yè)面進(jìn)行清洗的技術(shù)支持，極大地簡(jiǎn)化了Web信息抽取工作。 3.提出并實(shí)現(xiàn)了一種基于DOM的XPath生成算法。本文的信息定位是建立在XPath之上的，而在XHTML文檔中定位信息點(diǎn)并編寫(xiě)XPath路徑比較困難，本文提出的XPath生成算法很好地解決了這個(gè)問(wèn)題。