基于XML的Web信息抽取研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展以及Web數(shù)據(jù)的日益龐大，用戶從Web中獲取有用信息變得日益困難，如何快速有效地從Web中準確尋找信息已經(jīng)成為亟待解決的問題，Web信息抽取技術(shù)應(yīng)運而生。從網(wǎng)頁中抽取信息的程序叫包裝器(Wrapper)，構(gòu)建包裝器的主要任務(wù)是編寫抽取規(guī)則，因此，編寫健壯靈活的抽取規(guī)則成為信息抽取的研究重點。 針對Web信息抽取，人們已經(jīng)提出了各種包裝器構(gòu)造方法，但這些方法都有其應(yīng)用的局限性。隨著XML技術(shù)的不斷發(fā)展，XML在

2、Web信息抽取中的應(yīng)用價值日益凸現(xiàn)。本文在研究現(xiàn)有的Web信息抽取技術(shù)的基礎(chǔ)上，把標準的XML技術(shù)運用于Web信息抽取中，提出了一種基于XML的通用Web信息抽取解決方案。本文的主要貢獻有以下幾點： 1.設(shè)計并實現(xiàn)了一個通用的Web信息抽取系統(tǒng)。通過該系統(tǒng)用戶能夠把HTML頁面中感興趣的信息點抽取出來，用結(jié)構(gòu)化和擴展性強的XML來表示抽取結(jié)果。該系統(tǒng)具有一定的通用性和靈活性，用戶能夠快速定制應(yīng)用于不同領(lǐng)域的Web信息抽取包裝器。

3、 2.提出并實現(xiàn)了一種基于XML的Web數(shù)據(jù)轉(zhuǎn)化算法。該數(shù)據(jù)轉(zhuǎn)換算法能夠有效地把HTML格式的文檔轉(zhuǎn)化為XHTML (XML)格式的文檔，它是系統(tǒng)對HTML頁面進行清洗的技術(shù)支持，極大地簡化了Web信息抽取工作。 3.提出并實現(xiàn)了一種基于DOM的XPath生成算法。本文的信息定位是建立在XPath之上的，而在XHTML文檔中定位信息點并編寫XPath路徑比較困難，本文提出的XPath生成算法很好地解決了這個問題。