動態(tài)網(wǎng)頁信息抽取技術(shù)的研究.pdf

1、Internet的飛速發(fā)展使其成為日益重要和最具潛力的資源。WWW作為一種新的信息資源，為計算機領域新技術(shù)的產(chǎn)生開辟了新的領域，同時也為傳統(tǒng)技術(shù)的研究提出了新的方向。 研究表明，目前Web上的頁面主要是以動態(tài)頁面的形式存在（占總數(shù)的80％以上），即用戶在調(diào)用頁面時臨時通過程序動態(tài)生成的頁面。動態(tài)頁面使用固定的顯示模板，然后將后臺數(shù)據(jù)庫中的數(shù)據(jù)嵌入而得。這些數(shù)據(jù)經(jīng)過專業(yè)人員組織整理，因而具有更高的價值。本文重點研究動態(tài)頁面的抽取技

2、術(shù)，它的主要挑戰(zhàn)在于以下幾點：（1）動態(tài)頁面表示形式千變?nèi)f化，如何從多樣的動態(tài)頁面中有效的定位網(wǎng)頁信息。（2）用戶需要從動態(tài)網(wǎng)頁中抽取的信息內(nèi)容可能多種多樣，如何精確的表示不同用戶所定義的不同的抽取請求。 本文重點研究了動態(tài)網(wǎng)頁抽取技術(shù)。通過深入分析動態(tài)網(wǎng)頁抽取技術(shù)中的關鍵和難點以及己實現(xiàn)系統(tǒng)的特點與不足，本人在研究獲得的算法基礎上設計了一個基于樹模型和Wrapper技術(shù)的動態(tài)網(wǎng)頁抽取系統(tǒng)。主要的研究和成果如下： 1.

3、針對動態(tài)網(wǎng)頁按信息結(jié)構(gòu)的不同進行了分類定義。將動態(tài)網(wǎng)頁分為多記錄項動態(tài)網(wǎng)頁和單記錄項動態(tài)網(wǎng)頁。 2.針對多記錄動態(tài)網(wǎng)頁，提出一種新的基于樹模型的信息抽取算法——DETM。它充分利用了HTML的樹型結(jié)構(gòu)，運用樹編輯距離模型和樹歸并算法來定位和抽取網(wǎng)頁信息。 3.針對單記錄動態(tài)網(wǎng)頁，提出一種基于用戶自定義模板的信息抽取算法。它利用模板自動生成技術(shù)較好的解決了單記錄動態(tài)網(wǎng)頁信息項定位比較困難這個難題，將網(wǎng)頁結(jié)構(gòu)信息使用XM