Web信息自動(dòng)抽取技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著Internet技術(shù)的不斷發(fā)展及其應(yīng)用的深入，Web已經(jīng)發(fā)展成為一個(gè)巨大的、分布式的和共享的信息資源，可用信息正在呈指數(shù)級(jí)增長(zhǎng)。目前Web數(shù)據(jù)大都以HTML的形式出現(xiàn)。由于HTML缺乏對(duì)數(shù)據(jù)本身的描述，不包含清晰的語(yǔ)義信息，這使得由HTML描述的Web頁(yè)面只適合瀏覽。為了增強(qiáng)Web數(shù)據(jù)的可用性，出現(xiàn)了Web信息抽取技術(shù)，它通過(guò)包裝現(xiàn)有的Web信息源，將網(wǎng)頁(yè)上的信息以更為結(jié)構(gòu)化的方式抽取出來(lái)，為應(yīng)用程序利用Web中的數(shù)據(jù)提供了可能。因

2、此它有著明顯的優(yōu)勢(shì)和廣闊的前景，是當(dāng)今研究的熱點(diǎn)。 將信息從網(wǎng)頁(yè)中抽取出來(lái)通常是由包裝器（Wrapper）完成的。編寫包裝器的過(guò)程經(jīng)歷了手工、半自動(dòng)化以及正在研究的全自動(dòng)三個(gè)階段。已有的手工以及半自動(dòng)化包裝器的建立方法存在著幾個(gè)主要的困難：首先，大量的手工操作對(duì)使用者提出了很高的要求；其次，包裝器維護(hù)繁鎖，不具有通用性。本文在研究現(xiàn)有的Web信息抽取技術(shù)的基礎(chǔ)上，提出了一種基于樹結(jié)構(gòu)的自動(dòng)提取網(wǎng)頁(yè)數(shù)據(jù)的方法。本文的主要貢獻(xiàn)有以下

3、幾點(diǎn)： 1.提出并實(shí)現(xiàn)了一種獲取相似網(wǎng)頁(yè)的方法。該方法通過(guò)對(duì)頁(yè)面結(jié)構(gòu)的分析，能夠非常有效的判斷出頁(yè)面的類型，根據(jù)不同的頁(yè)面類型采取不同的策略，從而能夠非常準(zhǔn)確的獲取到相似的網(wǎng)頁(yè)。 2.改進(jìn)并實(shí)現(xiàn)了一種基于樹結(jié)構(gòu)的網(wǎng)頁(yè)數(shù)據(jù)自動(dòng)抽取的算法。該算法通過(guò)對(duì)不同網(wǎng)頁(yè)的比較，利用不匹配項(xiàng)來(lái)確定包裝器。同時(shí)，根據(jù)產(chǎn)生的包裝器來(lái)生成數(shù)據(jù)的模式，并對(duì)包裝器的變量進(jìn)行了語(yǔ)義標(biāo)識(shí)，最后實(shí)現(xiàn)了將數(shù)據(jù)從網(wǎng)頁(yè)中自動(dòng)抽取。本文提出的這種算法相比現(xiàn)有的