基于標(biāo)簽樹的列表頁(yè)面數(shù)據(jù)抽取技術(shù)研究.pdf

1、伴隨Internet的飛速發(fā)展，Web已經(jīng)成為一個(gè)巨大的、共享的、分布式的信息資源集合，如何從浩瀚的Web信息資源中自動(dòng)獲取用戶感興趣的數(shù)據(jù)記錄或有用的信息，已成為人們深入探討的課題。目前，大多數(shù)Web數(shù)據(jù)都以非結(jié)構(gòu)或半結(jié)構(gòu)化的形式呈現(xiàn)，缺乏對(duì)數(shù)據(jù)本身的描述，不包含清晰的語(yǔ)義，模式也不太明確，這使得應(yīng)用程序無(wú)法直接解析并利用Web上的海量信息。為了避免“數(shù)據(jù)爆炸，知識(shí)匱乏”的尷尬，從海量的半結(jié)構(gòu)化Web數(shù)據(jù)中抽取出結(jié)構(gòu)化的、與主題相關(guān)的

2、數(shù)據(jù)，向用戶提供增值服務(wù)(如監(jiān)控股市的及時(shí)行情、比較各個(gè)網(wǎng)站的商品價(jià)格、跟蹤合作伙伴或競(jìng)爭(zhēng)對(duì)手的動(dòng)態(tài)、集成企業(yè)內(nèi)外部的各種信息等)，各種Web數(shù)據(jù)抽取技術(shù)應(yīng)運(yùn)而生，并日漸發(fā)揮出強(qiáng)大的作用。因此，Web數(shù)據(jù)抽取技術(shù)有著明顯的優(yōu)勢(shì)和廣闊的前景，是數(shù)據(jù)提取技術(shù)、人工智能信息檢索、自然語(yǔ)言理解技術(shù)在網(wǎng)絡(luò)信息處理中的應(yīng)用，是當(dāng)今多個(gè)領(lǐng)域的研究熱點(diǎn)。
　　 本論文探討了針對(duì)由模板生成的列表頁(yè)面，如何檢測(cè)其通用模板，并將嵌入在模板中的數(shù)據(jù)抽取

3、出來(lái)，實(shí)現(xiàn)了列表頁(yè)面數(shù)據(jù)的自動(dòng)抽取。
　　 首先，簡(jiǎn)要敘述了半結(jié)構(gòu)化數(shù)據(jù)、Web數(shù)據(jù)抽取、列表頁(yè)面的概念；
　　 接著，深入研究了Web數(shù)據(jù)抽取技術(shù)的發(fā)展歷史、現(xiàn)有技術(shù)，并在對(duì)各種技術(shù)比較后，指出現(xiàn)有技術(shù)的優(yōu)缺點(diǎn)、未來(lái)可能的發(fā)展方向；
　　 然后，詳細(xì)介紹了作者前一階段的學(xué)術(shù)成果--自動(dòng)抽取 Web數(shù)據(jù)的樹對(duì)齊算法，它是本論文所提出的基于標(biāo)簽樹的列表頁(yè)面數(shù)據(jù)抽取系統(tǒng)的研究基礎(chǔ)和核心部分。本論文實(shí)現(xiàn)了此算法，完善了