基于標簽樹的列表頁面數(shù)據(jù)抽取技術(shù)研究.pdf

1、伴隨Internet的飛速發(fā)展，Web已經(jīng)成為一個巨大的、共享的、分布式的信息資源集合，如何從浩瀚的Web信息資源中自動獲取用戶感興趣的數(shù)據(jù)記錄或有用的信息，已成為人們深入探討的課題。目前，大多數(shù)Web數(shù)據(jù)都以非結(jié)構(gòu)或半結(jié)構(gòu)化的形式呈現(xiàn)，缺乏對數(shù)據(jù)本身的描述，不包含清晰的語義，模式也不太明確，這使得應用程序無法直接解析并利用Web上的海量信息。為了避免“數(shù)據(jù)爆炸，知識匱乏”的尷尬，從海量的半結(jié)構(gòu)化Web數(shù)據(jù)中抽取出結(jié)構(gòu)化的、與主題相關(guān)的

2、數(shù)據(jù)，向用戶提供增值服務(如監(jiān)控股市的及時行情、比較各個網(wǎng)站的商品價格、跟蹤合作伙伴或競爭對手的動態(tài)、集成企業(yè)內(nèi)外部的各種信息等)，各種Web數(shù)據(jù)抽取技術(shù)應運而生，并日漸發(fā)揮出強大的作用。因此，Web數(shù)據(jù)抽取技術(shù)有著明顯的優(yōu)勢和廣闊的前景，是數(shù)據(jù)提取技術(shù)、人工智能信息檢索、自然語言理解技術(shù)在網(wǎng)絡(luò)信息處理中的應用，是當今多個領(lǐng)域的研究熱點。
　　 本論文探討了針對由模板生成的列表頁面，如何檢測其通用模板，并將嵌入在模板中的數(shù)據(jù)抽取

3、出來，實現(xiàn)了列表頁面數(shù)據(jù)的自動抽取。
　　 首先，簡要敘述了半結(jié)構(gòu)化數(shù)據(jù)、Web數(shù)據(jù)抽取、列表頁面的概念；
　　 接著，深入研究了Web數(shù)據(jù)抽取技術(shù)的發(fā)展歷史、現(xiàn)有技術(shù)，并在對各種技術(shù)比較后，指出現(xiàn)有技術(shù)的優(yōu)缺點、未來可能的發(fā)展方向；
　　 然后，詳細介紹了作者前一階段的學術(shù)成果--自動抽取 Web數(shù)據(jù)的樹對齊算法，它是本論文所提出的基于標簽樹的列表頁面數(shù)據(jù)抽取系統(tǒng)的研究基礎(chǔ)和核心部分。本論文實現(xiàn)了此算法，完善了