面向領(lǐng)域的Web數(shù)據(jù)集成中數(shù)據(jù)抽取的研究.pdf

1、隨著Internet及其相關(guān)技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)已成為最大的信息源。無(wú)論對(duì)于企業(yè)還是個(gè)人，Web逐漸成為最主要的信息來(lái)源。目前，90%的全球500強(qiáng)企業(yè)已建立了完善的市場(chǎng)情報(bào)分析系統(tǒng)。而中小型企業(yè)在資金、技術(shù)、人力等方面的不足，導(dǎo)致無(wú)法開(kāi)展完善的市場(chǎng)情報(bào)分析工作。如何有效地集成Web數(shù)據(jù)，為中小型企業(yè)提供完善的市場(chǎng)情報(bào)分析支持，具有相當(dāng)重大的意義。由于Internet上數(shù)據(jù)量具有動(dòng)態(tài)性、分布性和多樣性等特點(diǎn)，如何從Internet上快

2、速、準(zhǔn)確和穩(wěn)定地獲取有價(jià)值的商業(yè)信息，為市場(chǎng)情報(bào)分析提供支持，成為一個(gè)巨大的挑戰(zhàn)。 由于網(wǎng)站數(shù)量過(guò)多以及由此帶來(lái)的信息泛濫，使得有用信息的獲取越來(lái)越困難。獲取信息的傳統(tǒng)方式搜索引擎和Web查詢已無(wú)法滿足這種需求。而Web數(shù)據(jù)抽取技術(shù)可以滿足這種需求，它更側(cè)重于從Web文檔集合中發(fā)現(xiàn)相關(guān)文檔，并從中抽出用戶關(guān)心的數(shù)據(jù)，即將HTML等半結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)換成為結(jié)構(gòu)化的數(shù)據(jù)。目前大量的網(wǎng)上數(shù)據(jù)信息被保存在網(wǎng)站的后臺(tái)數(shù)據(jù)庫(kù)中，Web數(shù)據(jù)庫(kù)依

3、據(jù)用戶的查詢要求動(dòng)態(tài)的生成Web頁(yè)面，即查詢相關(guān)的Web。由于這些Web頁(yè)面是由同一模板生成，所以Web頁(yè)面中的數(shù)據(jù)記錄之間具有極高的代碼結(jié)構(gòu)相似性，Web數(shù)據(jù)記錄對(duì)應(yīng)的DOM子樹(shù)之間自然也就具有很高的結(jié)構(gòu)的相似性。 本文把為中小型企業(yè)提供完善的市場(chǎng)情報(bào)分析支持作為背景，在面向領(lǐng)域特征的基礎(chǔ)上，提出了可以從查詢相關(guān)的Web中抽取帶有語(yǔ)義描述的目標(biāo)數(shù)據(jù)的Web數(shù)據(jù)抽取系統(tǒng)。本文所做的工作主要有頁(yè)面標(biāo)簽的識(shí)別、數(shù)據(jù)抽取和標(biāo)簽分配。頁(yè)

4、面標(biāo)簽的識(shí)別是從Web Form中的Form標(biāo)簽與相關(guān)的查詢結(jié)果列表頁(yè)面中的標(biāo)簽的對(duì)應(yīng)關(guān)系入手，提出了用機(jī)器學(xué)習(xí)技術(shù)和模式匹配技術(shù)來(lái)識(shí)別列表頁(yè)面中的標(biāo)簽。數(shù)據(jù)抽取是從分析Web文檔與DOM樹(shù)的對(duì)應(yīng)關(guān)系入手，提出了一種基于DOM樹(shù)匹配的模板檢測(cè)方法。該方法依據(jù)Web數(shù)據(jù)記錄和DOM樹(shù)的一一對(duì)應(yīng)關(guān)系，通過(guò)分析多條數(shù)據(jù)記錄的代碼結(jié)構(gòu)，得到數(shù)據(jù)記錄對(duì)應(yīng)的模板，使用該模板可以實(shí)現(xiàn)對(duì)由該模板生成的所有類似數(shù)據(jù)記錄的發(fā)現(xiàn)和抽取。標(biāo)簽分配利用Web F