基于重復(fù)模式的Web數(shù)據(jù)抽取與集成應(yīng)用.pdf

1、信息時(shí)代，Internet已經(jīng)成為人們獲取信息的重要途徑，而基于關(guān)鍵字檢索的Internet搜索引擎又是人們從互聯(lián)網(wǎng)上查找信息的主要方法。從互聯(lián)網(wǎng)獲取信息的主要局限性在于，在互聯(lián)網(wǎng)海量的Web頁(yè)面中很難定位特定的知識(shí)；而搜索引擎又很容易將所需知識(shí)淹沒(méi)在大量的低相關(guān)度，甚至無(wú)關(guān)網(wǎng)頁(yè)中。另一方面隨著信息技術(shù)的進(jìn)步和人們的實(shí)際需要，涌現(xiàn)出了一些全新的基于Web的應(yīng)用，例如監(jiān)控股票市場(chǎng)的實(shí)時(shí)行情、各個(gè)電子商務(wù)網(wǎng)站的商品價(jià)格比較等等。僅憑傳統(tǒng)搜索

2、引擎技術(shù)和Web查詢技術(shù)無(wú)法真正滿足這些新興的需求。與信息檢索技術(shù)不同的是，數(shù)據(jù)抽取技術(shù)更側(cè)重于從Web文檔集合中發(fā)現(xiàn)相關(guān)聯(lián)的文檔，并從中抽取出用戶感興趣的信息，即將HTML等半結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)換成為結(jié)構(gòu)化的數(shù)據(jù)。
　　Web數(shù)據(jù)庫(kù)的廣泛使用使得大量高質(zhì)量的信息無(wú)法被傳統(tǒng)的搜索引擎索搜索到。這種基于數(shù)據(jù)庫(kù)的應(yīng)用被稱之為DeepWeb。Web數(shù)據(jù)庫(kù)依據(jù)用戶特定的查詢要求或條件動(dòng)態(tài)的生成Web頁(yè)面，即查詢相關(guān)Web頁(yè)面中的數(shù)據(jù)記錄之間具

3、有極高的代碼結(jié)構(gòu)相似性，也就是說(shuō)Web數(shù)據(jù)記錄對(duì)應(yīng)的DOM子樹(shù)之間自然也就具有很高的結(jié)構(gòu)相似性。
　　本文從分析Web文檔與DOM樹(shù)的對(duì)應(yīng)關(guān)系入手，提出了一種基于重復(fù)模式的高效Web自動(dòng)抽取算法——DES算法，同時(shí)利用集成工具ODI進(jìn)行數(shù)據(jù)集成，獲得可以直接被其它的應(yīng)用程序利用結(jié)構(gòu)化數(shù)據(jù)，進(jìn)一步完成信息檢索、數(shù)據(jù)挖掘、機(jī)器翻譯、文本摘要等后續(xù)Web信息處理。HTML對(duì)應(yīng)的DOM樹(shù)是該方法的Web數(shù)據(jù)結(jié)構(gòu)化和分析抽取的基礎(chǔ)。該抽取算