基于重復(fù)模式的Web數(shù)據(jù)抽取與集成應(yīng)用.pdf

1、信息時代，Internet已經(jīng)成為人們獲取信息的重要途徑，而基于關(guān)鍵字檢索的Internet搜索引擎又是人們從互聯(lián)網(wǎng)上查找信息的主要方法。從互聯(lián)網(wǎng)獲取信息的主要局限性在于，在互聯(lián)網(wǎng)海量的Web頁面中很難定位特定的知識；而搜索引擎又很容易將所需知識淹沒在大量的低相關(guān)度，甚至無關(guān)網(wǎng)頁中。另一方面隨著信息技術(shù)的進步和人們的實際需要，涌現(xiàn)出了一些全新的基于Web的應(yīng)用，例如監(jiān)控股票市場的實時行情、各個電子商務(wù)網(wǎng)站的商品價格比較等等。僅憑傳統(tǒng)搜索

2、引擎技術(shù)和Web查詢技術(shù)無法真正滿足這些新興的需求。與信息檢索技術(shù)不同的是，數(shù)據(jù)抽取技術(shù)更側(cè)重于從Web文檔集合中發(fā)現(xiàn)相關(guān)聯(lián)的文檔，并從中抽取出用戶感興趣的信息，即將HTML等半結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)換成為結(jié)構(gòu)化的數(shù)據(jù)。
　　Web數(shù)據(jù)庫的廣泛使用使得大量高質(zhì)量的信息無法被傳統(tǒng)的搜索引擎索搜索到。這種基于數(shù)據(jù)庫的應(yīng)用被稱之為DeepWeb。Web數(shù)據(jù)庫依據(jù)用戶特定的查詢要求或條件動態(tài)的生成Web頁面，即查詢相關(guān)Web頁面中的數(shù)據(jù)記錄之間具

3、有極高的代碼結(jié)構(gòu)相似性，也就是說Web數(shù)據(jù)記錄對應(yīng)的DOM子樹之間自然也就具有很高的結(jié)構(gòu)相似性。
　　本文從分析Web文檔與DOM樹的對應(yīng)關(guān)系入手，提出了一種基于重復(fù)模式的高效Web自動抽取算法——DES算法，同時利用集成工具ODI進行數(shù)據(jù)集成，獲得可以直接被其它的應(yīng)用程序利用結(jié)構(gòu)化數(shù)據(jù)，進一步完成信息檢索、數(shù)據(jù)挖掘、機器翻譯、文本摘要等后續(xù)Web信息處理。HTML對應(yīng)的DOM樹是該方法的Web數(shù)據(jù)結(jié)構(gòu)化和分析抽取的基礎(chǔ)。該抽取算