Deep Web數(shù)據(jù)抽取及集成技術(shù)研究.pdf

1、隨著萬維網(wǎng)技術(shù)和數(shù)據(jù)庫技術(shù)的結(jié)合，網(wǎng)絡(luò)開始迅速的深化。大量的信息都隱藏在Web數(shù)據(jù)庫中，用戶通過查詢可以動(dòng)態(tài)的獲取這些信息，學(xué)者們將這類資源稱為Deep Web。由于Deep Web資源分布在各個(gè)Deep Web站點(diǎn)，使用起來較為不便，因此，面向Deep Web的數(shù)據(jù)集成系統(tǒng)便應(yīng)運(yùn)而生。 本文對(duì)Deep Web領(lǐng)域的數(shù)據(jù)抽取及集成技術(shù)進(jìn)行了研究，并提出了相關(guān)的算法和解決方案，最后設(shè)計(jì)了一個(gè)面向Deep Web的搜索引擎原型系統(tǒng)。

2、本文的主要研究工作如下： (1)將Web數(shù)據(jù)對(duì)象從查詢結(jié)果頁面中抽取出來是Deep Web數(shù)據(jù)集成的第一步，本文基于文檔對(duì)象模型，通過頁面預(yù)處理、抽取候選Web數(shù)據(jù)對(duì)象集、去除非Web數(shù)據(jù)對(duì)象三個(gè)階段提出了一種自動(dòng)抽出Web數(shù)據(jù)對(duì)象的方法。 (2)提出了一種對(duì)模式異構(gòu)的Web數(shù)據(jù)對(duì)象進(jìn)行集成的方法。該方法以向量空間模型為基礎(chǔ)，以聚類為手段對(duì)來自不同Deep Web站點(diǎn)的異構(gòu)Web數(shù)據(jù)對(duì)象進(jìn)行了集成，并以區(qū)分度為基礎(chǔ)，以相

3、似度為度量手段檢測(cè)出了重復(fù)的Web數(shù)據(jù)對(duì)象，實(shí)現(xiàn)了Web數(shù)據(jù)對(duì)象的去重。 (3)分析了海量數(shù)據(jù)的組織方法對(duì)查詢響應(yīng)速度的影響，在此基礎(chǔ)上提出了一種對(duì)海量Web數(shù)據(jù)對(duì)象進(jìn)行組織的方法。該方法通過遞增聚類使Web數(shù)據(jù)對(duì)象根據(jù)自身的特征自然的聚集在一起，形成一個(gè)科學(xué)的類別層次，為查詢的快速響應(yīng)奠定基礎(chǔ)。 (4)在上述研究的基礎(chǔ)上設(shè)計(jì)了一個(gè)面向Deep Web的搜索引擎原型系統(tǒng)。 本文還對(duì)文中提出的方法和技術(shù)進(jìn)行了實(shí)驗(yàn)，