DeepWeb數(shù)據(jù)集成若干關(guān)鍵技術(shù)研究及原型系統(tǒng)實現(xiàn).pdf

1、隨著信息技術(shù)的發(fā)展，Internet上所蘊含的信息數(shù)據(jù)量在膨脹式地增長。Web作為Internet上的最大應(yīng)用，按照其蘊含信息“深度”可劃分為SurfaceWeb和DeepWeb兩大部分。與SurfaceWeb相比較，DeepWeb信息的含量與增長速度遠遠大于前者，DeepWeb對人們的影響在日益加深。為了更有效地獲取、組織和利用DeepWeb上的信息數(shù)據(jù)，DeepWeb數(shù)據(jù)集成研究已經(jīng)成為非常迫切的問題，具有廣泛的應(yīng)用前景和實際價值，

2、是近年來情報學(xué)、信息檢索等多個研究領(lǐng)域的熱門課題。
　　本文對DeepWeb數(shù)據(jù)集成的研究現(xiàn)狀和發(fā)展趨勢進行了深入的分析。立足于DeepWeb數(shù)據(jù)集成研究框架，針對其中的若干關(guān)鍵技術(shù)展開研究，包括Web數(shù)據(jù)庫發(fā)現(xiàn)、查詢接口模式抽取、Web數(shù)據(jù)庫分類、結(jié)果數(shù)據(jù)抽取等。所做的工作以及貢獻主要體現(xiàn)在以下幾方面。
　　(1)針對如何從Internet上發(fā)現(xiàn)Web數(shù)據(jù)庫的問題，提出了一種快速Web數(shù)據(jù)庫發(fā)現(xiàn)的策略。利用傳統(tǒng)搜索引擎固有

3、的特性，向搜索引擎填充與提交領(lǐng)域關(guān)鍵字從而能快速定位到存在Web數(shù)據(jù)庫的目標網(wǎng)站。利用基于規(guī)則的查詢接口判定算法識別和發(fā)現(xiàn)目標網(wǎng)站上的查詢接口表單，最終找到可以訪問Web數(shù)據(jù)庫的入口。實驗結(jié)果表明這種策略的可行性，能快速定位和發(fā)現(xiàn)相關(guān)領(lǐng)域的Web數(shù)據(jù)庫。
　　(2)由于查詢接口是Web數(shù)據(jù)庫入口，為能夠正確地訪問Web數(shù)據(jù)庫則首先需要理解查詢接口。查詢接口模式抽取是對查詢接口的理解，查詢接口由若干表單查詢控件和描述這些控件的標簽文

4、本構(gòu)成。本文提出了一種基于DOM的DeepWeb查詢接口模式抽取方法，該方法首先將查詢接口解析成DOM樹，通過DOM節(jié)點方便地抽取查詢控件以及標簽文本，關(guān)聯(lián)控件和與之相關(guān)的標簽文本表示為接口元素，通過兩次聚類過程，挖掘接口元素的組合關(guān)系并表示形成接口屬性，最后生成主要由一組屬性形成的查詢接口模式。這種方法不僅能正確地關(guān)聯(lián)了查詢控件與標簽文本，而且很好的表示了具有多元素組成的屬性。實驗結(jié)果驗證了這種方法的有效性。
　　(3)Deep

5、Web數(shù)據(jù)集成一般是基于領(lǐng)域的，由此對Web數(shù)據(jù)庫按領(lǐng)域進行分類是必要的。針對Web數(shù)據(jù)庫分類問題，本文提出了一種基于查詢接口文本向量空間模型的分類方法，該方法利用查詢接口文本構(gòu)建向量空間模型（VSM），以向量表示查詢接口，通過使用數(shù)據(jù)挖掘算法訓(xùn)練已知類別查詢接口集合從而生成分類模型，利用已建的分類模型區(qū)分未知類別查詢接口。與其他方法相比，這種方法具有分類性能好、可擴展性強等特點。
　　(4)針對DeepWeb結(jié)果數(shù)據(jù)抽取問題，本

6、文提出基于正則表達式的結(jié)果數(shù)據(jù)抽取方法。該方法首先使用正則表達式構(gòu)建領(lǐng)域相關(guān)的結(jié)果數(shù)據(jù)模式，利用構(gòu)建的數(shù)據(jù)模式匹配結(jié)果頁面上的結(jié)果數(shù)據(jù)項節(jié)點。通過結(jié)果數(shù)據(jù)區(qū)域定位、實體記錄分開抽取、數(shù)據(jù)項識別與標注等三階段處理，最終實現(xiàn)結(jié)果數(shù)據(jù)的抽取。這種方法實現(xiàn)自動抽取結(jié)果頁面上的結(jié)果數(shù)據(jù)并標注，對于同一領(lǐng)域的DeepWeb結(jié)果頁面具有通用性。
　　(5)根據(jù)所研究的關(guān)鍵技術(shù)和實際應(yīng)用需求，設(shè)計并實現(xiàn)了一個面向DeepWeb的數(shù)據(jù)集成原型系統(tǒng)，