DeepWeb數(shù)據(jù)集成若干關(guān)鍵技術(shù)研究及原型系統(tǒng)實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的發(fā)展，Internet上所蘊(yùn)含的信息數(shù)據(jù)量在膨脹式地增長(zhǎng)。Web作為Internet上的最大應(yīng)用，按照其蘊(yùn)含信息“深度”可劃分為SurfaceWeb和DeepWeb兩大部分。與SurfaceWeb相比較，DeepWeb信息的含量與增長(zhǎng)速度遠(yuǎn)遠(yuǎn)大于前者，DeepWeb對(duì)人們的影響在日益加深。為了更有效地獲取、組織和利用DeepWeb上的信息數(shù)據(jù)，DeepWeb數(shù)據(jù)集成研究已經(jīng)成為非常迫切的問(wèn)題，具有廣泛的應(yīng)用前景和實(shí)際價(jià)值，

2、是近年來(lái)情報(bào)學(xué)、信息檢索等多個(gè)研究領(lǐng)域的熱門課題。
　　本文對(duì)DeepWeb數(shù)據(jù)集成的研究現(xiàn)狀和發(fā)展趨勢(shì)進(jìn)行了深入的分析。立足于DeepWeb數(shù)據(jù)集成研究框架，針對(duì)其中的若干關(guān)鍵技術(shù)展開(kāi)研究，包括Web數(shù)據(jù)庫(kù)發(fā)現(xiàn)、查詢接口模式抽取、Web數(shù)據(jù)庫(kù)分類、結(jié)果數(shù)據(jù)抽取等。所做的工作以及貢獻(xiàn)主要體現(xiàn)在以下幾方面。
　　(1)針對(duì)如何從Internet上發(fā)現(xiàn)Web數(shù)據(jù)庫(kù)的問(wèn)題，提出了一種快速Web數(shù)據(jù)庫(kù)發(fā)現(xiàn)的策略。利用傳統(tǒng)搜索引擎固有

3、的特性，向搜索引擎填充與提交領(lǐng)域關(guān)鍵字從而能快速定位到存在Web數(shù)據(jù)庫(kù)的目標(biāo)網(wǎng)站。利用基于規(guī)則的查詢接口判定算法識(shí)別和發(fā)現(xiàn)目標(biāo)網(wǎng)站上的查詢接口表單，最終找到可以訪問(wèn)Web數(shù)據(jù)庫(kù)的入口。實(shí)驗(yàn)結(jié)果表明這種策略的可行性，能快速定位和發(fā)現(xiàn)相關(guān)領(lǐng)域的Web數(shù)據(jù)庫(kù)。
　　(2)由于查詢接口是Web數(shù)據(jù)庫(kù)入口，為能夠正確地訪問(wèn)Web數(shù)據(jù)庫(kù)則首先需要理解查詢接口。查詢接口模式抽取是對(duì)查詢接口的理解，查詢接口由若干表單查詢控件和描述這些控件的標(biāo)簽文

4、本構(gòu)成。本文提出了一種基于DOM的DeepWeb查詢接口模式抽取方法，該方法首先將查詢接口解析成DOM樹，通過(guò)DOM節(jié)點(diǎn)方便地抽取查詢控件以及標(biāo)簽文本，關(guān)聯(lián)控件和與之相關(guān)的標(biāo)簽文本表示為接口元素，通過(guò)兩次聚類過(guò)程，挖掘接口元素的組合關(guān)系并表示形成接口屬性，最后生成主要由一組屬性形成的查詢接口模式。這種方法不僅能正確地關(guān)聯(lián)了查詢控件與標(biāo)簽文本，而且很好的表示了具有多元素組成的屬性。實(shí)驗(yàn)結(jié)果驗(yàn)證了這種方法的有效性。
　　(3)Deep

5、Web數(shù)據(jù)集成一般是基于領(lǐng)域的，由此對(duì)Web數(shù)據(jù)庫(kù)按領(lǐng)域進(jìn)行分類是必要的。針對(duì)Web數(shù)據(jù)庫(kù)分類問(wèn)題，本文提出了一種基于查詢接口文本向量空間模型的分類方法，該方法利用查詢接口文本構(gòu)建向量空間模型（VSM），以向量表示查詢接口，通過(guò)使用數(shù)據(jù)挖掘算法訓(xùn)練已知類別查詢接口集合從而生成分類模型，利用已建的分類模型區(qū)分未知類別查詢接口。與其他方法相比，這種方法具有分類性能好、可擴(kuò)展性強(qiáng)等特點(diǎn)。
　　(4)針對(duì)DeepWeb結(jié)果數(shù)據(jù)抽取問(wèn)題，本

6、文提出基于正則表達(dá)式的結(jié)果數(shù)據(jù)抽取方法。該方法首先使用正則表達(dá)式構(gòu)建領(lǐng)域相關(guān)的結(jié)果數(shù)據(jù)模式，利用構(gòu)建的數(shù)據(jù)模式匹配結(jié)果頁(yè)面上的結(jié)果數(shù)據(jù)項(xiàng)節(jié)點(diǎn)。通過(guò)結(jié)果數(shù)據(jù)區(qū)域定位、實(shí)體記錄分開(kāi)抽取、數(shù)據(jù)項(xiàng)識(shí)別與標(biāo)注等三階段處理，最終實(shí)現(xiàn)結(jié)果數(shù)據(jù)的抽取。這種方法實(shí)現(xiàn)自動(dòng)抽取結(jié)果頁(yè)面上的結(jié)果數(shù)據(jù)并標(biāo)注，對(duì)于同一領(lǐng)域的DeepWeb結(jié)果頁(yè)面具有通用性。
　　(5)根據(jù)所研究的關(guān)鍵技術(shù)和實(shí)際應(yīng)用需求，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)面向DeepWeb的數(shù)據(jù)集成原型系統(tǒng)，