Deep Web信息集成若干關(guān)鍵技術(shù)研究.pdf

1、隨著Internet信息的迅速增長(zhǎng)，整個(gè)Web信息已經(jīng)被各種各樣的可搜索的在線數(shù)據(jù)庫(kù)所深化，那些信息被隱藏在Web查詢接口下面，即Deep Web信息。傳統(tǒng)的搜索引擎爬蟲(chóng)程序由于技術(shù)原因不能索引Deep Web信息。為了方便用戶快捷高效的使用Deep Web信息，Deep Web信息集成的研究已成為一個(gè)非常迫切的問(wèn)題，具有廣泛的應(yīng)用前景和實(shí)用價(jià)值，已成為近年來(lái)的研究熱點(diǎn)。 本文對(duì)Deep Web信息集成的研究現(xiàn)狀和發(fā)展趨勢(shì)進(jìn)行了

2、深入的分析。在課題組前期工作的基礎(chǔ)上，就Deep Web信息集成中若干關(guān)鍵技術(shù)進(jìn)行了研究，這些研究包括了Deep Web數(shù)據(jù)源發(fā)現(xiàn)、Deep Web數(shù)據(jù)源分類聚類、Deep Web數(shù)據(jù)增量抓取策略以及Deep Web模式和數(shù)據(jù)抽取技術(shù)等內(nèi)容。所做的工作和取得的創(chuàng)新成果主要體現(xiàn)在下面五個(gè)方面： （1）針對(duì)Deep Web數(shù)據(jù)源的動(dòng)態(tài)性和稀疏分布的特征，提出了一種基于查詢接口聚焦爬蟲(chóng)的Deep Web數(shù)據(jù)源發(fā)現(xiàn)方法，聚焦訪問(wèn)那些可能

3、鏈接到Deep Web入口頁(yè)面的鏈接，避免訪問(wèn)下載不必要的頁(yè)面。除了考慮Deep Web入口頁(yè)面和鏈接本身的特征以外，還考慮了通向目標(biāo)頁(yè)面路徑上的特征。實(shí)驗(yàn)結(jié)果表明，該方法可以有效的提高Deep Web數(shù)據(jù)源發(fā)現(xiàn)的效率。 （2）把Deep Web數(shù)據(jù)源按其所屬領(lǐng)域進(jìn)行組織，方便用戶瀏覽這些有價(jià)值的資源，這是Deep Web信息集成的一個(gè)關(guān)鍵步驟。本文提出了一種基于查詢接口特征的Deep Web分類方法和基于查詢接口連接圖的Dee

4、p Web聚類方法，從而可以對(duì)Deep Web數(shù)據(jù)源按其所屬領(lǐng)域進(jìn)行自動(dòng)組織和管理。該方法不需提交查詢采樣Deep Web內(nèi)部數(shù)據(jù)，同時(shí)由于Deep Web的接口頁(yè)面獲取容易，因此其具有較強(qiáng)的可擴(kuò)展性。 （3）由于Deep Web是自治的，獨(dú)立更新的，因此對(duì)于一些應(yīng)用需要周期性的抓取Deep Web內(nèi)容以檢查其更新。由于不同的Deep Web數(shù)據(jù)源或同一個(gè)Deep Web數(shù)據(jù)源內(nèi)部數(shù)據(jù)記錄的變化頻率不一，按統(tǒng)一頻率更新所有數(shù)據(jù)是

5、非常浪費(fèi)資源的。針對(duì)該問(wèn)題本文提出了基于不同粒度的Deep Web數(shù)據(jù)增量抓取策略，其粒度可分為數(shù)據(jù)源和數(shù)據(jù)記錄，根據(jù)不同的應(yīng)用需求可選取不同的粒度。實(shí)驗(yàn)結(jié)果表明，該方法在相同資源約束前提下，可有效提高本地?cái)?shù)據(jù)的時(shí)新性。 （4）Deep Web查詢接口和結(jié)果頁(yè)面主要是通過(guò)HTML語(yǔ)言編寫(xiě)的，使得Deep Web上的數(shù)據(jù)是半結(jié)構(gòu)化的甚至是無(wú)結(jié)構(gòu)的，給Deep Web信息集成帶來(lái)了很大的困難。網(wǎng)頁(yè)主要是為了方便人們?yōu)g覽從中獲取有用的

6、信息，而不是被計(jì)算機(jī)自動(dòng)處理，因而獲取頁(yè)面的視覺(jué)信息可以從某種程度上模擬人類的行為對(duì)頁(yè)面進(jìn)行識(shí)別。本文提出了一種基于視覺(jué)特征的Deep Web模式和數(shù)據(jù)自動(dòng)抽取方法，該方法使用Deep Web頁(yè)面的視覺(jué)特征，避免了傳統(tǒng)基于DOM樹(shù)的方法依賴于HTML的定義，并且頁(yè)面可以是HTML語(yǔ)言或任何其它語(yǔ)言描述的，包括非規(guī)范HTML語(yǔ)言描述，因此該方法具有較強(qiáng)的適應(yīng)性。 （5）根據(jù)所研究的關(guān)鍵技術(shù)和實(shí)際應(yīng)用需求，提出了一個(gè)面向Deep W