Deep Web數(shù)據(jù)庫(kù)的發(fā)現(xiàn)與分類研究.pdf

1、隨著Internet的快速發(fā)展，互聯(lián)網(wǎng)中蘊(yùn)含了海量的信息資源，按其所蘊(yùn)含信息的“深度”可以將其劃分為Deep Web和Surface Web。Deep Web中蘊(yùn)藏的信息比Surface Web中的信息規(guī)模更大、質(zhì)量更高、更具權(quán)威性，但傳統(tǒng)的搜索引擎只能檢索到Surface Web中的信息，而無法檢索到Deep Web中的信息。因此，Deep Web資源的獲取問題成為數(shù)據(jù)庫(kù)領(lǐng)域和信息檢索領(lǐng)域的研究熱點(diǎn)。
　　 本文研究的目的在于

2、如何有效地發(fā)現(xiàn)Deep Web數(shù)據(jù)庫(kù)并將其按領(lǐng)域分類。面對(duì)規(guī)模龐大而又持續(xù)增長(zhǎng)的Web信息資源，如何有效的從中發(fā)現(xiàn)Web數(shù)據(jù)庫(kù)是一件具有挑戰(zhàn)性的工作。我們利用搜索引擎進(jìn)行基于領(lǐng)域的Deep Web數(shù)據(jù)庫(kù)的發(fā)現(xiàn)。雖然傳統(tǒng)的搜索引擎無法直接獲得Web數(shù)據(jù)庫(kù)中的內(nèi)容，但是Web數(shù)據(jù)庫(kù)的查詢接口是靜態(tài)的，存在于Surface Web頁(yè)面中的，可以被搜索引擎檢索到。這種方式可以充分利用現(xiàn)有搜索引擎強(qiáng)大的搜索功能，需要解決的問題是向搜索引擎提供什么

3、樣的查詢?cè)~以及如何從查詢結(jié)果中識(shí)別出數(shù)據(jù)庫(kù)接口。我們給出了確定查詢?cè)~的方法和識(shí)別Web數(shù)據(jù)庫(kù)接口的啟發(fā)式規(guī)則。實(shí)驗(yàn)表明，該方法能夠快速發(fā)現(xiàn)Web數(shù)據(jù)庫(kù)的查詢接口，并且具有較強(qiáng)的領(lǐng)域區(qū)分能力。
　　 我們把Deep Web數(shù)據(jù)庫(kù)接口分為簡(jiǎn)單查詢接口和復(fù)雜查詢接口，并基于此提出一種漸進(jìn)式Deep Web數(shù)據(jù)庫(kù)分類方法。對(duì)于復(fù)雜查詢接口，根據(jù)接口上的特征屬性直接分類；對(duì)于簡(jiǎn)單查詢接口，通過提交查詢?cè)~，根據(jù)結(jié)果頁(yè)面上的特征屬性對(duì)接口進(jìn)行