Deep Web集成查詢系統(tǒng)預(yù)處理關(guān)鍵技術(shù)研究.pdf

1、隨著信息化技術(shù)的發(fā)展,人們?cè)絹碓絻A向于從網(wǎng)絡(luò)上獲取資源。傳統(tǒng)搜索引擎能夠檢索到的網(wǎng)絡(luò)資源稱為SurfaceWeb,而SurfaceWeb僅占整個(gè)Web資源的很少一部分。那些隱藏在Web數(shù)據(jù)庫中,靠提交查詢生成動(dòng)態(tài)頁面獲取的資源稱為DeepWeb。DeepWeb信息含量大,領(lǐng)域相關(guān)度強(qiáng),如何高效的獲取這些資源成為當(dāng)前研究的關(guān)鍵問題。
　　 DeepWeb集成查詢系統(tǒng)是由同領(lǐng)域的DeepWeb入口集成的一個(gè)全局查詢接口,通過對(duì)這個(gè)集

2、成接口提交查詢,可以同時(shí)檢索到不同Web數(shù)據(jù)庫中的資源。預(yù)處理階段是系統(tǒng)集成過程中的初始階段,它主要分三步進(jìn)行:Web入口的發(fā)現(xiàn)、查詢接口模式抽取、查詢接口集成,其最終結(jié)果的好壞對(duì)后面查詢處理和結(jié)果處理有著重要影響。因此上述預(yù)處理階段各個(gè)步驟采用哪種技術(shù)能夠獲得更高的效率是本文研究的出發(fā)點(diǎn)。本文的主要研究工作如下:
　　 (1)分析了DeepWeb查詢表單的特征,針對(duì)現(xiàn)階段Web入口發(fā)現(xiàn)技術(shù)的優(yōu)缺點(diǎn),提出將多分類器聚焦爬行技術(shù)應(yīng)

3、用到Web入口發(fā)現(xiàn)上,重點(diǎn)給出各分類器的實(shí)現(xiàn)方法,并介紹了種子URL的選取策略;根據(jù)查詢表單分類過程的啟發(fā)式規(guī)則提出采用基于決策樹的表單分類方法,區(qū)分出那些非Web入口的查詢表單。
　　 (2)研究Web入口的模式特征,針對(duì)HTML頁面的結(jié)構(gòu)性特征提出基于DOM樹和DWI對(duì)象模型的模式抽取方法,首先通過網(wǎng)頁解析器將接口頁面解析成DOM樹結(jié)構(gòu),然后遍歷DOM樹找出屬性元素及其對(duì)應(yīng)的標(biāo)簽,最后用DWI對(duì)象模型將查詢接口的模式信息表示