面向領域的Deep Web查詢接口發(fā)現(xiàn)研究.pdf

1、深層網(wǎng)絡指的是位于表層網(wǎng)絡之下所隱藏的數(shù)據(jù),需要用戶填寫表單發(fā)送查詢請求才能獲取,其數(shù)據(jù)量遠遠超過表層網(wǎng)絡且信息價值巨大。由此原因,如何挖掘出位于深層網(wǎng)絡中的海量數(shù)據(jù)成為了研究熱點,特別是Deep Web的信息集成研究尤為重要。Deep Web數(shù)據(jù)集成中的第一步是Web數(shù)據(jù)庫的發(fā)現(xiàn),也就是查詢接口的發(fā)現(xiàn)。但由于深層網(wǎng)絡的數(shù)據(jù)位于眾多的web數(shù)據(jù)庫中,并且處于不斷的變化中,相應的接口也可能隨之改變,增大了獲取的難度。其中最為突出的技術難點

2、是:一,Web數(shù)據(jù)庫分布廣泛且數(shù)量巨大,獲取包含查詢接口的網(wǎng)頁信息的效率問題有待提高;二,查詢接口都是以表單的形式存在,但并非所有的表單都是查詢接口,如何從中正確地篩選出Deep Web查詢接口、提高分類正確性也是亟待解決的問題。
　　圍繞著Deep Web查詢接口發(fā)現(xiàn)中的兩個難題,本文主要做了以下工作:
　　首先,對Deep Web進行研究,其中包括Deep Web的概念、規(guī)模、存在方式、獲得方法以及Deep Web查詢接

3、口發(fā)現(xiàn)中的一些關鍵問題,提出本文研究的研究方向和內(nèi)容。
　　其次,對查詢接口發(fā)現(xiàn)中用到的相關技術進行分析,包括通常用的DOM解析和啟發(fā)式規(guī)則研究,然后分析了查詢接口發(fā)現(xiàn)的主要算法,并進行比較。
　　再次,針對面向領域的Deep Web查詢接口獲取的效率問題,本文提出了一種查詢接口發(fā)現(xiàn)算法,包括基于單線程和多線程算法,并進行試驗對比,結果顯示基于多線程的算法效率提升顯著。
　　最后,為了從獲取的網(wǎng)頁表單中正確地篩選出De