基于領域知識的Deep Web接口發(fā)現(xiàn)研究.pdf

1、隨著Internet技術的快速發(fā)展，Web數(shù)據(jù)庫越來越受到人們的重視，Web按其所蘊含信息的“深度”可以分為Surface Web和Deep Web兩部分。與Surface Web相比，Deep Web蘊藏了更加豐富、更加專業(yè)的信息，為了有效的利用這些信息，建立Deep Web數(shù)據(jù)集成系統(tǒng)成為當前研究的熱點，而Deep Web接口發(fā)現(xiàn)是建立Deep Web數(shù)據(jù)集成系統(tǒng)的首要工作。Deep Web接口發(fā)現(xiàn)需要解決4個方面的問題：（1）找到

2、可能包含領域內(nèi)Deep Web接口的網(wǎng)站。（2）從找到的網(wǎng)站中識別出領域內(nèi)Deep Web接口。（3）評估發(fā)現(xiàn)的領域內(nèi)DeepWeb接口的覆蓋率。（4）抽取出Deep Web接口的屬性信息。
　　 對于第一個問題，利用搜索引擎是一種行之有效的辦法，它的難點在于如何設計查詢提交詞，進而實現(xiàn)用較少的查詢提交詞快速發(fā)現(xiàn)盡可能多的領域內(nèi)Deep Web接口，本文提出了基于領域知識的查詢提交詞確定方法，該方法包括三部分：（1）基于領域知識

3、計算查詢提交詞的知名度，即利用領域知識確定出檢查某詞是否符合高知名度的特征詞，把該詞和該詞的特征詞作為組合詞提交到搜索引擎，統(tǒng)計目標網(wǎng)站精確匹配組合詞的個數(shù)，個數(shù)越多，則說明該詞和特征詞越匹配，從而該詞的知名度就越高，該詞能找到含有領域內(nèi)Deep Web接口數(shù)越多。（2）基于領域知識的URL過濾，即通過URL中含有的領域知識快速排除和本領域無關的網(wǎng)站，且剩余的網(wǎng)站數(shù)目越多，則含有領域內(nèi)Deep Web接口的網(wǎng)站數(shù)也越多，計算剩余網(wǎng)站個數(shù)

4、并降序排列，從而排在前面的一個詞要比排在后面的一個詞找到的領域內(nèi)Deep Web接口數(shù)多。（3）查詢提交詞確定流程。實驗表明該方法可實現(xiàn)用較少的查詢提交詞快速發(fā)現(xiàn)盡可能多的領域內(nèi)Deep Web接口。對于第二個問題，本文提出基于支持向量機的Deep Web接口判定方法，該方法具有較高的查準率和查全率。對于第三個問題，本文提出基于集成網(wǎng)站評估發(fā)現(xiàn)領域內(nèi)Deep Web接口的覆蓋率方法，該方法具有一定的參考價值。對于第四個問題，本文提出基于