Deep Web數(shù)據(jù)源發(fā)現(xiàn)與分類研究.pdf

1、Deep Web又稱為看不見的網(wǎng)頁,是指通用搜索引擎由于技術(shù)因?yàn)闊o法索引到的那部分信息,Deep Web包含的信息是Surface Web的400～500倍,相比于表層網(wǎng)其信息更有價(jià)值。這些信息以自主的、獨(dú)立的形式分布在整個網(wǎng)絡(luò)中,而且Deep Web數(shù)據(jù)源是動態(tài)的、不斷變化的,并非所有的網(wǎng)頁表單都是DeepWeb查詢接口,這給Deep Web信息的獲取帶來了困難。使用者可以通過目錄指南、專業(yè)搜索引擎、Deep Web數(shù)據(jù)庫等方式來獲取

2、Deep Web信息。為了有效的提供這些信息,必須對Deep Web進(jìn)行數(shù)據(jù)集成。
　　 本文針對Deep Web數(shù)據(jù)集成中的數(shù)據(jù)源發(fā)現(xiàn)和接口分類這兩個重點(diǎn)問題進(jìn)行了較為深入的研究,主要的研究工作和成果如下：⑴對Deep Web進(jìn)行了研究,包括Deep Web的定義、數(shù)據(jù)特性、規(guī)模、存在類型、獲取途徑以及Deep Web數(shù)據(jù)集成中的關(guān)鍵問題。⑵Deep Web查詢接口的判定。在網(wǎng)頁表單特征提取的基礎(chǔ)上加入了啟發(fā)式判定規(guī)則。運(yùn)用了

3、分類器集成思想,采用Adaboost算法將多個樸素貝葉斯分類器進(jìn)行累加形成一個強(qiáng)分類器,減弱樸素貝葉斯分類算法中屬性獨(dú)立性假設(shè)的要求,利用多個分類器之間的差異來改善分類器的整體性能。實(shí)驗(yàn)結(jié)果顯示,在查全率和查準(zhǔn)率上都達(dá)到了90％,取得了較好的判定效果。⑶Deep Web數(shù)據(jù)源分類。采用ID3算法和C4.5算法相結(jié)合的方式,較好的處理了歸納偏置問題和分裂子集樣本數(shù)目接近樣本總數(shù)引起的增益比率過大問題。實(shí)驗(yàn)結(jié)果顯示,在多個領(lǐng)域的分類準(zhǔn)確性都

4、有所提高。本文解決方案比較適用于存在共有屬性的領(lǐng)域,在這類領(lǐng)域的分類效果比較好。
　　 本文提出了基于特征與啟發(fā)式規(guī)則相結(jié)合的Deep Web查詢接口判定方法,采用Adaboost-Naive Bayes分類器對查詢接口進(jìn)行判定。在此基礎(chǔ)上采用ID3和C4.5相結(jié)合的分類算法對Deep Web數(shù)據(jù)源分類。實(shí)驗(yàn)表明,在查全率和準(zhǔn)確率上都得到了提高。但是,還有很多有意義的問題值得進(jìn)一步研究,例如:中英文網(wǎng)頁之間的差別；進(jìn)一步擴(kuò)展Ad