面向deep web的數(shù)據(jù)抽取與結(jié)果聚合技術(shù)研究.pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)的高速發(fā)展，網(wǎng)絡(luò)資源越來越豐富，一方面拓寬了人們獲取信息的渠道，另一方面信息的秩序混亂又使得用戶難以浩瀚萬千的信息中獲取需要的信息，搜索引擎為用戶提供網(wǎng)絡(luò)信息的檢索與分類功能。在網(wǎng)絡(luò)資源中，有一種資源是傳統(tǒng)搜索引擎索引不到的。這種資源叫deep web資源。Deep web資源是指?jìng)鹘y(tǒng)搜索引擎不能索引到的資源，是能夠被訪問的在線web數(shù)據(jù)庫。deep web資源因其資源豐富，專業(yè)性強(qiáng)，自動(dòng)更新速度快，數(shù)據(jù)海量，領(lǐng)域范圍廣等

2、優(yōu)點(diǎn)。越來越受到人們的青睞。研究如何對(duì)通過deep web查詢接口返回的數(shù)據(jù)進(jìn)行抽取以及對(duì)抽取結(jié)果進(jìn)行聚合具有重要的理論意義和實(shí)踐價(jià)值。
　　 本文針對(duì)deep web資源的數(shù)據(jù)抽取與結(jié)果聚合進(jìn)行研究，數(shù)據(jù)抽取階段，首先簡(jiǎn)要介紹MDR，總結(jié)MDR在deep web頁面信息抽取中遇到的效率問題，從MDR數(shù)據(jù)抽取算法中得到啟示，對(duì)MDR算法進(jìn)行改進(jìn)以降低數(shù)據(jù)抽取的時(shí)間復(fù)雜度。抽取算法使用標(biāo)簽樹對(duì)HTML頁面進(jìn)行表示，在抽取之前對(duì)頁面

3、清洗，規(guī)范化并構(gòu)造標(biāo)簽樹。使用標(biāo)簽樹的結(jié)構(gòu)相似度定位數(shù)據(jù)記錄。相似度計(jì)算方法改進(jìn)了樹編輯距離算法時(shí)間復(fù)雜度高的缺點(diǎn)，改進(jìn)了元素比較法的不能真實(shí)反映樹結(jié)構(gòu)的缺點(diǎn)，在面向deep web的數(shù)據(jù)抽取中有較好的抽取效果。然而有些數(shù)據(jù)記錄之間的相似度較低，使用基于標(biāo)簽樹的相似度的數(shù)據(jù)抽取算法也會(huì)有不好的情況，為了解決這種標(biāo)簽結(jié)構(gòu)的數(shù)據(jù)記錄識(shí)別問題，在改進(jìn)通過標(biāo)簽樹結(jié)構(gòu)相似度判定數(shù)據(jù)記錄的基礎(chǔ)上，提出一種基于子樹不完全匹配的數(shù)據(jù)記錄抽取算法。結(jié)果聚