Deep Web信息抽取技術(shù)研究.pdf

1、隨著近幾年互聯(lián)網(wǎng)的高速發(fā)展，Web中的信息成爆炸式的增長，為人們提供了一個(gè)巨大的信息源。面對海量的信息資源，如何準(zhǔn)確而高效的從多樣，異構(gòu)的Web中獲取人們所需要的信息已經(jīng)成為當(dāng)前的研究熱點(diǎn)之一。
　　根據(jù)Web中所蘊(yùn)涵信息的“深度”可以將其劃分為Surface Web和Deep Web兩大部分。與那些可以被直接訪問的靜態(tài)頁面不同，Deep Web的內(nèi)容存儲(chǔ)在Web后臺(tái)數(shù)據(jù)庫中，這些內(nèi)容只有在被用戶查詢時(shí)才會(huì)根據(jù)用戶選擇由Web服務(wù)

2、器將動(dòng)態(tài)生成的HTML結(jié)果頁面返回給用戶，因此沒有鏈接指向這些頁面。與Surface Web相比，Deep Web往往蘊(yùn)含著更加豐富，更加專業(yè)和高質(zhì)量的數(shù)據(jù)內(nèi)容，這使得它們更具有被挖掘的商業(yè)價(jià)值。
　　但是Web中的數(shù)據(jù)形式各異、缺乏結(jié)構(gòu)性，而且充滿了大量廣告、圖片等噪音信息，再加上HTML設(shè)計(jì)是為了傳達(dá)視覺效果，而缺乏對數(shù)據(jù)本身的描述，是一種半結(jié)構(gòu)化標(biāo)識(shí)的語言，便于用戶瀏覽卻難以利用，這些都使得從Web中挖掘信息變得尤為困難。<

3、br>　　Deep Web信息抽取的目的是將以HTML格式顯示的無結(jié)構(gòu)的數(shù)據(jù)抽取出來，并理解數(shù)據(jù)之間的語義關(guān)系，將其在數(shù)據(jù)庫中進(jìn)行重構(gòu)。在對目前的Web信息抽取方法進(jìn)行學(xué)習(xí)總結(jié)的基礎(chǔ)上，本文提出了針對Deep Web查詢結(jié)果頁面的數(shù)據(jù)抽取的兩種方法:
　　(1)基于結(jié)構(gòu)和本體的表格信息抽取
　　針對以表格形式顯示的結(jié)構(gòu)化數(shù)據(jù)，提出了一種基于表格結(jié)構(gòu)特征分析和本體相結(jié)合的表格數(shù)據(jù)抽取方法。該方法通過分析表格特征構(gòu)造啟發(fā)式規(guī)則對

4、表格進(jìn)行定位，然后結(jié)合Web表格結(jié)構(gòu)標(biāo)記和本體庫對表格結(jié)構(gòu)進(jìn)行分析，識(shí)別表格中數(shù)據(jù)關(guān)系，最后基于所獲取的特征進(jìn)行數(shù)據(jù)提取。
　　(2)基于視覺特征和模板的列表信息抽取
　　對以div列表形式呈現(xiàn)的Deep Web數(shù)據(jù)信息，本文從視覺特征入手，通過分析此類頁面數(shù)據(jù)區(qū)域的視覺特征，提出一種基于視覺特征和模板相結(jié)合的信息抽取方法。該方法首先利用VIPS算法對頁面進(jìn)行視覺分塊，然后結(jié)合樹編輯距離算法搜索數(shù)據(jù)區(qū)域，最后通過手動(dòng)配置數(shù)據(jù)