Deep Web數(shù)據(jù)獲取方法研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展,Web中的信息規(guī)模日益擴(kuò)大,為人們提供了各種各樣可利用的信息。其中大量的信息是存儲(chǔ)在Web數(shù)據(jù)庫(kù)當(dāng)中,只能通過(guò)網(wǎng)頁(yè)中的查詢(xún)接口才能訪(fǎng)問(wèn)。改變了通過(guò)鏈接來(lái)訪(fǎng)問(wèn)網(wǎng)頁(yè)的方式,使得傳統(tǒng)的搜索引擎無(wú)法獲取,因而被稱(chēng)為Deep Web。高速增長(zhǎng)的Deep Web信息已成為人們進(jìn)行信息獲取的一個(gè)重要來(lái)源,然而Deep Web數(shù)據(jù)的異構(gòu)性和動(dòng)態(tài)性,為大規(guī)模Deep Web數(shù)據(jù)集成帶來(lái)巨大的挑戰(zhàn)。通過(guò)獲取Deep Web的數(shù)據(jù),在本

2、地集成Web數(shù)據(jù)庫(kù)的重要性正在逐漸凸顯。
　　 本文針對(duì)Deep Web數(shù)據(jù)獲取的相關(guān)技術(shù)進(jìn)行深入研究,并提出了相應(yīng)的算法和模型。本文的主要研究工作如下:
　　 (1)研究了Deep Web站點(diǎn)和查詢(xún)接口的特點(diǎn),在表單的屬性選擇方面,提出了一種基于屬性相關(guān)度的屬性組合有效性的計(jì)算方法。
　　 (2)分析了查詢(xún)接口中屬性的特點(diǎn),提出了通過(guò)機(jī)器學(xué)習(xí)的方法識(shí)別查詢(xún)接口中每個(gè)特定的文本屬性。
　　 (3)通過(guò)對(duì)屬

3、性的分類(lèi),針對(duì)不同類(lèi)型的屬性采用不同方法產(chǎn)生查詢(xún)?cè)~。對(duì)于普通的文本屬性,提出了通過(guò)抽取查詢(xún)結(jié)果頁(yè)中的相應(yīng)內(nèi)容,并通過(guò)適應(yīng)性策略來(lái)選取合適的關(guān)鍵詞作為查詢(xún)?cè)~的方法。對(duì)于特定的文本屬性,使用人工建立知識(shí)庫(kù)的方法。
　　 (4)分析了Deep Web數(shù)據(jù)源中網(wǎng)頁(yè)的更新特點(diǎn),通過(guò)泊松模型對(duì)網(wǎng)頁(yè)更新事件建立模型,增量獲取Deep Web數(shù)據(jù)。并設(shè)計(jì)了增量獲取Deep Web數(shù)據(jù)的爬蟲(chóng)系統(tǒng)結(jié)構(gòu)。
　　 此外,本文還對(duì)文中提出的方法和