Deep Web網(wǎng)絡(luò)蜘蛛研究與初步設(shè)計(jì).pdf

1、目前隨著Internet信息的爆炸增長(zhǎng)，Web服務(wù)器上數(shù)據(jù)信息已經(jīng)被大量可搜索的在線數(shù)據(jù)庫(kù)極大的“深化”，傳統(tǒng)搜索引擎已經(jīng)不能有效檢索到隱藏在Web服務(wù)器后臺(tái)在線數(shù)據(jù)庫(kù)中的Deep Web信息。如何快速有效獲取Deep Web信息正成為搜索引擎研究的熱點(diǎn)和和發(fā)展趨勢(shì)。 本文重點(diǎn)對(duì)網(wǎng)絡(luò)蜘蛛(Spider or crawler)的研究和改進(jìn)，以及Deep Web信息提取涉及到的相關(guān)技術(shù)和算法問(wèn)題，設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)Deep Web網(wǎng)絡(luò)

2、蜘蛛。論文的主要工作包括以下幾個(gè)方面： 1.分析了傳統(tǒng)搜索引擎的設(shè)計(jì)思想、工作原理和體系結(jié)構(gòu)，從而發(fā)現(xiàn)傳統(tǒng)搜索引擎在技術(shù)上存在的缺陷、不足之處和可改進(jìn)的地方。 2.分析了Deep Web信息集成系統(tǒng)的工作原理和體系結(jié)構(gòu)，并簡(jiǎn)要說(shuō)明Deep Web信息集成系統(tǒng)工作流程，系統(tǒng)組成模塊中各個(gè)模塊的功能。 3.在以上相關(guān)理論和研究結(jié)果的基礎(chǔ)上，提出了本文中設(shè)計(jì)Deep Web網(wǎng)絡(luò)蜘蛛的思想、體系結(jié)構(gòu)和工作流程。

3、4.針對(duì)網(wǎng)頁(yè)采集問(wèn)題，提出有選擇的采集網(wǎng)頁(yè)類型策略和控制重復(fù)網(wǎng)頁(yè)采集策略，有效地過(guò)濾了噪音信息和重復(fù)網(wǎng)頁(yè)抓取問(wèn)題。 5.針對(duì)從靜態(tài)網(wǎng)頁(yè)中提取Deep Web數(shù)據(jù)庫(kù)查詢接口問(wèn)題，提出通過(guò)分析網(wǎng)頁(yè)構(gòu)建網(wǎng)頁(yè)標(biāo)記樹(shù)模型，通過(guò)遍歷網(wǎng)頁(yè)標(biāo)記樹(shù)來(lái)尋找查詢接口。提出用對(duì)象模型表示(DWI)查詢接口和存儲(chǔ)表單數(shù)據(jù)，為后續(xù)查詢接口合并與分類提供有效的數(shù)據(jù)表示模型和良好的存儲(chǔ)結(jié)構(gòu)，并給出具體實(shí)現(xiàn)算法。 6.針對(duì)Deep Web查詢接口合并與分