基于深度網(wǎng)頁(yè)爬蟲(chóng)搜索引擎原型的研究和實(shí)現(xiàn).pdf

1、隨著Internet的迅速發(fā)展，簡(jiǎn)易、可擴(kuò)展、平臺(tái)無(wú)關(guān)的Web技術(shù)逐漸盛行，Web動(dòng)態(tài)頁(yè)面也正在逐步取代靜態(tài)頁(yè)面?；赪eb動(dòng)態(tài)頁(yè)面的一些特性，深度網(wǎng)頁(yè)（亦稱Deep Web或深網(wǎng)）的出現(xiàn)也就成了必然的趨勢(shì)。搜索引擎的出現(xiàn)在一定程度上為用戶搜集、獲取網(wǎng)絡(luò)信息提供了有效的途徑。傳統(tǒng)的搜索引擎呈現(xiàn)給用戶的主要是類似純文本的非結(jié)構(gòu)化數(shù)據(jù)，但深度網(wǎng)頁(yè)數(shù)據(jù)作為一種結(jié)構(gòu)化數(shù)據(jù)，顯然無(wú)法通過(guò)傳統(tǒng)搜索引擎被獲取到。隨著對(duì)深度網(wǎng)頁(yè)技術(shù)研究的不斷深入，通過(guò)

2、搜索引擎獲取深度網(wǎng)頁(yè)數(shù)據(jù)已經(jīng)成為深度網(wǎng)頁(yè)研究領(lǐng)域的一項(xiàng)新課題。
　　 本文主要是基于深度網(wǎng)頁(yè)爬蟲(chóng)并結(jié)合Lucene搜索引擎構(gòu)架中的核心索引類和核心查詢類構(gòu)建了一種基于深度網(wǎng)頁(yè)爬蟲(chóng)的搜索引擎原型。在整個(gè)原型系統(tǒng)的實(shí)現(xiàn)過(guò)程中，主要從深度網(wǎng)頁(yè)站點(diǎn)信息搜集、深度網(wǎng)頁(yè)查詢接口判定、深度網(wǎng)頁(yè)表面預(yù)處理以及關(guān)聯(lián)表單查詢模板輸入值等四個(gè)方面對(duì)深度網(wǎng)頁(yè)爬蟲(chóng)的研究和實(shí)現(xiàn)進(jìn)行了分析和探討。本文在查詢接口判定方面，主要是根據(jù)DOM樹(shù)的原理，對(duì)網(wǎng)頁(yè)數(shù)據(jù)進(jìn)

3、行了特征分析和識(shí)別。
　　 在對(duì)深度網(wǎng)頁(yè)進(jìn)行表面預(yù)處理方面，本文提出了關(guān)聯(lián)表單查詢模板的選擇算法。這種算法是在對(duì)網(wǎng)頁(yè)表單輸入值進(jìn)行建模的基礎(chǔ)上，通過(guò)對(duì)表單頁(yè)面的查詢處理過(guò)程進(jìn)行分析和研究所提出的。另外，在表單查詢模板輸入值的選擇方面，本文采用了一種迭代探索的算法，結(jié)合加權(quán)分析技術(shù)，對(duì)后臺(tái)表單數(shù)據(jù)庫(kù)通過(guò)查詢獲取到深度網(wǎng)頁(yè)中的數(shù)據(jù)。
　　 在搜索引擎構(gòu)架方面，本文利用了Lucene開(kāi)源搜索引擎框架提供的兩個(gè)核心類，即核心索引