深層網(wǎng)絡(luò)信息發(fā)掘技術(shù)研究.pdf

1、整個(gè)網(wǎng)絡(luò)中的信息按深度可分成兩個(gè)層次，表層和深層。表層主要包括“靜態(tài)網(wǎng)頁(yè)”，是指以文件形式靜態(tài)存放在服務(wù)器上的數(shù)據(jù)信息。深層則主要包括“動(dòng)態(tài)網(wǎng)頁(yè)”，是指隱藏在表單背后，需要進(jìn)行查詢輸入，由后臺(tái)數(shù)據(jù)庫(kù)動(dòng)態(tài)生成的數(shù)據(jù)信息。這些“動(dòng)態(tài)網(wǎng)頁(yè)”信息也被稱作深層網(wǎng)絡(luò)信息、Deep Web信息、Hidden Web信息，具有數(shù)量大、質(zhì)量高、結(jié)構(gòu)化等特點(diǎn)，但目前傳統(tǒng)搜索引擎卻無法將這些信息索引。如何大規(guī)模自動(dòng)獲取深層網(wǎng)絡(luò)信息成為當(dāng)前技術(shù)難題和研究熱點(diǎn)。

2、
　　本文對(duì)目前獲取深層網(wǎng)絡(luò)信息的主要方法進(jìn)行研究，分析這些方法各自的優(yōu)缺點(diǎn)后，決定采用擴(kuò)展當(dāng)前搜索引擎爬蟲能力的方案，使其能夠自動(dòng)填寫表單、構(gòu)造查詢URL，從而獲取到返回頁(yè)面，這樣，搜索引擎便能像處理普通靜態(tài)頁(yè)面一樣將其索引，最后呈現(xiàn)給用戶。
　　為了達(dá)到上述目的，需要解決以下幾個(gè)主要問題：
　　(1) HTML表單的形式繁雜，如何正確的發(fā)現(xiàn)提供深層網(wǎng)絡(luò)數(shù)據(jù)源接口的表單并將其有用信息提取出來。
　　(2) HT

3、ML表單的控件類型多種多樣，如何選取查詢值組合，尤其是如何生成文本框輸入值。
　　(3)如何從查詢返回頁(yè)面中提取有用信息。
　　針對(duì)以上問題，本文對(duì)傳統(tǒng)搜索引擎爬蟲進(jìn)行分析和優(yōu)化，給出深層網(wǎng)絡(luò)數(shù)據(jù)源發(fā)現(xiàn)及表單接口提取、自動(dòng)填寫表單內(nèi)容、查詢返回頁(yè)面內(nèi)容抽取、深層網(wǎng)絡(luò)信息獲取過程中語(yǔ)義元數(shù)據(jù)的提取、抓取后頁(yè)面內(nèi)容更新等關(guān)鍵技術(shù)的解決方案和算法。最后在傳統(tǒng)爬蟲的基礎(chǔ)上進(jìn)行擴(kuò)展，構(gòu)建一個(gè)深層網(wǎng)絡(luò)信息發(fā)掘系統(tǒng)。同時(shí)，進(jìn)行實(shí)際運(yùn)行測(cè)試