Hidden Web信息搜集系統(tǒng)關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和網(wǎng)絡(luò)應(yīng)用的廣泛普及，用戶對(duì)網(wǎng)絡(luò)信息的覆蓋率和準(zhǔn)確率都提出了更高的要求。傳統(tǒng)搜索引擎主要針對(duì)表層網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行處理，卻忽略了大部分存儲(chǔ)在站點(diǎn)數(shù)據(jù)庫(kù)中，隱藏在查詢接口后的HiddenWeb資源。這些資源具有面向領(lǐng)域和權(quán)威化的特點(diǎn)，有效地獲取這些資源將對(duì)提高網(wǎng)絡(luò)信息覆蓋率和準(zhǔn)確率具有非常重要的作用。
　　本文按照訪問(wèn)HiddenWeb資源的基本流程，在對(duì)HiddenWeb站點(diǎn)頁(yè)面特征進(jìn)行分析的基礎(chǔ)上，從查詢接口檢

2、測(cè)，表單信息抽取和表單填充三個(gè)方面對(duì)HiddenWeb信息搜集系統(tǒng)的幾個(gè)關(guān)鍵技術(shù)進(jìn)行了研究。
　　1.查詢接口檢測(cè)技術(shù)。查詢接口是訪問(wèn)HiddenWeb數(shù)據(jù)庫(kù)的唯一接口。本文提出了一種將表單分類器與啟發(fā)式規(guī)則相結(jié)合的方法進(jìn)行查詢接口的檢測(cè)。實(shí)驗(yàn)證明該方法可以較準(zhǔn)確地從普通頁(yè)面中檢測(cè)出HiddenWeb資源的入口。
　　2.表單信息抽取技術(shù)。本文對(duì)已知查詢接口表單構(gòu)建DOM樹(shù)，利用DOM樹(shù)結(jié)構(gòu)分析，對(duì)查詢表單中的信息進(jìn)行抽取。