基于表單的深度搜索技術(shù)研究.pdf

1、目前大多數(shù)搜索引擎僅僅搜索超鏈接可以搜索到的靜態(tài)網(wǎng)頁,而許多的重要數(shù)據(jù)存放在web的后臺數(shù)據(jù)庫中,它們需要通過表單查詢的方式獲取,相應(yīng)的網(wǎng)頁稱為隱藏網(wǎng)頁。為了幫助用戶獲取更多的信息,本文討論隱藏頁面的搜索方法,給出了系統(tǒng)架構(gòu),并討論其中的關(guān)鍵技術(shù)。 本文首先分析了當(dāng)前普遍采用的互聯(lián)網(wǎng)信息搜索引擎的優(yōu)缺點,比較通用搜索與深度搜索的不同,提出了適合深度搜索的爬行策略,即利用鏈接分類、文本分類進行聚焦爬行。并通過設(shè)置同一站點內(nèi)停止搜索

2、標(biāo)準(zhǔn)條件,對規(guī)則網(wǎng)站設(shè)置路徑學(xué)習(xí),盡量找到含有表單的網(wǎng)頁。 本文通過模擬用戶訪問深度網(wǎng)頁的過程,開展了如下工作：首先,通過調(diào)查研究,提出適合能快速有效地下載含有表單的網(wǎng)頁的爬行策略；然后處理網(wǎng)頁,抽取出表單信息,將網(wǎng)頁表單信息轉(zhuǎn)換成程序可以理解的形式,即對表單進行建模。其次,利用啟發(fā)式規(guī)則和表單分類方法提取有用的表單。再次,對表單標(biāo)簽和語義詞進行提取,自動填寫提交,找到需要網(wǎng)頁。 本文充分利用表單的結(jié)構(gòu)和文本信息,其中的