深度網(wǎng)爬蟲及更新策略研究.pdf

1、21世紀(jì)是以網(wǎng)絡(luò)為基礎(chǔ)、高新技術(shù)為核心的知識(shí)經(jīng)濟(jì)社會(huì)，網(wǎng)絡(luò)對我們的生活越來越重要，越來越多的人從網(wǎng)上搜索資料，如今用戶對搜索引擎的依賴性越來越強(qiáng)，對搜索結(jié)果“專、精、深”要求也越來越高，傳統(tǒng)的網(wǎng)頁搜索引擎已經(jīng)滿足不了廣大用戶的需求。Deep Web與普通網(wǎng)頁相比，信息量更大、主題更專一、數(shù)據(jù)結(jié)構(gòu)化信息更好、信息質(zhì)量更高，能有效地對Deep Web中的資源進(jìn)行搜索，為用戶提供更有價(jià)值的信息。
　　 Deep Web搜索需要突破傳統(tǒng)

2、搜索技術(shù)上的局限性，從網(wǎng)絡(luò)上自動(dòng)識(shí)別可搜索的數(shù)據(jù)庫，通過搜索接口提交搜索請求并對返回的查詢結(jié)果進(jìn)行分析，取出需要的數(shù)據(jù)處理后再以某種形式返回給用戶。本著搜索更深入，信息更專業(yè)的宗旨，文本論述了深度網(wǎng)關(guān)鍵研究工作，實(shí)現(xiàn)了基于云計(jì)算的深度網(wǎng)垂直搜索系統(tǒng)。將互聯(lián)網(wǎng)海量無序化信息結(jié)構(gòu)化，為用戶提供專著、具體、深入的信息檢索服務(wù)，采用簡單模式、文本向量特征等多種分類方式實(shí)現(xiàn)頁面的準(zhǔn)確歸類。并通過實(shí)驗(yàn)證明，該方法具有網(wǎng)頁抓取的高效性以及頁面分類的準(zhǔn)