面向檢驗檢疫領(lǐng)域主題爬蟲的研究及系統(tǒng)實現(xiàn).pdf

1、近年來，全球信息數(shù)據(jù)總量在互聯(lián)網(wǎng)的推動下急劇地增長，據(jù)國際數(shù)據(jù)公司(IDC)預(yù)計，至2020年，全球的數(shù)據(jù)總量將以每年50％的增長率達(dá)到40ZB，其中文件、視頻、音頻等非結(jié)構(gòu)化信息占數(shù)據(jù)生產(chǎn)總量的90％。在這樣的背景下，用戶在數(shù)據(jù)海洋中對信息精度和深度的要求日益提高，特別是針對專業(yè)領(lǐng)域內(nèi)的特殊查詢需求，通用搜索引擎收集的信息駁雜而不精確。有鑒于此，本文把文本分類問題作為主要的研究對象，從垂直搜索引擎出發(fā)，深度探究了其中的數(shù)據(jù)采集、關(guān)鍵詞

2、搜索等技術(shù)，并以實際項目為依托，基于檢驗檢疫這一特定的主題領(lǐng)域?qū)崿F(xiàn)了具體的數(shù)據(jù)采集、搜索子系統(tǒng)。
　　本文主要的貢獻(xiàn)如下:
　　1、概述了爬蟲系統(tǒng)實現(xiàn)過程中的用到的關(guān)鍵技術(shù)，如網(wǎng)頁去噪、正文提取、海量URL和文檔的去重、NoSQL數(shù)據(jù)庫等。此外為了應(yīng)對網(wǎng)頁中動態(tài)內(nèi)容的解析和下載，本文提出了基于協(xié)議控制的JavaScript解析策略。
　　2、分別列舉討論了基于網(wǎng)絡(luò)拓?fù)?、網(wǎng)頁正文、用戶訪問行為的網(wǎng)頁抓取策略，對比其優(yōu)缺點

3、后，本文提出了基于URL密度聚類的網(wǎng)頁抓取策略，通過聚集簇的方式來對相關(guān)網(wǎng)頁進(jìn)行劃分和抓取。
　　3、對比傳統(tǒng)的文本分類器的優(yōu)缺點，本文結(jié)合詞向量Word2vec和深度學(xué)習(xí)的方法，提出了基于Attention機(jī)制的層次化長短時分類網(wǎng)絡(luò)用于文本分類任務(wù)，分別從單詞和句子的維度提取結(jié)構(gòu)化特征來將整個文本表征為特征向量。
　　4、結(jié)合“973計劃”中的子課題，本文實現(xiàn)了面向檢驗檢疫領(lǐng)域的數(shù)據(jù)采集子系統(tǒng)和數(shù)據(jù)搜索子系統(tǒng)，數(shù)據(jù)采集、清