“天眼查”分布式爬蟲系統(tǒng)中驗證碼識別模塊的設計與實現(xiàn).pdf

1、“天眼查”是一款提供了全面的企業(yè)信息查詢、專業(yè)的企業(yè)關(guān)系挖掘的工具平臺，可查詢企業(yè)工商信息、法律訴訟、商標專利、對外投資、招投標、失信、經(jīng)營異常、企業(yè)年報、招聘及新聞動態(tài)等，覆蓋全國超8000萬家企業(yè)信息，與工商局網(wǎng)站同步更新?！疤煅鄄椤逼脚_通過抓取互聯(lián)網(wǎng)公開信息，將主體間的關(guān)系以可視化的方式直觀呈現(xiàn)，為用戶提供全面可靠的企業(yè)數(shù)據(jù)分析，幫助用戶發(fā)現(xiàn)更多隱藏的商業(yè)利益關(guān)系，適合金融、投資、律師、記者、商務人士及時了解企業(yè)經(jīng)營狀況、洞察企業(yè)

2、經(jīng)營信息。
　　然而，在抓取互聯(lián)網(wǎng)公開信息的時候，會遇到各種類型的驗證碼，如填寫成語、漢語拼音、算術(shù)題、英文數(shù)字字母等等，人工識別或傳統(tǒng)技術(shù)識別無法適應大量數(shù)據(jù)爬取的需求。因此需要設計一套高效的驗證碼識別系統(tǒng)以有效提高信息的獲取速度，并為將來的數(shù)據(jù)挖掘獲取提供保障。
　　論文選題來源于公司實際應用項目，在分析“天眼查”產(chǎn)品的驗證碼識別需求的基礎(chǔ)上，設計和實現(xiàn)了基于深度學習的驗證碼識別系統(tǒng)。論文完成的具體工作包括:完成了驗證碼

3、識別系統(tǒng)的需求分析;設計了技術(shù)架構(gòu);將系統(tǒng)功能分解為基于深度學習的驗證碼訓練子系統(tǒng)、驗證碼識別服務子系統(tǒng)和爬蟲應用子系統(tǒng)三個相對獨立的部分，并分別完成了三個部分的概要設計、詳細設計和實現(xiàn);完成了對原有Spring、 Redis技術(shù)架構(gòu)進行相匹配的架構(gòu)升級設計;完成了系統(tǒng)功能測試。
　　本文的成果最終已經(jīng)成功應用到“天眼查”平臺的實際生產(chǎn)環(huán)節(jié)中，驗證碼識別率高，大大提高了爬蟲的爬取效率。論文涉及的軟件成果也已成功申請到了軟件著作權(quán)。