某機械制造企業(yè)WEB情報搜集系統(tǒng)的設計與實現(xiàn).pdf

1、改革開放30多年，中國已經(jīng)從一個基礎設施落后的農(nóng)業(yè)國家變成一個制造業(yè)大國。近年隨著經(jīng)濟結構的調(diào)整企業(yè)更加注重產(chǎn)業(yè)升級，在當前的互聯(lián)網(wǎng)時代絕大部分信息是開放的，一個企業(yè)如果及時了解行業(yè)發(fā)展方向、競爭對手動態(tài)便能及時作出戰(zhàn)略調(diào)整以應對瞬息萬變的行業(yè)變化。從互聯(lián)網(wǎng)獲取信息是最方便、快捷的渠道，但在目前的信息大爆炸時代利用傳統(tǒng)的搜索引擎已經(jīng)無法高效、及時的獲取和分析相關情報、信息。因此需要開發(fā)一套企業(yè)WEB情報搜集系統(tǒng)來解決以上問題。
　

2、　作為一個垂直搜索應用，本項目要解決海量互聯(lián)網(wǎng)數(shù)據(jù)的采集、解析、存儲、檢索等問題，同時還要兼顧到企業(yè)級應用對系統(tǒng)穩(wěn)定性和安全性的要求，因此采用成熟穩(wěn)定的技術作為本項目的設計方案。本文采用基于Hadoop平臺的Nutch爬蟲采集實現(xiàn)WEB數(shù)據(jù)的抓取，并對Nutch的相關代碼進行改進，加入了動態(tài)爬蟲列表、爬蟲策略維護機制。本文還引入了HBase數(shù)據(jù)庫，存儲采集過程中產(chǎn)生的網(wǎng)頁數(shù)據(jù)。充分利用了HBase的高并發(fā)檢索能力，實現(xiàn)了網(wǎng)頁采集排重和過