網(wǎng)絡(luò)信息監(jiān)控分析系統(tǒng)的研究與設(shè)計.pdf

1、隨著WWW技術(shù)的日益成熟和互聯(lián)網(wǎng)應(yīng)用的逐漸普及，互聯(lián)網(wǎng)已經(jīng)發(fā)展成為了一個巨大的分布式信息空間。從Web中獲取信息已成為個人獲取知識的主要方法和重要手段，也成為當前企業(yè)獲取情報的重要途徑。但是，面對浩如煙海的網(wǎng)絡(luò)信息，傳統(tǒng)的人工搜集和處理等方法都已難以勝任。而且由于Web的組織格式主要以HTML頁面這種半結(jié)構(gòu)化的形式為主，其本身具有無結(jié)構(gòu)性、超鏈接的自由無序、以及內(nèi)容的海量性、多樣性和動態(tài)變化等特點。采用普通的搜索引擎，在某種程度上提高了

2、檢索的效率和速度，但針對特定領(lǐng)域信息的搜索，仍然存在著有效性（指如何濾除相關(guān)度較低的信息）和命中率（指如何降低漏掉的有用）太低的問題。 本文根據(jù)現(xiàn)今應(yīng)用最廣泛的HTML網(wǎng)頁信息的特點，在對現(xiàn)有信息搜集、預(yù)處理和自動分類等網(wǎng)絡(luò)信息處理技術(shù)進行深入的分析與研究的基礎(chǔ)上，針對目前信息搜集技術(shù)的不足，設(shè)計開發(fā)了一個基于汽車信息領(lǐng)域的網(wǎng)絡(luò)信息監(jiān)控分析系統(tǒng)，實現(xiàn)了通過互聯(lián)網(wǎng)實時定向地自動捕捉多個門戶網(wǎng)站以及專門網(wǎng)站關(guān)于汽車領(lǐng)域的“有用”信息

3、的功能。 本文重點研究了該系統(tǒng)中網(wǎng)絡(luò)信息收集子系統(tǒng)、智能分析預(yù)歸類子系統(tǒng)的設(shè)計與實現(xiàn)，這兩個子系統(tǒng)成功地實現(xiàn)了網(wǎng)絡(luò)信息的采集、預(yù)處理和自動分類等功能，是系統(tǒng)的核心部分。本文研究的重要創(chuàng)新點是在網(wǎng)絡(luò)信息收集子系統(tǒng)的設(shè)計中引入了多線程非遞歸方式、并行結(jié)構(gòu)技術(shù)，有效地提高了系統(tǒng)的速度和效率；在并行結(jié)構(gòu)技術(shù)的實現(xiàn)中，應(yīng)用了并行采集的交換模式，有效地解決了網(wǎng)頁重抓、漏抓的問題；并在網(wǎng)頁采集過程中采用了URL過濾技術(shù)，在網(wǎng)頁分類過程中利用閥