網(wǎng)絡(luò)信息監(jiān)控分析系統(tǒng)的研究與設(shè)計(jì).pdf

1、隨著WWW技術(shù)的日益成熟和互聯(lián)網(wǎng)應(yīng)用的逐漸普及，互聯(lián)網(wǎng)已經(jīng)發(fā)展成為了一個(gè)巨大的分布式信息空間。從Web中獲取信息已成為個(gè)人獲取知識(shí)的主要方法和重要手段，也成為當(dāng)前企業(yè)獲取情報(bào)的重要途徑。但是，面對(duì)浩如煙海的網(wǎng)絡(luò)信息，傳統(tǒng)的人工搜集和處理等方法都已難以勝任。而且由于Web的組織格式主要以HTML頁(yè)面這種半結(jié)構(gòu)化的形式為主，其本身具有無(wú)結(jié)構(gòu)性、超鏈接的自由無(wú)序、以及內(nèi)容的海量性、多樣性和動(dòng)態(tài)變化等特點(diǎn)。采用普通的搜索引擎，在某種程度上提高了

2、檢索的效率和速度，但針對(duì)特定領(lǐng)域信息的搜索，仍然存在著有效性（指如何濾除相關(guān)度較低的信息）和命中率（指如何降低漏掉的有用）太低的問(wèn)題。 本文根據(jù)現(xiàn)今應(yīng)用最廣泛的HTML網(wǎng)頁(yè)信息的特點(diǎn)，在對(duì)現(xiàn)有信息搜集、預(yù)處理和自動(dòng)分類等網(wǎng)絡(luò)信息處理技術(shù)進(jìn)行深入的分析與研究的基礎(chǔ)上，針對(duì)目前信息搜集技術(shù)的不足，設(shè)計(jì)開(kāi)發(fā)了一個(gè)基于汽車信息領(lǐng)域的網(wǎng)絡(luò)信息監(jiān)控分析系統(tǒng)，實(shí)現(xiàn)了通過(guò)互聯(lián)網(wǎng)實(shí)時(shí)定向地自動(dòng)捕捉多個(gè)門(mén)戶網(wǎng)站以及專門(mén)網(wǎng)站關(guān)于汽車領(lǐng)域的“有用”信息

3、的功能。 本文重點(diǎn)研究了該系統(tǒng)中網(wǎng)絡(luò)信息收集子系統(tǒng)、智能分析預(yù)歸類子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，這兩個(gè)子系統(tǒng)成功地實(shí)現(xiàn)了網(wǎng)絡(luò)信息的采集、預(yù)處理和自動(dòng)分類等功能，是系統(tǒng)的核心部分。本文研究的重要?jiǎng)?chuàng)新點(diǎn)是在網(wǎng)絡(luò)信息收集子系統(tǒng)的設(shè)計(jì)中引入了多線程非遞歸方式、并行結(jié)構(gòu)技術(shù)，有效地提高了系統(tǒng)的速度和效率；在并行結(jié)構(gòu)技術(shù)的實(shí)現(xiàn)中，應(yīng)用了并行采集的交換模式，有效地解決了網(wǎng)頁(yè)重抓、漏抓的問(wèn)題；并在網(wǎng)頁(yè)采集過(guò)程中采用了URL過(guò)濾技術(shù)，在網(wǎng)頁(yè)分類過(guò)程中利用閥