一個(gè)WEB文本過(guò)濾系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)上的信息呈爆炸式增長(zhǎng)，文本信息過(guò)濾技術(shù)的研究取得了很大的進(jìn)展，Web文本信息過(guò)濾技術(shù)已成為一個(gè)研究熱點(diǎn)。本文在前期課題IPCG控制網(wǎng)關(guān)的研究基礎(chǔ)上，為了提高該計(jì)費(fèi)網(wǎng)關(guān)對(duì)公共信息網(wǎng)絡(luò)服務(wù)的綜合監(jiān)管能力，通過(guò)研究Linux下實(shí)時(shí)內(nèi)容過(guò)濾和文本過(guò)濾等相關(guān)技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于IPCG控制網(wǎng)關(guān)的Web文本信息過(guò)濾系統(tǒng)。 本文首先給出了系統(tǒng)總體框架以及設(shè)計(jì)目標(biāo)，并提出了一種分布式過(guò)濾系統(tǒng)的實(shí)現(xiàn)方式。系統(tǒng)由中央

2、預(yù)警模塊統(tǒng)一管理、在線過(guò)濾和離線過(guò)濾相結(jié)合。分布式數(shù)據(jù)庫(kù)的同步借鑒OSPF路由協(xié)議中數(shù)據(jù)庫(kù)同步算法，實(shí)現(xiàn)全網(wǎng)過(guò)濾信息的通用性。 實(shí)時(shí)在線過(guò)濾模塊，包括了數(shù)據(jù)包預(yù)處理和基于IP地址及關(guān)鍵詞過(guò)濾兩個(gè)子過(guò)程。數(shù)據(jù)包預(yù)處理過(guò)程主要針對(duì)Web頁(yè)面進(jìn)行數(shù)據(jù)分析和結(jié)構(gòu)分析，解析出正確的頁(yè)面數(shù)據(jù)信息；基于IP和基于關(guān)鍵詞的過(guò)濾過(guò)程，采用了哈希樹(shù)結(jié)構(gòu)來(lái)組織IP黑名單列表和緩存拼接策略存儲(chǔ)過(guò)濾內(nèi)容，關(guān)鍵詞過(guò)濾結(jié)合統(tǒng)計(jì)信息綜合判定。 離線過(guò)濾

3、模塊對(duì)正例類(lèi)和不確定類(lèi)做進(jìn)一步的離線分析，更新實(shí)時(shí)在線過(guò)濾模塊的IP黑名單列表和過(guò)濾關(guān)鍵詞列表。離線過(guò)濾采用改進(jìn)的特征詞提取算法和改進(jìn)的過(guò)濾策略。改進(jìn)的特征詞提取算法，綜合考慮了特征詞長(zhǎng)、網(wǎng)頁(yè)結(jié)構(gòu)特征和詞匯的感情色彩等；改進(jìn)的過(guò)濾策略過(guò)濾初期采用SVM算法，中后期采用改進(jìn)的自適應(yīng)模板過(guò)濾法。模板的更新采用改進(jìn)的模板系數(shù)調(diào)整策略，并引入特征衰減因子來(lái)提高過(guò)濾的準(zhǔn)確率。 實(shí)驗(yàn)表明，本文提出的方法既能保證內(nèi)容過(guò)濾分析和數(shù)據(jù)報(bào)流通相互獨(dú)