一個WEB文本過濾系統(tǒng)設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡上的信息呈爆炸式增長，文本信息過濾技術的研究取得了很大的進展，Web文本信息過濾技術已成為一個研究熱點。本文在前期課題IPCG控制網(wǎng)關的研究基礎上，為了提高該計費網(wǎng)關對公共信息網(wǎng)絡服務的綜合監(jiān)管能力，通過研究Linux下實時內(nèi)容過濾和文本過濾等相關技術，設計并實現(xiàn)了一個基于IPCG控制網(wǎng)關的Web文本信息過濾系統(tǒng)。 本文首先給出了系統(tǒng)總體框架以及設計目標，并提出了一種分布式過濾系統(tǒng)的實現(xiàn)方式。系統(tǒng)由中央

2、預警模塊統(tǒng)一管理、在線過濾和離線過濾相結合。分布式數(shù)據(jù)庫的同步借鑒OSPF路由協(xié)議中數(shù)據(jù)庫同步算法，實現(xiàn)全網(wǎng)過濾信息的通用性。 實時在線過濾模塊，包括了數(shù)據(jù)包預處理和基于IP地址及關鍵詞過濾兩個子過程。數(shù)據(jù)包預處理過程主要針對Web頁面進行數(shù)據(jù)分析和結構分析，解析出正確的頁面數(shù)據(jù)信息；基于IP和基于關鍵詞的過濾過程，采用了哈希樹結構來組織IP黑名單列表和緩存拼接策略存儲過濾內(nèi)容，關鍵詞過濾結合統(tǒng)計信息綜合判定。 離線過濾

3、模塊對正例類和不確定類做進一步的離線分析，更新實時在線過濾模塊的IP黑名單列表和過濾關鍵詞列表。離線過濾采用改進的特征詞提取算法和改進的過濾策略。改進的特征詞提取算法，綜合考慮了特征詞長、網(wǎng)頁結構特征和詞匯的感情色彩等；改進的過濾策略過濾初期采用SVM算法，中后期采用改進的自適應模板過濾法。模板的更新采用改進的模板系數(shù)調(diào)整策略，并引入特征衰減因子來提高過濾的準確率。 實驗表明，本文提出的方法既能保證內(nèi)容過濾分析和數(shù)據(jù)報流通相互獨