基于網(wǎng)頁文本過濾的關鍵詞匹配算法研究和實現(xiàn).pdf

1、在互聯(lián)網(wǎng)提供的海量、龐雜的信息中，不良信息以不同的表現(xiàn)形式，從不同的角度對不同人群造成毒害或干擾。因此，對網(wǎng)絡訪問進行必要的、有效的內容過濾是營造健康、安全網(wǎng)絡環(huán)境的重要環(huán)節(jié)?；诨ヂ?lián)網(wǎng)的不良信息濾技術就是在這種情況下誕生的?；ヂ?lián)網(wǎng)信息過濾(Information Filtering)是指從海量的Web文本中識別出含有不良信息的非法文本，以將其屏蔽。目前它已成為信息過濾的一個新的研究領域。
　　 文本是當前Internet上信息

2、最主要的表現(xiàn)形式，中文文本過濾的相關技術是本文的研究重點。本文在對信息過濾系統(tǒng)的體系結構和文本過濾的原型進行研究的基礎上，給出了一個基于向量空間模型的文本過濾邏輯模型。
　　 中文文本的特征項抽取和表示是中文文本過濾基礎。獲取中文文本的表示需經(jīng)過分詞、停用詞處理、特征項抽取和特征項權重計算等過程，本文對這幾個程進行了詳細的研究并提出了一種基于TF*IDF的特征項權重計算方法。
　　 用戶信息需求模型(User Profi

3、le)是文本過濾的依據(jù)，本文探討了獲取用戶信息需求的方式和方法，給出了向量空間模型下用戶模板的表示方法，并對用反饋技術對需求模板進行優(yōu)化進行了討論。
　　 代理服務器在Intranet管理中具有重要作用。本文基于HTTP代理服務器在應用層實現(xiàn)了對Web頁內容的內容過濾。并且，通過將客戶機成功訪問過的網(wǎng)頁內容存儲在代理服務器端，實現(xiàn)了Web頁訪問的內容重現(xiàn)。
　　 本文在對多種信息過濾方法進行分析研究及初步評估的基礎上，為