基于關(guān)鍵詞匹配的網(wǎng)頁文本過濾算法的研究和實(shí)現(xiàn).pdf

1、在互聯(lián)網(wǎng)提供的海量、龐雜的信息中，不良信息以不同的表現(xiàn)形式，從不同的角度對不同人群造成毒害或干擾。因此，對網(wǎng)絡(luò)訪問進(jìn)行必要的、有效的內(nèi)容過濾是營造健康、安全網(wǎng)絡(luò)環(huán)境的重要環(huán)節(jié)。基于互聯(lián)網(wǎng)的不良信息濾技術(shù)就是在這種情況下誕生的。互聯(lián)網(wǎng)信息過濾(Information Filtering)是指從海量的Web文本中識別出含有不良信息的非法文本，以將其屏蔽。目前它已成為信息過濾的一個(gè)新的研究領(lǐng)域。
　　文本是當(dāng)前Internet上信息最主

2、要的表現(xiàn)形式，中文文本過濾的相關(guān)技術(shù)是本文的研究重點(diǎn)。本文在對信息過濾系統(tǒng)的體系結(jié)構(gòu)和文本過濾的原型進(jìn)行研究的基礎(chǔ)上，給出了一個(gè)基于向量空間模型的文本過濾邏輯模型。
　　中文文本的特征項(xiàng)抽取和表示是中文文本過濾基礎(chǔ)。獲取中文文本的表示需經(jīng)過分詞、停用詞處理、特征項(xiàng)抽取和特征項(xiàng)權(quán)重計(jì)算等過程，本文對這幾個(gè)過程進(jìn)行了詳細(xì)的研究并提出了一種基于TF*IDF的特征項(xiàng)權(quán)重計(jì)算方法。
　　用戶信息需求模型（User Profile）是文

3、本過濾的依據(jù)，本文探討了獲取用戶信息需求的方式和方法，給出了向量空間模型下用戶模板的表示方法，并對用反饋技術(shù)對需求模板進(jìn)行優(yōu)化進(jìn)行了討論。
　　代理服務(wù)器在Intranet管理中具有重要作用。本文基于HTTP代理服務(wù)器在應(yīng)用層實(shí)現(xiàn)了對 Web頁內(nèi)容的內(nèi)容過濾。并且，通過將客戶機(jī)成功訪問過的網(wǎng)頁內(nèi)容存儲在代理服務(wù)器端，實(shí)現(xiàn)了Web頁訪問的內(nèi)容重現(xiàn)。
　　本文在對多種信息過濾方法進(jìn)行分析研究及初步評估的基礎(chǔ)上，為提高系統(tǒng)過濾不良