面向非法文本的安全過濾.pdf

1、隨著計(jì)算機(jī)和通訊技術(shù)的發(fā)展和進(jìn)步，人類社會(huì)進(jìn)入了信息社會(huì)?；ヂ?lián)網(wǎng)已經(jīng)在人們的日常信息交流中占據(jù)這越來越重要的地位，但是，Web網(wǎng)頁中也包含有不少不健康的內(nèi)容，其中不乏反動(dòng)、暴力、封建迷信等內(nèi)容的不良信息，使得人們不勝其煩，迫切地期望在瀏覽各種網(wǎng)頁的時(shí)候，能夠有效的避免垃圾信息的干擾，因而對(duì)對(duì)網(wǎng)絡(luò)內(nèi)容的監(jiān)控和過濾逐漸成為研究熱點(diǎn)。
　　 本文研究了面向Web頁面中特定主題的過濾問題，分析了面向特定主題進(jìn)行內(nèi)容過濾的特點(diǎn)以及web頁

2、面的內(nèi)容特征，并基于分類的潛在語義模型(CLSI)，設(shè)計(jì)了基于CLSI的Web內(nèi)容過濾器，主要工作如下：
　　 1)本文研究了主題信息中特征詞的特點(diǎn)后，在對(duì)頁面的預(yù)處理中，采用只對(duì)詞性標(biāo)注后的名詞，動(dòng)詞，形容詞進(jìn)行處理，取代了傳統(tǒng)的去除停用詞的步驟，并且在系統(tǒng)的訓(xùn)練過程后將提取的特征詞保存在特征詞表中，作為本主題的主題詞典，在以后的過濾過程中，可以對(duì)頁面內(nèi)容直接根據(jù)特征詞表進(jìn)行處理，提高了系統(tǒng)的運(yùn)行效率和過濾的準(zhǔn)確性。
　

3、　 2)文章對(duì)Web頁面標(biāo)簽與文字重要度進(jìn)行了研究，對(duì)一些web標(biāo)簽進(jìn)行了權(quán)重設(shè)計(jì)，在對(duì)頁面進(jìn)行文本的特征項(xiàng)提取和權(quán)重計(jì)算中，加入對(duì)網(wǎng)頁中的文字標(biāo)記格式的處理，使得對(duì)web頁面的文字處理更有針對(duì)性。
　　 3)潛在語義模型(LSI)解決了傳統(tǒng)的文本過濾模型只針對(duì)詞語進(jìn)行淺層統(tǒng)計(jì)的局限性，能很好的體現(xiàn)出了整個(gè)文檔集的語義結(jié)構(gòu)，但由于其并沒有對(duì)主題信息中的正反文本進(jìn)行區(qū)分學(xué)習(xí)，因此對(duì)特征詞的區(qū)分度不是很好，本文提出了一種基于分類的