基于啟發(fā)式規(guī)則和文本分類的信息過濾技術(shù).pdf

1、隨著Internet使用的日益普遍，網(wǎng)絡(luò)給人們帶來了無比豐富的信息，但是，Internet也充斥著各種色情、反動(dòng)或者是暴力的信息和各種互聯(lián)網(wǎng)病毒，網(wǎng)絡(luò)上存在的各種不良信息等越來越多的干擾著人們正常使用互聯(lián)網(wǎng)。如何有效控制這些信息的傳播，并保障網(wǎng)絡(luò)的內(nèi)容安全已經(jīng)成為信息過濾研究的主要內(nèi)容之一。互聯(lián)網(wǎng)中出現(xiàn)的不良文本大多以文本的形式出現(xiàn)，因此不良文本過濾技術(shù)已經(jīng)成為不良信息過濾領(lǐng)域中的主要研究方向了。 論文首先概述了信息過濾技術(shù)的基

2、礎(chǔ)知識：概念、分類、與其他信息處理技術(shù)的差別、常用的信息過濾模型。接著介紹了信息過濾系統(tǒng)中對文本的預(yù)處理過程，如：分詞、特征選擇等。然后介紹了Naive Bayes(NB)分類器、KNN(K NearestNeighbor)算法、SVM(Support Vector Machine)等文本分類算法。 本文重點(diǎn)介紹了判別式Naive Bayes(NB)文本分類算法。這一部分首先介紹了貝葉斯文本分類算法中常用的兩種模型，以及二分類樸

3、素貝葉斯文本分類算法的實(shí)現(xiàn)過程；然后詳細(xì)介紹了判別式貝葉斯分類算法的優(yōu)點(diǎn)及其詳細(xì)實(shí)現(xiàn)過程；最后將判別式’Naive Bayes分類算法應(yīng)用到文本信息過濾領(lǐng)域中，設(shè)定文本的類別為兩類：健康文本和可疑文本，提出了判別式Naive Bayes文本分類算法。 文章最后提出了一種基于啟發(fā)式規(guī)則和文本分類算法相結(jié)合的多級信息過濾模型。首先介紹了基于啟發(fā)式規(guī)則的信息過濾模型，針對現(xiàn)在互聯(lián)網(wǎng)上出現(xiàn)的不良信息的表現(xiàn)形式進(jìn)行了規(guī)則庫的設(shè)計(jì)和規(guī)則的設(shè)