基于互信息的網(wǎng)頁信息過濾技術(shù)的研究與應(yīng)用.pdf

1、在當(dāng)今信息化高度發(fā)達(dá)的社會(huì)里，人們可以享受到信息化技術(shù)所帶來的諸多便利，如網(wǎng)上購物、網(wǎng)上銀行、遠(yuǎn)程辦公等。同時(shí)，各種各樣的非法信息，如色情、暴力、反動(dòng)、封建迷信等，也通過網(wǎng)絡(luò)呈現(xiàn)在人們的面前。這些非法信息不僅讓人們?cè)诰裆虾腿怏w上遭受雙重傷害，而且更進(jìn)一步加深了網(wǎng)絡(luò)文化產(chǎn)業(yè)對(duì)社會(huì)所造成的負(fù)面影響。目前過濾掉這些非法信息也就成了人們的當(dāng)務(wù)之急。因此，如何有效地過濾掉這些非法信息也就成為眾多專家學(xué)者們研究的一個(gè)焦點(diǎn)。
　　在信息論中，

2、互信息通常是兩個(gè)隨機(jī)變量之間統(tǒng)計(jì)相關(guān)性的度量單位。在文本分類中，若特征詞屬于某一類別，則它們之間的互信息量最大。因此，人們使用互信息來度量特征詞與類別之間的相關(guān)性?；バ畔⒘吭酱?，特征詞和類別的相關(guān)性也越大；反之則越小。由于互信息事先不需要對(duì)兩個(gè)變量之間的關(guān)系作任何假設(shè)和限制，所以它在中文分詞、圖像處理、文本分類等方面應(yīng)用非常廣泛。因此，本文將互信息作為待測(cè)文本與主題之間相關(guān)性的度量并提出了基于互信息的網(wǎng)頁信息過濾技術(shù)的研究與應(yīng)用。本文依

3、據(jù)訓(xùn)練語料庫的構(gòu)建、文本的向量表示、文本內(nèi)容的特征提取、互信息過濾模型的改進(jìn)以及Resnik的選擇傾向模型等知識(shí)與技術(shù)構(gòu)建一個(gè)對(duì)非法網(wǎng)頁信息進(jìn)行過濾的系統(tǒng)。具體內(nèi)容如下：
　　首先，統(tǒng)計(jì)模型在實(shí)際應(yīng)用中一個(gè)最基礎(chǔ)的前提就是構(gòu)建訓(xùn)練語料庫。本文先構(gòu)建兩個(gè)正則表達(dá)式以提取網(wǎng)頁中的標(biāo)題和正文，然后對(duì)抽取到的信息進(jìn)行人工校驗(yàn)和整理，從而得到一個(gè)規(guī)模適中、分布均勻的語料庫。
　　然后，統(tǒng)計(jì)模型的另一個(gè)基本問題就是如何有效地表示文本內(nèi)容

4、。本文對(duì)文本進(jìn)行切詞、停用詞處理，將單個(gè)詞語看作向量中的一個(gè)項(xiàng)，這樣就可以用向量來表示文本內(nèi)容。為了提高計(jì)算速度和過濾效率，本文依據(jù)CHI模型設(shè)計(jì)了一個(gè)精簡(jiǎn)向量空間維數(shù)的算法以獲得一個(gè)維數(shù)合適的特征向量。
　　其次，本文對(duì)平均互信息公式進(jìn)行改進(jìn)并計(jì)算該待測(cè)文本特征向量與所有主題特征向量的平均互信息值，然后把它們與事先設(shè)定的閾值進(jìn)行比較。若有一個(gè)值比事先設(shè)定的閾值大，則應(yīng)把該待測(cè)文本作為非法文本過濾掉；若這些平均互信息值均小于事先設(shè)