內(nèi)容審計系統(tǒng)的研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)絡(luò)的越來越普及，它所覆蓋的范圍也越來越大，而互聯(lián)網(wǎng)絡(luò)傳播的信息量每天都在成倍的增長，信息內(nèi)容也越來越多樣化。為了能在數(shù)據(jù)量龐大，數(shù)據(jù)種類繁多，分析過程繁瑣復(fù)雜的情況下，有效的根據(jù)用戶的任務(wù)要求快捷準確的審計出有危害的信息，我們主要針對目前網(wǎng)絡(luò)上危害性最大的政治、色情和暴力這三類文本，設(shè)計開發(fā)了有針對性的內(nèi)容審計系統(tǒng)。
　　本文的主要研究內(nèi)容包括以下五個方面：
　　1、采用層次分析的方法實現(xiàn)了對未知文本從主題分類到態(tài)

2、度傾向性分析的過程。通過對有害信息的介紹，我們發(fā)現(xiàn)危害性最大的文本可以歸結(jié)為三類：政治、色情和暴力；在主題分類的基礎(chǔ)上再針對相應(yīng)的文本進行傾向性分析無疑會縮小范圍，提高分析的準確性。
　　2、針對主題分類的特點，本文在分析現(xiàn)有特征選擇算法的基礎(chǔ)上，設(shè)計了一個基于CHI-GA的組合特征選擇算法，通過試驗分析證實了它的有效性。
　　3、由于采用層次分析的方法，使得針對某一類文本而構(gòu)造特定的領(lǐng)域極性詞典成為了可能，由此可提高文本傾

3、向性分析的準確性。在本系統(tǒng)中我們分別針對政治、色情和暴力這三類文本構(gòu)建了不同的領(lǐng)域極性詞典。
　　4、針對文本傾向性分析的特點和難點，本文結(jié)合現(xiàn)有的文本傾向性分析方法，提出了一種基于領(lǐng)域極性詞的短語搭配識別方法，并利用識別出的傾向性短語作為特征訓(xùn)練SVM分類器，從而實現(xiàn)文本傾向性識別。試驗結(jié)果證實取得了良好的效果。
　　5、針對用戶要求審計的數(shù)據(jù)量龐大，數(shù)據(jù)種類繁多，分析量繁重的問題，我們采用了先進的分布式處理技術(shù)，設(shè)計了基