基于網(wǎng)頁文本的敏感信息檢測系統(tǒng)研究.pdf

1、近年來,一些不法分子利用網(wǎng)絡(luò)傳播淫穢、暴力、反動(dòng)、恐怖等敏感信息,對(duì)國家安全、社會(huì)穩(wěn)定、人們的價(jià)值導(dǎo)向造成了嚴(yán)重的危害。如何從大量的網(wǎng)絡(luò)信息中檢測識(shí)別敏感信息,營造一個(gè)綠色健康的網(wǎng)絡(luò)環(huán)境成為當(dāng)前互聯(lián)網(wǎng)安全建設(shè)的一個(gè)重要的研究課題。目前對(duì)于敏感信息檢測的研究已經(jīng)有了很多成果,主要包括向量空間模型、神經(jīng)網(wǎng)絡(luò)、語義過濾等。這些算法有的需要用戶進(jìn)行訓(xùn)練,對(duì)用戶主觀評(píng)價(jià)有依賴性,實(shí)時(shí)性較差;有的過于復(fù)雜,計(jì)算量較大,效率低。
　　本文從網(wǎng)頁

2、預(yù)處理、網(wǎng)頁主體文本提取、文本敏感詞檢測幾個(gè)方面開展研究。提出了基于網(wǎng)頁內(nèi)容的敏感信息檢測方法,通過實(shí)驗(yàn)驗(yàn)證了敏感信息檢測的準(zhǔn)確性和檢測效率。本文的主要研究工作如下:
　?、賹?duì)網(wǎng)頁進(jìn)行了編碼轉(zhuǎn)換、文本修復(fù)和干擾信息過濾處理。為避免對(duì)不同字符集文本分別進(jìn)行文本處理,本文對(duì)網(wǎng)頁源碼的編碼進(jìn)行了統(tǒng)一轉(zhuǎn)換,并利用Neko HTML對(duì)網(wǎng)頁的標(biāo)簽格式、對(duì)齊錯(cuò)誤等問題進(jìn)行了修復(fù),然后采用正則表達(dá)式方法過濾已提取的文本中的干擾符號(hào),消除了敏感信息

3、發(fā)布者故意在敏感詞間夾雜的干擾符號(hào)。為后一步文本內(nèi)容提取和敏感信息檢測處理的準(zhǔn)確性和效率提供了數(shù)據(jù)基礎(chǔ)。
　?、谔岢隽艘环N基于局部信噪比的網(wǎng)頁文本內(nèi)容提取方法。該方法利用 DOM樹結(jié)構(gòu),獲取網(wǎng)頁標(biāo)題,記錄各塊標(biāo)簽的文本內(nèi)容,然后通過塊標(biāo)簽局部信噪比和文本標(biāo)簽密度的計(jì)算識(shí)別網(wǎng)頁的主體文本和次要文本。該方法考慮了網(wǎng)頁文本內(nèi)容分布特征,為后面的敏感詞位置權(quán)重計(jì)算提供依據(jù)。實(shí)驗(yàn)表明該方法提高了敏感信息檢測的準(zhǔn)確性和效率。
　?、厶岢?/p>

4、了基于敏感詞決策樹的信息檢測算法(SWDT-IDA)。該算法根據(jù)一定規(guī)則將敏感詞庫構(gòu)建為敏感詞決策樹,將已提取的文本以數(shù)據(jù)流形式匹配決策樹,獲取敏感詞位置、頻率信息。然后結(jié)合敏感詞級(jí)別,通過新的加權(quán)公式計(jì)算文本敏感值,判定文本的敏感程度。該算法綜合考慮了敏感詞位置、詞頻、敏感級(jí)別以及文本長度等因素的影響。實(shí)驗(yàn)表明該算法可以更加快速準(zhǔn)確地檢測網(wǎng)頁敏感信息。
　　④設(shè)計(jì)并實(shí)現(xiàn)了基于網(wǎng)頁文本的敏感信息檢測原型系統(tǒng)。該原型系統(tǒng)采用了本文提