基于網頁文本的敏感信息檢測系統(tǒng)研究.pdf

1、近年來,一些不法分子利用網絡傳播淫穢、暴力、反動、恐怖等敏感信息,對國家安全、社會穩(wěn)定、人們的價值導向造成了嚴重的危害。如何從大量的網絡信息中檢測識別敏感信息,營造一個綠色健康的網絡環(huán)境成為當前互聯網安全建設的一個重要的研究課題。目前對于敏感信息檢測的研究已經有了很多成果,主要包括向量空間模型、神經網絡、語義過濾等。這些算法有的需要用戶進行訓練,對用戶主觀評價有依賴性,實時性較差;有的過于復雜,計算量較大,效率低。
　　本文從網頁

2、預處理、網頁主體文本提取、文本敏感詞檢測幾個方面開展研究。提出了基于網頁內容的敏感信息檢測方法,通過實驗驗證了敏感信息檢測的準確性和檢測效率。本文的主要研究工作如下:
　?、賹W頁進行了編碼轉換、文本修復和干擾信息過濾處理。為避免對不同字符集文本分別進行文本處理,本文對網頁源碼的編碼進行了統(tǒng)一轉換,并利用Neko HTML對網頁的標簽格式、對齊錯誤等問題進行了修復,然后采用正則表達式方法過濾已提取的文本中的干擾符號,消除了敏感信息

3、發(fā)布者故意在敏感詞間夾雜的干擾符號。為后一步文本內容提取和敏感信息檢測處理的準確性和效率提供了數據基礎。
　?、谔岢隽艘环N基于局部信噪比的網頁文本內容提取方法。該方法利用 DOM樹結構,獲取網頁標題,記錄各塊標簽的文本內容,然后通過塊標簽局部信噪比和文本標簽密度的計算識別網頁的主體文本和次要文本。該方法考慮了網頁文本內容分布特征,為后面的敏感詞位置權重計算提供依據。實驗表明該方法提高了敏感信息檢測的準確性和效率。
　?、厶岢?/p>

4、了基于敏感詞決策樹的信息檢測算法(SWDT-IDA)。該算法根據一定規(guī)則將敏感詞庫構建為敏感詞決策樹,將已提取的文本以數據流形式匹配決策樹,獲取敏感詞位置、頻率信息。然后結合敏感詞級別,通過新的加權公式計算文本敏感值,判定文本的敏感程度。該算法綜合考慮了敏感詞位置、詞頻、敏感級別以及文本長度等因素的影響。實驗表明該算法可以更加快速準確地檢測網頁敏感信息。
　　④設計并實現了基于網頁文本的敏感信息檢測原型系統(tǒng)。該原型系統(tǒng)采用了本文提