基于增量搜索的敏感信息監(jiān)測系統(tǒng)的研究與實現(xiàn).pdf

1、當(dāng)今社會，互聯(lián)網(wǎng)成為了大多數(shù)人生活中必不可少的一部分。不少不法分子借助互聯(lián)網(wǎng)的廣泛影響，在網(wǎng)絡(luò)中散布謠言、淫穢、恐怖、反動等敏感信息，不僅侵犯個人權(quán)益，甚至危害國家安全，引起社會動蕩。如何在海量的互聯(lián)網(wǎng)信息中快速發(fā)現(xiàn)這些敏感信息，成為信息安全在互聯(lián)網(wǎng)時代的一個重要課題。本文對敏感信息發(fā)現(xiàn)開展研究，主要工作如下：
　?、偬岢隽艘环N論壇帖子鏈接的識別算法。通過對論壇站點的論壇帖子鏈接特點分析，發(fā)現(xiàn)論壇帖子鏈接文本描述在長度上有統(tǒng)計規(guī)律

2、，并在構(gòu)造上具有一定模式。論壇帖子鏈接參數(shù)大體可分為分顯式和隱式兩類，顯式鏈接參數(shù)明確包含請求處理網(wǎng)頁名、帖子編號、帖子頁碼信息，隱式鏈接參數(shù)則將上述三個信息包含在請求處理網(wǎng)頁名中?；阪溄游谋久枋鲩L度的統(tǒng)計值，提出了識別論壇帖子鏈接構(gòu)造模式，并提取請求處理網(wǎng)頁名、帖子編號、帖子頁碼信息的算法。實驗表明，該算法能夠自適應(yīng)并快速準(zhǔn)確識別帖子鏈接和非帖子鏈接，為快速抽取帖子內(nèi)容提供基礎(chǔ)。
　?、谔岢隽艘环N基于帖子id自增長的論壇敏感信

3、息掃描策略。針對沒有識別出帖子鏈接模式的論壇，直接采用寬度優(yōu)先策略進行敏感信息掃描。針對識別了帖子鏈接模式，但該模式帖子id不能自增長的論壇，采用寬度優(yōu)先構(gòu)建爬行隊列，對符合帖子鏈接模式的網(wǎng)頁進行敏感信息掃描。針對帖子id能夠自增長的論壇，則采用帖子id遞增的方式動態(tài)構(gòu)建爬行鏈接進行敏感信息掃描。實驗測試表明，同傳統(tǒng)的寬度優(yōu)先爬行策略相比，本策略提高了論壇帖子掃描速度。
　?、厶岢隽艘环N基于增量搜索的敏感信息監(jiān)測調(diào)度策略。通過計算

4、網(wǎng)頁md5值，標(biāo)識網(wǎng)頁變化情況，對發(fā)生變化的網(wǎng)頁進行增量掃描。根據(jù)掃描結(jié)果是否出現(xiàn)敏感信息，預(yù)測下次掃描時間，動態(tài)調(diào)整掃描頻率，實現(xiàn)優(yōu)化調(diào)度。對于需要重點掃描的網(wǎng)頁，根據(jù)網(wǎng)頁敏感度、網(wǎng)頁變化頻度和網(wǎng)頁深度計算網(wǎng)頁的掃描緊迫度，構(gòu)建網(wǎng)頁級掃描隊列，進行高頻掃描。為完整發(fā)現(xiàn)網(wǎng)頁變化，并且盡量減少資源消耗，構(gòu)建網(wǎng)站級掃描隊列，進行低頻掃描，將敏感信息變化的網(wǎng)頁補充進網(wǎng)頁級掃描隊列。實驗結(jié)果顯示，該策略不僅能快速發(fā)現(xiàn)新增的、變化的敏感信息，而且