Blog文本內(nèi)容敏感信息的自動(dòng)提取技術(shù).pdf

1、近幾年來(lái)，信息技術(shù)和產(chǎn)業(yè)迅速發(fā)展，國(guó)際互聯(lián)網(wǎng)上各種新興應(yīng)用層出不窮。上世紀(jì)90年代，Blog在西方國(guó)家出現(xiàn)，到2001年，已經(jīng)成為了網(wǎng)絡(luò)主流；2002年，Blog被引入我國(guó)，5年內(nèi)，就吸引了近5000萬(wàn)人，平均每4個(gè)網(wǎng)民中就有一個(gè)Blog作者。Blog已經(jīng)成為世界范圍內(nèi)的第4媒體。網(wǎng)絡(luò)信息犯罪是與網(wǎng)絡(luò)媒體的發(fā)展共生的，人們對(duì)于網(wǎng)絡(luò)與系統(tǒng)安全已做了大量研究，但對(duì)于網(wǎng)絡(luò)媒體信息內(nèi)容的安全問(wèn)題，只在近年來(lái)才逐漸得以重視。在Blog這種巨大的開(kāi)

2、放信息源上，一旦有敏感信息（包括反動(dòng)、恐怖、色情等等）不受限制地流傳，將會(huì)對(duì)網(wǎng)絡(luò)用戶造成巨大影響，給社會(huì)造成巨大損失。為了保護(hù)用戶，維護(hù)穩(wěn)定，必須采取措施對(duì)敏感信息進(jìn)行監(jiān)控，同時(shí)也為運(yùn)行Web服務(wù)的各種組織，提供對(duì)此類信息的訪問(wèn)加以監(jiān)控的技術(shù)和服務(wù)。為此，開(kāi)發(fā)先進(jìn)的文本信息安全監(jiān)控技術(shù)是一項(xiàng)緊急而又重要的課題。 本文結(jié)合自然語(yǔ)言理解、中文信息處理等相關(guān)知識(shí)，結(jié)合本實(shí)驗(yàn)室文本信息處理目前研究進(jìn)展，提出基于Blog日志屬性構(gòu)造決策樹(shù)

3、的算法，對(duì)文本中未知的敏感信息進(jìn)行自動(dòng)提取。 本文首先介紹了Blog的發(fā)展概況，給出了Blog上敏感信息的幾個(gè)外延，闡述了提取敏感信息的重要意義。最后，簡(jiǎn)要介紹了國(guó)內(nèi)外這方面工作的現(xiàn)狀。 其次，介紹了中文文本的預(yù)處理、表示技術(shù)以及分類技術(shù)。我們介紹了中文自動(dòng)分詞，文本的向量化表示，特征提取，特征降維，權(quán)重計(jì)算等。并介紹了幾種經(jīng)典的文本分類方法。還對(duì)新詞發(fā)現(xiàn)作了介紹。 接著，介紹了網(wǎng)頁(yè)文本和有用屬性提取的方法。并對(duì)

4、使用漢字部件組合技術(shù)處理拆字現(xiàn)象作了詳細(xì)介紹。 隨后，針對(duì)現(xiàn)有過(guò)濾監(jiān)控技術(shù)的速度可能成為瓶頸這一問(wèn)題，提出利用Blog日志屬性信息構(gòu)造決策樹(shù)，實(shí)現(xiàn)未知敏感文本的發(fā)現(xiàn)。介紹了決策樹(shù)的原理和構(gòu)造決策樹(shù)的算法ID3算法。我們提出了幾個(gè)ID3算法的改進(jìn)算法。 最后，提出了系統(tǒng)流程圖，對(duì)各個(gè)部分進(jìn)行了解釋。使用改進(jìn)算法與已有算法進(jìn)行了對(duì)比，效果良好。 文章最后對(duì)本文的研究課題進(jìn)行總結(jié)，提出當(dāng)前研究的可行性和今后一些需要改進(jìn)的