面向網(wǎng)絡(luò)不良文本過(guò)濾的概念網(wǎng)技術(shù)研究與實(shí)現(xiàn).pdf

1、巨大的開(kāi)放型網(wǎng)絡(luò)，在給人們帶來(lái)需要信息的同時(shí),一部分有害信息也乘虛而入。由于互聯(lián)網(wǎng)所具有的開(kāi)放性，其上傳播的內(nèi)容不能像傳統(tǒng)媒體那樣由專(zhuān)門(mén)的機(jī)構(gòu)審核后再發(fā)布，且其內(nèi)容的傳播速度要比傳統(tǒng)媒體要快得多。網(wǎng)上色情、暴力、西方的政治攻擊、反動(dòng)言論等各種有害不良信息時(shí)有傳播，這些問(wèn)題的出現(xiàn)，對(duì)于國(guó)家的安定團(tuán)結(jié)，社會(huì)、經(jīng)濟(jì)等諸多方面的穩(wěn)步健壯發(fā)展都有極為不利的影響，如果不能有效加以監(jiān)控管理，過(guò)濾掉這些有害信息，將給社會(huì)帶來(lái)很大的損害。因此，與此相關(guān)的

2、有效的網(wǎng)上內(nèi)容安全監(jiān)控管理措施是極其必要的。 互聯(lián)網(wǎng)上信息傳播以文本信息為主。目前的互聯(lián)網(wǎng)不良文本信息監(jiān)控研究多是基于統(tǒng)計(jì)或關(guān)鍵詞過(guò)濾，主題性信息過(guò)濾大多采用基于統(tǒng)計(jì)的文本過(guò)濾技術(shù)，利用文本特征項(xiàng)作為文本的表示，依據(jù)模板和文本所擁有的共同項(xiàng)或概念的多少，作為匹配的基礎(chǔ)。這樣的優(yōu)點(diǎn)是速度快，可實(shí)現(xiàn)好。然而單純的關(guān)鍵詞過(guò)濾分析缺乏必要的語(yǔ)義分析，對(duì)文本的理解停留在字和詞的層次，而不能理解文本信息的含義。對(duì)于含有同樣關(guān)鍵詞的兩段文本，

3、其作者的傾向以及要表達(dá)的意思完全有可能南轅北轍，因此對(duì)于文本信息的監(jiān)控過(guò)濾，尤其是帶有傾向性色彩的文本監(jiān)控，需要進(jìn)一步深入的研究。 本文的主要內(nèi)容以概念網(wǎng)為基礎(chǔ)，試圖構(gòu)建這樣一個(gè)系統(tǒng)結(jié)構(gòu)，它的作用是對(duì)互聯(lián)網(wǎng)的不良信息從對(duì)句子的語(yǔ)意分析的層次上進(jìn)行監(jiān)控和過(guò)濾。概念網(wǎng)把具體的字和詞轉(zhuǎn)化為抽象的概念，便于研究語(yǔ)義關(guān)系。本文做的工作就是從待測(cè)文本中提取能代表文本特征的句子，并將句子進(jìn)行分詞，然后提取出其主干抽象成概念。一個(gè)句子的特征概念

4、被集合在一起形成一個(gè)概念集，作為對(duì)該句子文本信息的表示。將若干個(gè)這樣的概念組聚合在一起，并建立它們相應(yīng)的關(guān)系，構(gòu)架出了概念網(wǎng)。以構(gòu)架成的概念網(wǎng)作為工具，形成互聯(lián)網(wǎng)不良文本過(guò)濾系統(tǒng)，從而實(shí)現(xiàn)不良信息的監(jiān)控過(guò)濾。 本文首先提出互聯(lián)網(wǎng)文本信息過(guò)濾的概念及意義，并介紹了國(guó)內(nèi)外對(duì)網(wǎng)絡(luò)不良信息進(jìn)行過(guò)濾監(jiān)控的研究成果。然后介紹了概念和格語(yǔ)法等基礎(chǔ)知識(shí)以及預(yù)處理技術(shù)。在此基礎(chǔ)上，本文提出了概念網(wǎng)的構(gòu)建模型及算法，并介紹了基于概念網(wǎng)的網(wǎng)絡(luò)不良文本