網(wǎng)絡(luò)內(nèi)容監(jiān)管系統(tǒng)中基于局部信息的語義傾向性識(shí)別算法.pdf

1、網(wǎng)絡(luò)內(nèi)容監(jiān)管系統(tǒng)主要是對(duì)互聯(lián)網(wǎng)上的非法信息進(jìn)行監(jiān)管.該文設(shè)計(jì)并實(shí)現(xiàn)了一種層次分類結(jié)構(gòu)中基于局部信息的語義傾向性識(shí)別算法.該算法通過對(duì)關(guān)鍵字的局部上下文信息采用HMM(隱馬爾可夫模型,Hiden Markov Model)方法進(jìn)行語義的傾向性分類識(shí)別.為了提高分類識(shí)別的效果,需要確定合適的關(guān)鍵字的局部上下文范圍(即窗口).該文提出了以句子為窗口大小的窗口量化方法,其中采用互信息的方法計(jì)算句子可以為關(guān)鍵字提供的總信息量.實(shí)驗(yàn)結(jié)果表明以句子為

2、窗口大小,相對(duì)于其它量化方法而言窗口大小不會(huì)過大,而提供的信息量并沒有減少.同時(shí)考慮到項(xiàng)目的實(shí)際需求,在系統(tǒng)實(shí)現(xiàn)時(shí)采用的窗口大小的量化方法為:對(duì)于沒有明顯句子標(biāo)志的文本而言,采用[-8,+9]的窗口大小;對(duì)于有明顯句子標(biāo)志的,則以句子為窗口大小.該文提出了基于HMM模型對(duì)關(guān)鍵字依據(jù)其上下文判別類別的分類方法.通過選取不同的訓(xùn)練樣本數(shù),分別利用偏導(dǎo)數(shù)的反向傳播訓(xùn)練方法,訓(xùn)練出不同的參數(shù)模型,并在大規(guī)模真實(shí)語料中進(jìn)行測(cè)試,選出最優(yōu)的模型參數(shù)