中文短信內(nèi)容過濾算法的實(shí)現(xiàn)與應(yīng)用.pdf

1、隨著網(wǎng)絡(luò)的發(fā)展和手機(jī)的普及，經(jīng)互聯(lián)網(wǎng)發(fā)送的短信數(shù)量與日俱增。這樣就需要一個短信監(jiān)控系統(tǒng)，對從互聯(lián)網(wǎng)向手機(jī)發(fā)送的短信內(nèi)容進(jìn)行監(jiān)控。但大多數(shù)的短信內(nèi)容提供商無法在其自身的短信服務(wù)器上對有害的短信進(jìn)行復(fù)雜的過濾工作。于是，關(guān)于“如何對短信服務(wù)器的短信內(nèi)容進(jìn)行有效的管理？”的問題凸顯出來。為了解決這個問題，本文找到并實(shí)現(xiàn)了一個適合對中文短信進(jìn)行內(nèi)容監(jiān)控的過濾算法——ExB+MBDM算法。并將此算法應(yīng)用于一套自動過濾系統(tǒng)，用以過濾移動夢網(wǎng)上的中文

2、短信。該系統(tǒng)架設(shè)在短信內(nèi)容提供商的短信服務(wù)器與移動的短信網(wǎng)關(guān)之間。
　　那么，什么樣的短信內(nèi)容的過濾方式才能夠滿足實(shí)際應(yīng)用的需求呢？這個問題成為搭建短信內(nèi)容過濾系統(tǒng)的關(guān)鍵所在。短信內(nèi)容的過濾方式就是指短信內(nèi)容的過濾算法。短信內(nèi)容過濾算法屬于多模匹配算法的范疇，算法的的優(yōu)劣對整個過濾系統(tǒng)的效率有著巨大的影響。本文重點(diǎn)在于實(shí)現(xiàn)適合中文短信內(nèi)容的過濾算法，并對其加以應(yīng)用。
　　中文短信的內(nèi)容過濾問題具有的：字符集規(guī)模龐大（中文）、

3、模式集中的模式長度小且模式數(shù)量眾多、輸入文本短小等特征。作者在對多種匹配算法分析和實(shí)驗(yàn)后，找到了適合對中文短信內(nèi)容的過濾算法——多模匹配算法，并對該算法進(jìn)行了實(shí)現(xiàn)和應(yīng)用。
　　本課題所實(shí)現(xiàn)的過濾算法（稱為ExB+MBDM算法）在總體上分為預(yù)處理階段和匹配階段兩大部分。在預(yù)處理階段，將模式關(guān)鍵字鏈表、AC自動機(jī)和DAWG自動機(jī)有機(jī)地結(jié)合起來，共同組成一個廣義的預(yù)處理自動機(jī)，來對模式集進(jìn)行處理；預(yù)處理自動機(jī)的處理結(jié)果，被儲存到一個叫做

4、模式匹配表的靜態(tài)表里，此表就是預(yù)處理自動機(jī)的靜態(tài)表示。在匹配階段，總體上采用KIM算法的“兩步分析”的思想，將匹配階段分為粗分析和細(xì)分析兩個步驟；首先采用ExB算法的“排斥”思想與OM算法的“字符頻率表”技術(shù)相結(jié)合的方法對輸入短信進(jìn)行粗分析；然后再利用MBDM算法的匹配方法，對粗分析所挑選出的數(shù)據(jù)進(jìn)行細(xì)分析，另外WM算法的“自動機(jī)入口”技術(shù)亦有所利用。
　　算法的實(shí)現(xiàn)和驗(yàn)證表明ExB+MBDM算法是正確且有效率的。而基于此算法的過