移動平臺下的中文短信內(nèi)容過濾技術(shù)的研究與實現(xiàn).pdf

1、面向中文的短信過濾技術(shù)是中文移動市場迫切需要的一種技術(shù)。目前移動平臺上的中文短信過濾技術(shù)以黑名單過濾和關(guān)鍵詞過濾為主。本論文主要介紹了一個與當(dāng)前主流中文短信過濾不同的新型過濾技術(shù)。該技術(shù)是便于在移動設(shè)備上實現(xiàn)，結(jié)合了中文短信的內(nèi)容特征，以規(guī)則庫過濾為基礎(chǔ)的內(nèi)容過濾技術(shù)。該技術(shù)提高了短信過濾準(zhǔn)確率、垃圾短信召回率，降低了正常短信錯判率。 短信內(nèi)容過濾是文本分類技術(shù)的一種，目前應(yīng)用最廣泛的文本分類技術(shù)有很多，最大熵和決策樹兩種算法分

2、別作為基于統(tǒng)計的和基于規(guī)則的文本分類技術(shù)的代表算法大量應(yīng)用于內(nèi)容過濾。本文也將這兩種算法與本文提出的基于輕量級規(guī)則庫的內(nèi)容過濾技術(shù)進(jìn)行對比實驗，以驗證本文提出的基于輕量級規(guī)則庫的內(nèi)容過濾技術(shù)是否滿足實際要求。本文提出的基于輕量級規(guī)則庫的內(nèi)容過濾技術(shù)由兩部分構(gòu)成：第一部分，規(guī)則匹配。規(guī)則匹配是短信內(nèi)容過濾的第一階段。在該階段中關(guān)鍵詞規(guī)則匹配是核心。關(guān)鍵詞規(guī)則的匹配需要使用中文多模式字符串匹配算法。國際上經(jīng)典的字符串匹配算法都是針對英文字符

3、串進(jìn)行匹配的。多模式串匹配算法也是如此，例如，AC，WM等等。本文提出一種針對中文的多模式串匹配算法UIAC。同時，與UIAC算法配合還有其他規(guī)則匹配方法：短信文本長度，文本中含有的標(biāo)點，電話號碼，URL等等特征。另外，在該階段還要做手機(jī)平臺上中文編碼的轉(zhuǎn)換等處理工作。該階段的輸出是中間向量文件。第二部分，過濾。過濾是短信過濾處理的第二階段。本文提出了輕量級規(guī)則庫過濾算法。該算法與最大熵和決策樹兩種經(jīng)典算法相比，更加有利于在資源有限的移

4、動設(shè)備上實現(xiàn)。 作為對比，在規(guī)則匹配的試驗階段除了產(chǎn)生輕量級規(guī)則庫過濾中間向量文件外還產(chǎn)生了最大熵中間向量文件和決策樹中間向量文件，并且分別用最大熵模型和決策樹模型進(jìn)行處理。之后對比了輕量級規(guī)則庫和其他兩種算法的準(zhǔn)確率、召回率以及正常短信誤判率。 實驗使用的短信條數(shù)為1000條，正常短信和垃圾短信各500條。對輕量級規(guī)則庫、最大熵、決策樹分別進(jìn)行了實驗，并且將三種算法結(jié)果進(jìn)行比較。實驗結(jié)果顯示，輕量級規(guī)則庫與其它兩種方法