維吾爾文垃圾短信過濾技術(shù)研究.pdf

1、手機上的維吾爾文輸入法的成功開發(fā)和投入使用解決了維吾爾族用戶由于語言、文字差異造成的通訊困難等問題，維吾爾語短信的使用率也隨之大大的提高。隨著用維吾爾文發(fā)送短信的普及，各種維吾爾文垃圾短信開始出現(xiàn)，對人們的正常生活造成了困擾。如何準確、快捷地用科學的方法自動攔截和過濾這些垃圾短信成為人們關(guān)注的重點。
　　本文為了凈化維吾爾文短信交流環(huán)境，根據(jù)維吾爾文的文字特征，采用基于維吾爾文短信文本分類的方法和基于規(guī)則的方法對維吾爾文垃圾短信進

2、行過濾。本文主要內(nèi)容如下：
　　1.介紹維吾爾文的特點和垃圾短信的過濾方法。分析維吾爾文的構(gòu)詞、語法規(guī)律，垃圾短信過濾的特點。介紹基于文本內(nèi)容和規(guī)則的不同的過濾方法，對應(yīng)提出采用文本分類方法和黑白名單方法短信過濾的思路。
　　2.改進傳統(tǒng)的期望交叉熵算法。為短信文本分類選擇特征，分析傳統(tǒng)的期望交叉熵算法的原理和優(yōu)缺點，針對其特征詞分布未考慮全面、未考慮低頻詞條對計算量的影響等缺點引入集中度、分散度和最低詞頻限制等要素進行相應(yīng)

3、的改進。集中度表示在一個類別中出現(xiàn)次數(shù)多又分布較均勻的特征項、分散度衡量某一個特征項在各個類別的分布程度。最后用改進后的算法對維吾爾文短信文本進行特征選擇和提取。實驗表明，改進的期望交叉熵方法在同等條件下比傳統(tǒng)的方法更具有優(yōu)越性，準確率更高、特征項數(shù)量要求更少。
　　3.提出一種基于深度置信網(wǎng)絡(luò)的維吾爾文短信文本分類模型。針對在維吾爾文文本分類中，傳統(tǒng)分類算法的準確率不高的問題，提出一種基于深度置信網(wǎng)絡(luò)的維吾爾文短信文本分類模型。

4、深度學習仿效人腦的層次性結(jié)構(gòu)，對數(shù)據(jù)從下到上的層次順序逐漸地進行特征提取，從而發(fā)掘數(shù)據(jù)集的分布規(guī)律，提高分類的準確度。通過一層一層無監(jiān)督的方式初始化深度置信網(wǎng)絡(luò)，并結(jié)合softmax回歸分類器實現(xiàn)文本的分類。最后在收集的維吾爾文短信數(shù)據(jù)集上進行實驗驗證，分類出正常短信和垃圾短信。
　　4.實現(xiàn)基于PC端的“維吾爾文垃圾短信過濾演示系統(tǒng)”和基于手機端的“基于Android端的維吾爾文垃圾短信實時過濾系統(tǒng)”。
　　在基于文本分類