基于支持向量機的手機垃圾短信過濾器的研究.pdf

1、伴隨著手機由奢侈品變?yōu)槿粘Ｉ钪胁豢扇鄙俚慕涣鞴ぞ邥r，有著“拇指經(jīng)濟”之稱的短信業(yè)務也隨之得到空前快速的發(fā)展。然而，隨之產(chǎn)生的大量垃圾短信，也為我們的日常生活帶來了許多不必要的麻煩。垃圾短信這一現(xiàn)象不僅在我國大量存在，在歐美日等發(fā)達國家也廣泛存在，因此這個問題可以看作為世界性問題。 本文提出了將垃圾短信過濾問題視為文本分類問題，因此對文本分類技術(shù)做了深入的研究，提出了垃圾短信過濾（即短信分類）的關(guān)鍵技術(shù)，并且在Windows X

2、P 的Visual C++6.0和ACCESS 平臺下設計并實現(xiàn)了一個基于支持向量機的、便于重組重構(gòu)并能實時統(tǒng)計分析中間結(jié)果的垃圾短信過濾系統(tǒng)。垃圾短信過濾系統(tǒng)主要包含短信分詞、特征降維、短信的文本表示和自動分類四個模塊，短信分詞模塊主要對短信集分詞，并將詞條信息導入到數(shù)據(jù)庫中；特征降維模塊主要是對詞條進行降維；短信的文本表示模塊計算詞條權(quán)重，將短信以向量空間模型的形式表示；自動分類模塊對訓練樣本進行訓練，并使用分類器對測試樣本進行分類

3、，得出分類結(jié)果。 本文在垃圾短信過濾系統(tǒng)上對信息增益（IG）、χ2統(tǒng)計（CHI）、互信息（MI）、期望交叉熵（ECE）、文本證據(jù)權(quán)（WET）和主成分分析（PCA）幾種不同的特征降維方法進行了比較實驗，實驗結(jié)果證明在短信分類系統(tǒng)中IG特征降維方法要優(yōu)于其他方法。并且在使用IG方法的基礎上，提出了一種改進的短信的文本表示方法，分類結(jié)果更好。在該系統(tǒng)上還對支持向量機算法進行了部分研究，并對其核函數(shù)和參數(shù)進行了多次實驗，選擇最適合本系統(tǒng)