基于內容的中文垃圾短信分類技術的研究.pdf

1、隨著移動通信技術的高速發(fā)展，手機用戶的數量在飛速膨脹，由于手機短信使用簡單、快捷、費用低廉，已經成為日常生活中不可或缺的通信方式之一。然而，低廉的傳輸代價，使得我們每天收到很多不請自來的垃圾短信，垃圾短信危害社會安全、毒害社會風氣、影響用戶的正常生活。規(guī)則過濾、黑一白名單和基于關鍵詞匹配的內容掃描等技術都是目前垃圾短信過濾主流技術。
　　 為了解決垃圾短信給我們的日常生活帶來的煩惱，本文首先從垃圾短信的定義、特征、產生的原因、危

2、害及我國當前垃圾短信狀況做了詳細的分析和介紹，對當前短信分類技術的現狀進行了概述和分析；其次介紹了3種中文分詞方法、4種文本表示方法、4種特征權重賦值方法、7種特征選取方法和7種具有代表性的文本分類算法；最后在此基礎上，采用了改進的貝葉斯分類方法結合黑白名單過濾機制實現對短信的過濾，進行了詳細的實驗論證，實驗中先對短信進行分詞和停用詞過濾等預處理，再采用DF等特征提取方式，訓練分類器，優(yōu)化分類器參數后進行短信測試，詳細記錄實驗過程，分析

3、數據，達到了較好的分類效果，分類器同時可以根據新的訓練集，訓練出個性化的分類器，適應短信變化，滿足用戶的個性化需求。通過實驗證明，改進貝葉斯算法能在正確分類短信的同時，減少了正常短信的誤判率。具體地說，工作內容主要包括以下幾個方面：
　　 1、介紹了多種特征選取方法，實驗中采用了3種特征提取方法，考查了各選取方法的優(yōu)劣；
　　 2、在現有條件下，收集了一定數量的、符合要求的中文短信庫；
　　 3、在短信語料庫的基