基于內(nèi)容的中文垃圾短信分類技術(shù)的研究.pdf

1、隨著移動通信技術(shù)的高速發(fā)展，手機用戶的數(shù)量在飛速膨脹，由于手機短信使用簡單、快捷、費用低廉，已經(jīng)成為日常生活中不可或缺的通信方式之一。然而，低廉的傳輸代價，使得我們每天收到很多不請自來的垃圾短信，垃圾短信危害社會安全、毒害社會風氣、影響用戶的正常生活。規(guī)則過濾、黑一白名單和基于關(guān)鍵詞匹配的內(nèi)容掃描等技術(shù)都是目前垃圾短信過濾主流技術(shù)。
　　 為了解決垃圾短信給我們的日常生活帶來的煩惱，本文首先從垃圾短信的定義、特征、產(chǎn)生的原因、危

2、害及我國當前垃圾短信狀況做了詳細的分析和介紹，對當前短信分類技術(shù)的現(xiàn)狀進行了概述和分析；其次介紹了3種中文分詞方法、4種文本表示方法、4種特征權(quán)重賦值方法、7種特征選取方法和7種具有代表性的文本分類算法；最后在此基礎(chǔ)上，采用了改進的貝葉斯分類方法結(jié)合黑白名單過濾機制實現(xiàn)對短信的過濾，進行了詳細的實驗論證，實驗中先對短信進行分詞和停用詞過濾等預(yù)處理，再采用DF等特征提取方式，訓練分類器，優(yōu)化分類器參數(shù)后進行短信測試，詳細記錄實驗過程，分析

3、數(shù)據(jù)，達到了較好的分類效果，分類器同時可以根據(jù)新的訓練集，訓練出個性化的分類器，適應(yīng)短信變化，滿足用戶的個性化需求。通過實驗證明，改進貝葉斯算法能在正確分類短信的同時，減少了正常短信的誤判率。具體地說，工作內(nèi)容主要包括以下幾個方面：
　　 1、介紹了多種特征選取方法，實驗中采用了3種特征提取方法，考查了各選取方法的優(yōu)劣；
　　 2、在現(xiàn)有條件下，收集了一定數(shù)量的、符合要求的中文短信庫；
　　 3、在短信語料庫的基