垃圾短信過濾系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、近年來，隨著中國手機用戶數(shù)的增長，手機短消息業(yè)務(wù)得到了迅猛發(fā)展，但同時垃圾短信也以非?？斓乃俣仍谠鲩L。目前，垃圾短信過濾技術(shù)主要有黑名單過濾、關(guān)鍵詞過濾和基于文本分類的內(nèi)容過濾。黑名單過濾和關(guān)鍵詞過濾能快速的過濾垃圾短信，但其過濾的準確率不高；基于文本分類的短信過濾的準確率主要依賴于其訓練樣本的數(shù)量及質(zhì)量，由于日常短信涉及個人的私隱，短信中心從不對外公布，現(xiàn)有的短信樣本很少，因此單純依靠文本分類的短信過濾其準確率也不高。同時，現(xiàn)有的過濾

2、技術(shù)都采用逐條檢測的方式，對于每天有大量短信息的短信中心來說，其運算量是很大的，這樣會造成短信服務(wù)中心網(wǎng)絡(luò)堵塞。因此，從現(xiàn)有的技術(shù)上來說，垃圾短信的過濾在準確率和效率方面仍然不能滿足現(xiàn)實需要。 本文將針對現(xiàn)有短信過濾技術(shù)的不足，研究有效的解決或改進的方法，同時引入新的技術(shù)與原有的過濾技術(shù)相結(jié)合，使垃圾短信過濾系統(tǒng)能夠具有更好的過濾性能。本文所做的主要工作如下： 1.研究了應(yīng)用在垃圾短信過濾系統(tǒng)中的關(guān)鍵詞查找算法，該算法采

3、用WM算法的多模式匹配思想，通過預(yù)處理建立的哈希表來加快匹配速度，并且根據(jù)垃圾短信的特征，提出了用壓縮存儲的TRIE樹來組織模式串的方法，加快了查找速度。 2.分析了主要的文本分類技術(shù)，重點敘述基于最小風險的貝葉斯分類在短信過濾中的應(yīng)用。 3.提出用日志分析的方法來分析已經(jīng)過濾的短信，提取有用的數(shù)據(jù)，更新關(guān)鍵詞庫及分類訓練樣本，實現(xiàn)系統(tǒng)的自我優(yōu)化。 4.將貝葉斯分類與新的過濾方法(包括流量檢測、抽樣檢測、日志分析