基于過濾技術的投訴信息智能分析與實現.pdf

1、本文以建立在統(tǒng)計理論基礎上的Bayse分類算法在短信過濾中的應用策略為依據，把投訴平臺中針對不良短信的投訴信息作為研究對象，對它們進行智能化的分析與研究，用類別明確的投訴信息指導數據分析的進行，從這些投訴信息中提取垃圾短信的特征，并用于類別未知的投訴信息的分析，最后將整體分析結果以表格形式，提交給相關處理部門作為處理依據，以解決人力對突發(fā)性的、大量的舉報信息的分析難度。
　　 現有短信過濾系統(tǒng)，實際是對以關鍵詞為依據的文本分類的

2、擴展，因此，同樣存在文本分類中所具有的缺點：使用內容固定的詞典提取關鍵詞，不能適應詞的靈活變化；逐條取樣分析生成分類器，當測試數據與樣本存在差異時，分類器的準確性得不到保證；在整體角度上保證系統(tǒng)的可靠性，沒有考慮到關鍵詞提取過程中的風險，因此，從系統(tǒng)的靈活性、通用性和精度三方面對現有過濾策略進行完善，提出了可行有效的解決方法，主要研究內容如下：
　　 (1)系統(tǒng)的靈活性：①基本關鍵詞的提取：將基本的最長匹配分詞技術與字符串的模糊

3、匹配相結合，僅當基本匹配和模糊匹配同時失敗時，才尋找次長詞。②提取特征詞：將現有短信過濾中的降維思想與文本分類中的類內集中度、類間分散度和類內平均度及加權求和思想相結合，以此提高詞對分類貢獻所具有的準確性和分類規(guī)則的全面性。
　　 (2)分類器的通用性：應用概率論中的隨機抽樣理論采集樣本集，避免分類器過分擬合樣本數據，使其具有通用性。
　　 (3)分類器的準確性：將兩類分類問題中使用的最小風險思想進行如下擴展，以使系統(tǒng)所