短信自動分類技術(shù)研究與應(yīng)用.pdf

1、本文對短信分類的關(guān)鍵技術(shù)做了深入的討論。結(jié)合貝葉斯分類的文本分類方法和Bigram分詞的方法，并提出在移動手機終端進行雙層短信過濾模型，對傳統(tǒng)的文本分類進行了改進，有效地提高了短信文本分類的準(zhǔn)確率和普適性。
　　 本文首先介紹了傳統(tǒng)的文本分類問題的研究，回顧了文本分類領(lǐng)域已有的成果，介紹了文本分類領(lǐng)域中的幾個重要知識，包括文本分詞，文本表示，特征選擇，分類方法以及分類效率評估標(biāo)準(zhǔn)等。指出了隨著信息量的不斷發(fā)展，文本分類的重要性。

2、
　　 接著，本文討論了短信文本內(nèi)容相對于傳統(tǒng)文本分類時的長文本的區(qū)別，介紹了短信相對普通文本的獨有特點。現(xiàn)有的諸多分類算法，直接應(yīng)用于短信分類時效果不理想，還不能快速有效地對短信進行分類;同時，現(xiàn)有的研究大多是在PC平臺上對短信進行處理，對于移動手機端上的應(yīng)用環(huán)境研究較少，因此研究針對移動終端上的短信分類算法有著一定的理論和實踐指導(dǎo)意義。針對移動終端的運算能力和存儲能力，本文沒有采用大型的分詞詞庫，而是采用簡單易行的Bigra

3、m分詞方法，通過去除停用詞等手段對分詞結(jié)果進行預(yù)處理，得到短信內(nèi)容的特征向量。計算量少，速度快，實驗效果也較理想。由于短信相對于普通的文本，有其特有的外部特征，本文提出一個雙層過濾的短信分類模型，先根據(jù)短信的外部特征進行一次預(yù)分類，對于不能確定的短信再進行針對短信文本內(nèi)容的文本分類。通過不斷地積累數(shù)據(jù)集中的短信，本文采用了重新學(xué)習(xí)的自動學(xué)習(xí)算法，讓分類器定期進行重新運算，調(diào)整各詞的先驗概率，從而不斷提高系統(tǒng)分類的準(zhǔn)確率。