基于機器學(xué)習(xí)的漢語短文本分類方法研究與實現(xiàn).pdf

1、隨著近年來Web2.0技術(shù)和社會媒體領(lǐng)域的高速發(fā)展。微博、網(wǎng)絡(luò)即時短新聞、互聯(lián)網(wǎng)電商客戶發(fā)表的產(chǎn)品評論等中文短文本數(shù)據(jù)呈現(xiàn)爆發(fā)式的增長，已經(jīng)成為當下最重要的信息傳播手段，這種方式促進社會信息快速高效的傳播。但是，多樣的信息也給人們的日常生活帶來了諸多不便，復(fù)雜的信息會浪費廣大用戶相當長的時間去尋找有價值的信息。因此如何快速準確地從錯綜復(fù)雜的短文本中抽取用戶需求的信息是一個新的挑戰(zhàn)。短文本分類為解決這一問題提供了幫助，能夠根據(jù)用戶的需求，

2、將雜亂的信息進行分類，從而方便用戶快速定位。本文實現(xiàn)了互聯(lián)網(wǎng)短文本的分類，通過本文的短文本分類系統(tǒng)可以快速將混雜的原始語料進行分類，為后續(xù)基于互聯(lián)網(wǎng)短文本領(lǐng)域內(nèi)和領(lǐng)域之間的意見挖掘研究打下基礎(chǔ)。
　　針對于漢語短文本自身的特點，本文在機器學(xué)習(xí)框架下探索不同特征的文本表示和分類方法對短文本分類的影響。具體地，本文從以下兩個方面展開研究:
　　(1)基于傳統(tǒng)詞袋模型的漢語短文本分類。在支持向量機的框架下，采用基于詞袋模型并使用經(jīng)

3、典的特征選擇方法和權(quán)重計算方法進行文本表示。探索不同特征選擇方法對文本分類的影響，其中特征選擇包括文檔頻率、信息增益、卡方統(tǒng)計量、互信息等。并與基于LDA的分類模型進行對比。實驗結(jié)果表明，基于傳統(tǒng)詞袋模型的效果一般，其中卡方統(tǒng)計量特征選擇方法的效果比較突出?；贚DA模型的短文本分類在效果上有了很大的提升。
　　(2)基于詞向量特征的漢語短文本分類。針對短文本特征稀疏的特點，進一步探究使用詞向量進行短文本的表示。并且在此基礎(chǔ)上，對