基于類(lèi)短語(yǔ)串和半監(jiān)督學(xué)習(xí)的短文本分類(lèi)研究.pdf

1、我國(guó)的互聯(lián)網(wǎng)經(jīng)過(guò)十年的高速發(fā)展，網(wǎng)民規(guī)模已達(dá)到3.38億，普及率達(dá)到25.5％。網(wǎng)絡(luò)已成為公眾獲取信息的主要渠道。在Internet上充斥著的大量信息流中，很大一部分是來(lái)自于人們的相互交流活動(dòng)產(chǎn)生的短文本信息。此外，在移動(dòng)通訊時(shí)代，通過(guò)移動(dòng)通信網(wǎng)絡(luò)發(fā)出的手機(jī)短消息已經(jīng)成為人們?nèi)粘Ｉ钪胁豢苫蛉钡囊徊糠帧：Ａ康亩涛谋菊Z(yǔ)料中包含了人們對(duì)當(dāng)前社會(huì)各種現(xiàn)象的種種立場(chǎng)和觀點(diǎn)，短文本的傳播使得信息傳播格局正在發(fā)生深刻變化。因此短文本信息挖掘技術(shù)在話

2、題跟蹤與發(fā)現(xiàn)、流行語(yǔ)分析、輿情預(yù)警等領(lǐng)域有廣泛的應(yīng)用前景。在話題識(shí)別、話題跟蹤等新技術(shù)的背后，分類(lèi)分析是其基本和重要的方法之一。
　　 針對(duì)短文本獨(dú)特的語(yǔ)言特性，本文對(duì)短文本分類(lèi)的若干關(guān)鍵技術(shù)進(jìn)行了研究。本文的工作主要集中在以下幾點(diǎn)：
　　 (1)提出基于類(lèi)短語(yǔ)串(Phrase-Like Repeat，PLR)的短文本特征選擇算法。首先分析了傳統(tǒng)文本表示模型在短文本分類(lèi)應(yīng)用中的不足，給出了類(lèi)短語(yǔ)串的概念和基于類(lèi)短語(yǔ)串的短

3、文本文檔標(biāo)引方法，從文本中獲得具有強(qiáng)文本表示的類(lèi)短語(yǔ)串作為文本特征，提高了特征項(xiàng)的獨(dú)立完整程度，能克服向量空間模型的缺點(diǎn)；并在此基礎(chǔ)上提出了基于類(lèi)短語(yǔ)串的短文本特征選擇方法。實(shí)驗(yàn)結(jié)果表明，基于類(lèi)短語(yǔ)串的短文本特征選擇算法降低了特征向量維數(shù)，有效地解決了短文本的特征稀疏性問(wèn)題。
　　 (2)提出了一種嵌入集成學(xué)習(xí)的半監(jiān)督短文本分類(lèi)算法(FB-EM)。該算法應(yīng)用半監(jiān)督學(xué)習(xí)解決文本分類(lèi)中的標(biāo)注瓶頸問(wèn)題，并為了能夠有效地放松屬性獨(dú)立性假