短文本分類技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，社交網(wǎng)絡(luò)也逐漸成為人們交流和獲取信息的重要渠道。其中，國(guó)外最具有代表性的社交網(wǎng)絡(luò)是Facebook和Twitter，而國(guó)內(nèi)最具代表性的則是新浪微博和騰訊微博等。由于這些數(shù)據(jù)大多數(shù)是以文本形式來(lái)存在的，且通常都會(huì)有字?jǐn)?shù)限制，因此有關(guān)短文本的研究勢(shì)在必行，而如何通過(guò)相關(guān)文本挖掘技術(shù)有效及時(shí)地獲取其中的有用信息顯得尤為重要。文本挖掘通常包括文本分類、文本聚類、文檔摘要等。近年來(lái)，隨著文本分類技術(shù)的廣泛使用，它已成為一個(gè)熱門的

2、研究領(lǐng)域。
　　本文首先對(duì)短文本的主要特點(diǎn)以及研究領(lǐng)域進(jìn)行了概述，并對(duì)有關(guān)的短文本的研究現(xiàn)狀和其中涉及到的關(guān)鍵技術(shù)進(jìn)行了簡(jiǎn)明扼要的介紹。接著，針對(duì)短文本具有的數(shù)據(jù)量大、數(shù)據(jù)稀疏的特點(diǎn)，我們引入了LDA(Latent Dirichlet Allocation)主題模型和信息增益(Information gain，IG)特征選擇算法來(lái)提高短文本分類的效率。
　　傳統(tǒng)的文本表示模型是向量空間模型(Vector Space Mode

3、l，VSM)，它通常是以詞或短語(yǔ)為特征的，文檔集被表示成文檔—詞匯矩陣。但是對(duì)于短文本來(lái)講，同一個(gè)詞出現(xiàn)在不同短文本的概率會(huì)遠(yuǎn)遠(yuǎn)小于長(zhǎng)文本，這種數(shù)據(jù)的稀疏性，使得傳統(tǒng)的長(zhǎng)文本表示模型以及機(jī)器學(xué)習(xí)的方法無(wú)法直接應(yīng)用到短文本上;其次，由于短文本的數(shù)據(jù)多，計(jì)算量大，因此需要通過(guò)特征降維來(lái)提高它的效率。LDA模型是一個(gè)三級(jí)分層貝葉斯無(wú)監(jiān)督學(xué)習(xí)模型，它能夠直接獲取隱藏在文本中的語(yǔ)義信息，而不需要通過(guò)搜索引擎等外部文本來(lái)擴(kuò)展短文本。從信息增益特征選

4、擇公式來(lái)看，它不僅前半部分考慮了特征出現(xiàn)的情況，同時(shí)后半部分也考慮了特征不出現(xiàn)的情況，因而在去除“無(wú)用詞”時(shí)效果顯著。
　　針對(duì)以上問(wèn)題和基于LDA模型和信息增益的特點(diǎn)，本文的第3部分采用信息增益來(lái)進(jìn)行特征降維，然后再用LDA進(jìn)行主題建模，最后以主題作為特征，建立文本類模型。經(jīng)過(guò)對(duì)比實(shí)驗(yàn)的micro F1值顯示，短文本的分類性能有了顯著提升。
　　傳統(tǒng)的信息增益算法在類和特征項(xiàng)分布不均時(shí)，分類性能明顯下降。所以本文的第4部分