基于LDA的文本分類研究及其應(yīng)用.pdf

1、隨著科技和網(wǎng)絡(luò)的快速發(fā)展，如今我們已經(jīng)進(jìn)入數(shù)據(jù)信息的時(shí)代，每天都會(huì)有大量的數(shù)據(jù)在各種社交平臺(tái)或者新聞網(wǎng)站上產(chǎn)生，其中一般都是文本數(shù)據(jù)。如何才能從這些浩如煙海的文本數(shù)據(jù)中獲取自己想要的信息，已成為人們?nèi)找骊P(guān)注的問題，也刺激了文本自動(dòng)分類技術(shù)的產(chǎn)生和迅速發(fā)展，近些年來文本分類已經(jīng)成為自然語言處理領(lǐng)域研究的熱點(diǎn)和難點(diǎn)之一。許多國內(nèi)外學(xué)者都在文本分類領(lǐng)域做了不少的研究工作和一定的貢獻(xiàn)，在上世紀(jì)五十年代末，H.P.Lunhn等人對文本分類的工作做

2、出了開創(chuàng)性的貢獻(xiàn)，它們最早提出了詞頻統(tǒng)計(jì)的思想，Maron在1960年發(fā)表了第一篇關(guān)于文本自動(dòng)分類的文章，推動(dòng)了文本分類的發(fā)展，之后更多的學(xué)者加入了這一領(lǐng)域的研究。
　　本文首先了解了論文研究的背景知識(shí)和其意義，然后分析了文本分類的相關(guān)理論知識(shí)以及文本分類的一些技術(shù)和方法，并指出了它們的缺點(diǎn)和不足之處，在此基礎(chǔ)上，本文做出了以下幾點(diǎn)貢獻(xiàn)：
　　1.提出了基于LDA的弱監(jiān)督文本分類算法VB-LDA(Latent Dirichl

3、et Allocationwith Vector and Bigram)。該算法首先對LDA概率生成模型進(jìn)行了改進(jìn)，原LDA模型沒有考慮文本中的詞語順序問題，是一個(gè)純粹的詞袋模型，并且詞語之間兩兩獨(dú)立，互不相關(guān)。對LDA改進(jìn)后的文檔生成模型首先保持了文檔中的詞序，并在文檔的生成過程中加入了二元語法，即在兩個(gè)相鄰詞語之間引入一個(gè)狀態(tài)隨機(jī)變量x，用來表示相鄰的兩個(gè)詞語是否形成二元語法；VB-LDA算法還引入了詞向量，在原LDA模型中，得到每

4、個(gè)主題的高頻詞后，一般都是由領(lǐng)域?qū)＜腋鶕?jù)它們來確定主題的類別，但本文不再由領(lǐng)域?qū)＜覜Q定。因此本文引入了詞向量化工具word2vec。
　　2.將VB-LDA算法應(yīng)用到文本分類中。本文利用算法VB-LDA對文檔進(jìn)行分類的主要思路如下：首先用LDA改進(jìn)模型對文檔集生成主題模型，以獲取主題的高頻詞和類別的代表詞，然后利用詞向量化工具將它們都轉(zhuǎn)化成相應(yīng)的詞向量，最后用距離度量來計(jì)算出每篇文檔中概率最大的主題所對應(yīng)的類別，即為該文檔的類別。