一種詞性標(biāo)注LDA模型的文本分類方法研究.pdf

1、文本分類是文本挖掘領(lǐng)域的一個(gè)主要分支。提高文本分類的速度和準(zhǔn)確度一直是研究人員追求的目標(biāo)。本文主要工作:
　　1.分析研究文本分類技術(shù)的研究現(xiàn)狀。基于LDA主題模型的文本分類方法僅用文本主題分布信息作為文本特征，沒能有效利用文本中的詞性信息。為了提高文本分類速度和準(zhǔn)確度，本文設(shè)計(jì)了在LDA模型中加入詞性標(biāo)注信息的技術(shù)線路。提出了一種基于詞性標(biāo)注的LDA(part of speech tagging LDA，PST_ LDA)模型的

2、文本分類方法。首先對(duì)文本中的名詞、動(dòng)詞和其他詞進(jìn)行詞性標(biāo)注，按照詞性分離成名詞集、動(dòng)詞集和其他詞集;然后分別對(duì)名詞集、動(dòng)詞集和其他詞集進(jìn)行LDA建模;最后根據(jù)不同詞性的詞對(duì)文本的貢獻(xiàn)不同，確定各模型在綜合模型的權(quán)重比例，利用PST LDA模型做文本特征提取;計(jì)算文本間的相似度，采用K近鄰(k-Nearest Neighbor，KNN)方法對(duì)文本進(jìn)行分類識(shí)別。
　　2.本文提出了一種基于PST LDA模型文本分類方法并行化處理實(shí)現(xiàn)方

3、案。為了減少小文本在并行存儲(chǔ)環(huán)境下多次訪問時(shí)間，用Sequence File將多個(gè)小文本以<文件名，文件內(nèi)容>的格式序列化組合成大文件，提高每次訪問文件的效率。在建模過程中，將不同詞集的LDA建模工作進(jìn)行并行化處理，減少建模的時(shí)間消耗。用PST LDA模型進(jìn)行文本特征提取;利用“數(shù)據(jù)并行”的思想實(shí)現(xiàn)KNN分類方法的并行化，并使用該方法對(duì)文本分類。
　　3.在單機(jī)環(huán)境中，分別用LDA方法和PST LDA方法對(duì)測(cè)試文本進(jìn)行特征提取，然