面向中文微博的關(guān)鍵詞提取技術(shù)研究.pdf

1、面對(duì)中文微博文本書寫隨意，信息不完整，噪聲大，怎么在數(shù)量如此巨大又雜亂無(wú)序的微博信息中提取關(guān)鍵信息成為中文自然語(yǔ)言處理的重點(diǎn)。詞匯自動(dòng)提取是文本挖掘領(lǐng)域的一個(gè)分支，也是文本檢索、文本比較、文本分類和聚類等文本內(nèi)容處理研究的基礎(chǔ)性工作。
　　本文研究的主要內(nèi)容就是如何從中文微博文本數(shù)據(jù)提取出能說(shuō)明微博內(nèi)容的詞匯。傳統(tǒng)的人工方法在數(shù)據(jù)量如此巨大的微博信息中是不適用的。因此本文在將概率模型LDA應(yīng)用到中文字詞提取的基礎(chǔ)上，借助統(tǒng)計(jì)學(xué)方法

2、在“詞匯層次”引入外部語(yǔ)義庫(kù)，加大語(yǔ)義詞語(yǔ)的權(quán)重，提出一種多特征融合的概率主題模型，使提取的字詞更加準(zhǔn)確、更加結(jié)合實(shí)際。
　　主要工作如下:
　　(1)深入研究中文微博數(shù)據(jù)特征結(jié)構(gòu)，對(duì)現(xiàn)有的隱含語(yǔ)義模型結(jié)合中文微博數(shù)據(jù)進(jìn)行了對(duì)比分析。
　　(2)深入研究隱含主題模型在中文微博中的應(yīng)用，詳細(xì)的分析了隱含模型的特點(diǎn)，構(gòu)建了中文微博特有的詞袋模型，應(yīng)用到中文微博中，將文本的分布向量，直接映射到內(nèi)部隱含主題，彌補(bǔ)傳統(tǒng)的單純利用