短文本的分類及語義分析方法.pdf

1、互聯(lián)網(wǎng)和手機(jī)的廣泛普及使人們?cè)絹碓揭蕾囉谶@些媒介提供的信息，而這類信息大部分是以短文本形式存放的，因此人們對(duì)短文本過濾技術(shù)要求越來越高。傳統(tǒng)的過濾技術(shù)僅僅實(shí)現(xiàn)關(guān)鍵字的判斷，不能根據(jù)文本的上下文較好地理解文本的語義特征，因而過濾的效果難以滿足人們的要求?；谶@樣的背景，本文對(duì)短文本建模、分類和過濾技術(shù)進(jìn)行了研究和探索。本文的主要工作和貢獻(xiàn)在于:
　　 1.在研究短文本真實(shí)語料特征的基礎(chǔ)上，提出了一種基于語義分析方法的短文本描述模型

2、。該方法首先以“序列算法”處理原有向量空間，保留語法和語義特征，利用文本兩個(gè)層次相關(guān)性(句子之間的相關(guān)性和句子內(nèi)代表特定含義的關(guān)鍵字之間的相關(guān)性)實(shí)現(xiàn)對(duì)關(guān)鍵字的動(dòng)態(tài)加權(quán)，另外使用馬爾可夫模型來對(duì)局部權(quán)重與全局權(quán)重之間進(jìn)行估計(jì)，最終生成了待分類的特征序列；在此基礎(chǔ)上，該模型利用“概率潛在語義分析”將特征序列映射到潛在語義空間。
　　 2.針對(duì)短文本語義信息缺乏的問題，提出了基于潛在語義分析的短文本分類體系。通過對(duì)統(tǒng)計(jì)語言模型和自然