面向短文本分類的特征擴(kuò)展方法.pdf

1、近年來，各種各樣的網(wǎng)絡(luò)應(yīng)用(如Facebook, QQ, Twitter，新浪微博等）不斷涌現(xiàn)，伴隨著這些網(wǎng)絡(luò)應(yīng)用，各種各樣文本信息隨之而來，其中不少應(yīng)用產(chǎn)生的文本信息內(nèi)容一般都比較短，我們稱之為短文本信息。短文本數(shù)據(jù)量異常龐大。短文本信息的研究在很多領(lǐng)域有其重要的用途，例如在社交網(wǎng)絡(luò)的推薦系統(tǒng)、互聯(lián)網(wǎng)信息安全、網(wǎng)絡(luò)信息數(shù)據(jù)挖掘，話題跟蹤與發(fā)現(xiàn)、網(wǎng)絡(luò)新詞發(fā)現(xiàn)、網(wǎng)絡(luò)輿論監(jiān)控等領(lǐng)域都具有廣泛的應(yīng)用場景。本文所研究的是面向短文本分類的特征擴(kuò)展

2、問題。
　　短文本信息的特點(diǎn)主要體現(xiàn)在文本內(nèi)容較短、特征稀少、噪音影響大等方面，傳統(tǒng)的統(tǒng)計(jì)文本分類算法是基于 bag-of-words范式的，由于短文本特點(diǎn)，這些文本分類方法對于短文本分類表現(xiàn)相對較差。針對這些問題，本文設(shè)計(jì)并實(shí)現(xiàn)了基于搜索引擎的特征擴(kuò)展方法，將短文本通過檢索得到網(wǎng)絡(luò)信息，然后將這些相關(guān)的信息用于短文本擴(kuò)展，最后再選擇合適的文本分類器對短文本分類，本文主要選用的三種常用的全監(jiān)督分類器，同時(shí)也嘗試將半監(jiān)督分類器應(yīng)用于

3、短文本分類問題。
　　然而基于特征擴(kuò)展的短文本特征擴(kuò)展方法，普遍存在一個問題，即擴(kuò)展的網(wǎng)絡(luò)信息通常存在歧義內(nèi)容。有歧義的網(wǎng)絡(luò)信息很顯然是不合適用于特征擴(kuò)展的。為了解決這一問題，本論文提出了一種基于圖的特征擴(kuò)展約束方法，通過短文本擴(kuò)展信息的不斷迭代過濾，最終得到用于擴(kuò)展特征的高質(zhì)量信息。同時(shí)本文也提出一種短文本關(guān)鍵字提取算法，該算法的設(shè)計(jì)結(jié)合了短文本的統(tǒng)計(jì)信息，語義信息及關(guān)鍵字出現(xiàn)的位置與順序等特征，系統(tǒng)中使用這種算法提取可靠的短文