考慮特征有效擴展的中文短文本分類研究.pdf

1、近年來，越來越多的以短文本（通常文本長度小于160字符）形式存在的信息逐漸成為了人們獲取消息的主要途徑之一，如:微信，微博，網(wǎng)絡(luò)評論，網(wǎng)絡(luò)聊天以及搜索引擎返回的網(wǎng)絡(luò)片段等等。所以，如何有效地管理這些海量信息成為了亟待解決的問題，是一個十分重要的研究課題。
　　 短文本具有長度短，描述概念信號弱，類別模糊度高等固有特點，致使當(dāng)前主流的文本分類技術(shù)無法很好地運用于短文本分類領(lǐng)域，目前，對于短文本分類問題，一種較為有效的方法是借助外部

2、資源中的額外信息輔助短文本分類，通過引入特定的語義關(guān)系信息或是統(tǒng)計信息，充分挖掘短文本含有的信息量。鑒于此，本文采用了引入外部資源的研究思路，考慮同時引入多種語義角色關(guān)系信息來輔助分類，圍繞著如何能夠更好地利用這些信息對短文本進行有效的特征擴展的問題展開研究，提出一種考慮擴展語義約束和統(tǒng)計約束的中文短文本分類方法，本文的核心和貢獻(xiàn)在于:
　　 (1)提出兩個衡量特征有效擴展的約束指標(biāo):語義約束以及統(tǒng)計約束，用以判斷使用含有角色關(guān)

3、系的詞對對中文短文本進行的特征擴展是否為有效擴展。當(dāng)同時利用多種角色關(guān)系輔助短文本分類時，將面臨著容易引入大量噪音的風(fēng)險。針對這個問題，本文通過分析不同角色關(guān)系輔助中文短文本分類時的作用特點，提出衡量相似概念詞對有效擴展的語義約束和衡量不同概念詞對有效擴展的統(tǒng)計約束，并根據(jù)訓(xùn)練文本中的宿主-屬性關(guān)系詞對信息以及詞語間的互信息分別獲取語義約束和統(tǒng)計約束的相關(guān)參數(shù)。實驗表明，使用語義約束或統(tǒng)計約束均能夠在一定程度上減小特征擴展時引入噪音的概

4、率，從而提高分類性能。
　　 (2)提出一種考慮特征有效擴展的中文短文本分類方法;將抽取出的所有詞語角色關(guān)系分為兩大類，一類是具有的角色關(guān)系為相似概念的詞對，另一類為不同概念的詞對，在用它們對文本進行特征擴展前，分別判斷其對應(yīng)約束信息是否滿足條件。由于如此一來獲取的詞語角色關(guān)系信息較多，為能夠更好地充分利用這些信息，本文采用了利用關(guān)系詞對增加特征權(quán)重以及增加新特征兩種方法擴展測試集的特征向量，進而將有效擴展后的測試集進行文本分類