上下位關(guān)系抽取及其用于短文本分類研究.pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)在各個(gè)領(lǐng)域中的廣泛應(yīng)用，產(chǎn)生了龐大的網(wǎng)絡(luò)信息，其中，以手機(jī)短信、QQ聊天記錄、博客評(píng)論、新聞評(píng)論等短文本形式存在的信息也得到了空前的膨脹，如何對(duì)這些以短文本形式存在海量知識(shí)進(jìn)行有效的組織和管理，使用戶能方便準(zhǔn)確的查找到所需信息，是文本自動(dòng)知識(shí)獲取迫切需要解決的問題。
　　 由于短文本長度短、描述概念信號(hào)弱，使得用于長文本時(shí)效果比較好的分類方法，在作用于短文本時(shí)，分類效果不理想，為了解決上述問題，我們采用了一種利用額

2、外信息來輔助短文本分類的方法。
　　 對(duì)于詞語之間的語義關(guān)系的研究和學(xué)習(xí)，一直是信息處理和自然語言處理中不可缺少的一部分，其中，詞語間的上下位關(guān)系在語義關(guān)系中扮演著重要的角色，引入上下位關(guān)系這個(gè)額外信息來輔助短文本分類是目前的一個(gè)研究熱點(diǎn)，此前也有很多關(guān)于提取上下位關(guān)系的研究，盡管這些研究在獲取上下位詞對(duì)時(shí)有很大的效用，但如何提取具有上下位關(guān)系的詞對(duì)，仍然是一個(gè)富有挑戰(zhàn)性的任務(wù)。利用上下位關(guān)系對(duì)短文本的特征向量進(jìn)行擴(kuò)展，能夠在一

3、定程度上增強(qiáng)短文本的概念描述能力。本文是基于上下位關(guān)系的短文本分類研究，主要圍繞以下工作進(jìn)行:
　　 (1)提出了一種基于概念內(nèi)涵的上下位關(guān)系獲取方法。該方法將詞語在《知網(wǎng)》中的概念定義項(xiàng)作為其內(nèi)涵，利用具有上下位關(guān)系的詞語在概念內(nèi)涵上具有包含關(guān)系的特性來計(jì)算概念之間的上下位關(guān)系強(qiáng)度，繼而通過整合詞語對(duì)的多對(duì)概念對(duì)得到詞語對(duì)間的上下位關(guān)系強(qiáng)度，并設(shè)置閾值得到最終的上下位關(guān)系詞對(duì)，將得到的詞語對(duì)用來擴(kuò)展短文本，實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法

4、的有效性。
　　 (2)通過為短文本的特征向量增加新的特征詞語的方式來提高短文本的概念描述能力，盡管這樣對(duì)于短文本的分類效果有所改善，但還有需要進(jìn)一步提高和改進(jìn)的地方:在特征擴(kuò)展時(shí)，我們只是簡單的將新特征擴(kuò)展進(jìn)短文本特征向量中，雖然這樣的擴(kuò)展會(huì)給短文本的分類性能帶來提升，但這樣的擴(kuò)展也給短文本分類帶來了噪音，影響其分類效果，鑒于此，我們采用了一種考慮特征擴(kuò)展方式的短文本分類方法，這種方法是在為短文本的特征向量增加新的特征詞語時(shí)，