中文短文本分類中關(guān)聯(lián)強(qiáng)度語言模型的研究.pdf

1、信息技術(shù)的急速發(fā)展在不斷地改變?nèi)藗兩罘绞降耐瑫r(shí)，也使得信息傳播的形式在不斷地豐富和翻新。短文本(通常文本長度小于160字符)作為手機(jī)簡訊、在線即時(shí)聊天、論壇用戶評(píng)論等信息的主要表現(xiàn)形式，已經(jīng)成為網(wǎng)絡(luò)中大眾信息傳播的重要渠道。短文本分類技術(shù)，基于內(nèi)容分析的將短文本分派到預(yù)先定義的類別中，在信息安全和商戰(zhàn)信息獲取等領(lǐng)域具有廣泛重要應(yīng)用前景。
　　 短文本分類實(shí)際上是一項(xiàng)非常具有挑戰(zhàn)性的任務(wù)，因?yàn)樗哂虚L度短、所描述概念信號(hào)弱和高的

2、類間模糊度等固有缺陷。這導(dǎo)致常用文本分類方法都不太適用于短文本分類。解決短文本分類困難的一條有效途徑為挖掘短文本中本身存在的內(nèi)涵關(guān)聯(lián)，進(jìn)而提取其中辨識(shí)度高的信息。鑒于此，本文提出了一種關(guān)聯(lián)強(qiáng)度語言模型加深考慮了詞之間的關(guān)聯(lián)性和有序性以便能夠提煉出更多的內(nèi)涵，從而彌補(bǔ)短文本先天信息量不足的缺陷。該模型其重要貢獻(xiàn)和核心在于：
　　 (1)針對(duì)傳統(tǒng)方法的不足，提出了一種新的能夠有效地描述詞對(duì)之間關(guān)聯(lián)性的標(biāo)尺--累積連接分布函數(shù)。

3、>　　 (2)保留了原始語言模型中更適合中文短文本分類的兩大特性--關(guān)聯(lián)性和有序性的同時(shí)，將通過累積連接分布函數(shù)挖掘出來的隱含內(nèi)聯(lián)關(guān)系融入語言模型中，改變語言模型的鏈?zhǔn)浇Y(jié)構(gòu)，形成一種新的辨別能力較強(qiáng)的短文本分類模型。
　　 (3)在要處理大規(guī)模短文本的情形下，通過特征選擇的方式有效地控制原始模型的詞表大小從而降低了模型的復(fù)雜度。
　　 該模型基于語言模型理論架構(gòu)，從挖掘詞對(duì)之間的關(guān)聯(lián)性入手，運(yùn)用挖掘出來的隱含內(nèi)聯(lián)關(guān)系降