中文短文本分類中關聯(lián)強度語言模型的研究.pdf

1、信息技術的急速發(fā)展在不斷地改變?nèi)藗兩罘绞降耐瑫r，也使得信息傳播的形式在不斷地豐富和翻新。短文本(通常文本長度小于160字符)作為手機簡訊、在線即時聊天、論壇用戶評論等信息的主要表現(xiàn)形式，已經(jīng)成為網(wǎng)絡中大眾信息傳播的重要渠道。短文本分類技術，基于內(nèi)容分析的將短文本分派到預先定義的類別中，在信息安全和商戰(zhàn)信息獲取等領域具有廣泛重要應用前景。
　　 短文本分類實際上是一項非常具有挑戰(zhàn)性的任務，因為它具有長度短、所描述概念信號弱和高的

2、類間模糊度等固有缺陷。這導致常用文本分類方法都不太適用于短文本分類。解決短文本分類困難的一條有效途徑為挖掘短文本中本身存在的內(nèi)涵關聯(lián)，進而提取其中辨識度高的信息。鑒于此，本文提出了一種關聯(lián)強度語言模型加深考慮了詞之間的關聯(lián)性和有序性以便能夠提煉出更多的內(nèi)涵，從而彌補短文本先天信息量不足的缺陷。該模型其重要貢獻和核心在于：
　　 (1)針對傳統(tǒng)方法的不足，提出了一種新的能夠有效地描述詞對之間關聯(lián)性的標尺--累積連接分布函數(shù)。

3、>　　 (2)保留了原始語言模型中更適合中文短文本分類的兩大特性--關聯(lián)性和有序性的同時，將通過累積連接分布函數(shù)挖掘出來的隱含內(nèi)聯(lián)關系融入語言模型中，改變語言模型的鏈式結構，形成一種新的辨別能力較強的短文本分類模型。
　　 (3)在要處理大規(guī)模短文本的情形下，通過特征選擇的方式有效地控制原始模型的詞表大小從而降低了模型的復雜度。
　　 該模型基于語言模型理論架構，從挖掘詞對之間的關聯(lián)性入手，運用挖掘出來的隱含內(nèi)聯(lián)關系降