基于頻繁模式的消息文本聚類研究.pdf

1、本文著眼于話題識別等應(yīng)用，借助于聚類分析進(jìn)行基于內(nèi)容的消息文本挖掘。 消息文本與純文本、靜態(tài)網(wǎng)頁等傳統(tǒng)文本的顯著不同在于它的動態(tài)和不規(guī)范性。網(wǎng)絡(luò)非正規(guī)語言的出現(xiàn)使得消息文本特征的提取非常困難。我們通過發(fā)現(xiàn)文本中頻繁出現(xiàn)的詞或短語(稱之為頻繁模式)來識別消息文本的特征?？偨Y(jié)了文本中頻繁模式發(fā)現(xiàn)算法，給出具體實現(xiàn)并對其性能進(jìn)行評測。實驗結(jié)果表明我們的實現(xiàn)方案性能可以滿足實際應(yīng)用的需要。 相比于詞，結(jié)構(gòu)穩(wěn)定、表意完整

2、，具有一定流通度的頻繁模式(稱之為關(guān)鍵頻繁模式)包含了詞序和鄰近上下文等更多的語義信息，更能準(zhǔn)確表達(dá)出特定的語義，更適合于作為文本特征。提出一種基于頻繁模式的特征提取算法，可以自動從文本中提取出有意義的詞或短語作為文本特征，極大的減少了特征數(shù)目。該算法獨立于語種，對于中文無需分詞。在此基礎(chǔ)上，提出了一種無指導(dǎo)的基于頻繁模式的特征選擇算法，可以應(yīng)用于文本分類和聚類中。實驗結(jié)果表明，該特征選擇算法在分類上的性能接近甚至超過兩種典型的有指導(dǎo)的