基于后綴樹模型的流文本表示研究及其應用.pdf

1、隨著因特網(wǎng)的不斷普及，流數(shù)據(jù)處理逐漸受到人們的關注。相對于傳統(tǒng)的靜念數(shù)據(jù)，流數(shù)據(jù)具有高度的流動性，對實時更新的要求較高。本文面向網(wǎng)絡信息內(nèi)容分析這一背景，針對流數(shù)據(jù)處理中的流文本表示問題，考察了現(xiàn)有的文本表示方法，提出并實現(xiàn)了基于后綴樹模型(STM)的流文本表示方法。該表示方法具有以下特點： 　● 利用后綴樹模型動念增刪的特性，支持對流文本表示進行實時更新，直接對后續(xù)操作結果產(chǎn)生影響； 　● 利用后綴樹模型快速匹配的

2、特性，可以實時獲得表示流文本的向量，不需要進行分詞以及特征提取等復雜計算： 　●采用不定長匹配，得到合適的語言粒度，能夠較好地反映文本特征； 　●利用了上下文的位置信息，可以為后續(xù)操作提供更多的信息量； 　● 由于不需要進行分詞和特征提取，該表示方法與具體語種無關。 在此基礎上，本文將基于后綴樹的文本表示方法結合分類算法，以SDanlAssassin郵件過濾平臺為依托，實現(xiàn)了一個垃圾郵件過濾系統(tǒng)。

3、該過濾系統(tǒng)采用通用后綴樹模型(GSTM)表示訓練集中的郵件，對于到達的新郵件，利用郵件內(nèi)容的上下文位罱信息，進行文本位置的不定長多元統(tǒng)計，從而獲得新郵件與不同訓練集的相似程度，確定郵件所屬類別。理論分析和實驗表明： 　●將長度為N的新郵件加入訓練集，訓練時間為O(N)，滿足了訓練集的動態(tài)變化； ● 對長度為N的新郵件進行過濾，過濾時間為O(N)； 　●在相同語料上，該系統(tǒng)的準確率和召回率均達到或超過了其他基