帶噪聲的文本聚類及其在反垃圾郵件中的應用.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，文本數(shù)據(jù)呈指數(shù)級增長。為了獲得數(shù)據(jù)之間的內(nèi)在關(guān)系及隱含信息，文本挖掘技術(shù)應運而生。聚類分析作為數(shù)據(jù)挖掘的一個重要功能，在文本挖掘中有著非常重要的作用，本文將討論帶有干擾信息的文本聚類方法。
　　 傳統(tǒng)的文本挖掘方法首先將文本表示成向量空間模型；然后用TFIDF權(quán)重將文檔轉(zhuǎn)化為向量形式，最后在向量空間模型中計算文本相似度。在傳統(tǒng)的向量空間模型中，由于沒有考慮詞之間存在的概念相似情況，因此影響了數(shù)據(jù)聚類的準

2、確性。因而針對中文提出了一種基于知網(wǎng)模型和語義內(nèi)積的相似度計算方法。
　　 然而，這一方法卻并不適用于垃圾郵件的聚類問題。原因是垃圾郵件發(fā)送者經(jīng)在郵件編輯完成后，用類似于查找替換的辦法，把文本中規(guī)范的敏感關(guān)鍵詞替換為另一個用插入符號、改動次序甚至用拼音替代等方法混淆過的、但能被讀者理解的詞語，以逃脫郵件處理程序的過濾。如果利用傳統(tǒng)的方法則會采取一系列預處理措施，將會過濾掉干擾信息，這樣會使垃圾郵件的相似度計算準確度較低，最終導致

3、聚類質(zhì)量效果較差。
　　 針對垃圾郵件含有較多干擾信息而導致相似性度量較差這一問題，本文采用非度量的方法，將Needleman－Wunsch算法應用到文本相似度計算中。最后，利用該相似度計算方法，提出一種基于Needleman-Wunsch的聚類算法，最終完成文本聚類。
　　 與基于向量空間模型相比，采用Needleman－Wunsch算法計算文本相似度時，避免了分詞過程，減少語義損失，保留了所有的文本信息，保證了聚類質(zhì)