基于2度頻繁詞序列的文本聚類算法研究.pdf

1、隨著信息技術(shù)的發(fā)展，以電子形式存在的文本信息已經(jīng)成為人們主要的信息來源。文本挖掘成為人們發(fā)現(xiàn)資源和知識的重要工具，不需要預(yù)先定義類別信息的文本聚類成為文本挖掘一個新的研究熱點。 傳統(tǒng)的聚類算法沒有解決文本數(shù)據(jù)的高維度，聚類準(zhǔn)確度低，沒有為聚類結(jié)果提供一個合理的類描述等問題?；陬l繁詞集合的文本聚類算法采用頻繁詞進行聚類，解決了這些問題?；陬l繁詞集合的層次文本聚類算法提出了以簇為中心的思想，提供了一個便于瀏覽的主題層次結(jié)構(gòu)，但是

2、作為簇標(biāo)簽的頻繁詞集合有時不能很好的表示文本的語義信息?；陬l繁詞序列的文本聚類算法利用能夠更好地反映文檔的主題的頻繁詞序列進行聚類，提高了聚類的精確度，但是簇之間存在大量重疊。 本文的主要工作如下： 1.針對基于頻繁詞序列的文本聚類算法利用頻繁詞序列構(gòu)建初始聚類后沒有設(shè)法將文本指派到合適的簇中，造成了大量的簇間重疊。本文通過在文本中對簇標(biāo)簽進行2度頻繁詞序列的驗證將文本指定到合適的簇，彌補了基于頻繁詞序列文本聚類算法的

3、不足，提高了聚類的精確度。 2.向量空間模型進行文本表示時忽略了特征詞之間次序的語義信息。本文提出了2度頻繁詞序列的概念，用2度頻繁詞序列構(gòu)建了一種新的文本表示模型，該模型保留了文檔中的頻繁詞序列和序列中的詞語，更好的表達了文本的語義。 3.在改進算法理論的基礎(chǔ)上，通過實驗與基于頻繁詞序列的文本聚類算法進行比較。實驗結(jié)果表明：改進的算法在一定程度上解決了基于頻繁詞序列的文本聚類算法初始聚類簇間重疊過大的問題，算法無論在傳