基于hSync算法的文本聚類方法研究.pdf

1、傳統(tǒng)的聚類算法，如k-means算法、EM算法等，都是建立在凸形分布的樣本空間上，若樣本空間不為凸，算法將會陷入局部最優(yōu)，因此不能對任意形狀分布的樣本聚類。hSync（Synchronization-Inspired Hierarchical Clustering）算法作為一種基于同步動力學模型的聚類算法，不用對數(shù)據(jù)的全局分布做假設，可以發(fā)現(xiàn)任何形狀的簇，為求解中文文本聚類問題提供了一個很好的選擇。
　　本文針對文本聚類問題，在文

2、本表示模型和文本聚類算法兩個方面展開一系列的研究，主要包括以下內(nèi)容：
　?。?）分析和研究基于雙詞關聯(lián)的文本表示模型和基于詞共現(xiàn)的文本表示模型，提出了基于雙詞關聯(lián)和詞共現(xiàn)的文本混合表示模型，并設計了對應的特征抽取方法、特征權重計算方法和文本相似度計算方法。實驗顯示使用基于雙詞關聯(lián)和詞共現(xiàn)的文本混合表示模型求解文本聚類問題的結果相對傳統(tǒng)向量空間模型在F-measure值方面有所提高。
　?。?）研究并改進了hSync算法。將h

3、Sync聚類算法應用到文本聚類中，解決了傳統(tǒng)聚類算法不能很好處理非凸形分布文本數(shù)據(jù)的問題。并針對傳統(tǒng)hSync算法運算效率低的問題，使用基于?-鄰域閉包的方法判斷數(shù)據(jù)同步的趨勢，并使用不斷增大鄰域半徑增量的方法增大鄰域半徑，從而提高數(shù)據(jù)局部同步的效率，進而提高了hSync的聚類效率。
　?。?）通過文本聚類實驗，驗證了基于雙詞關聯(lián)和詞共現(xiàn)的文本混合表示模型的有效性及改進的 hSync算法的有效性。采用改進后的文本表示模型和改進后的