基于k-means的中文文本聚類算法的研究與實現(xiàn).pdf

1、本論文對文本聚類的相關(guān)技術(shù)與算法進行研究，針對文本數(shù)據(jù)高維性和稀疏性的缺點，改進了文本聚類中的特征選擇方法，以及與k—means相關(guān)的算法，并在此基礎(chǔ)上設(shè)計并實現(xiàn)了一個中文文本聚類原型系統(tǒng)。主要工作有： 1)聚類領(lǐng)域進行特征選擇時由于缺乏類信息而難以選擇出最具類區(qū)分能力的特征詞。在文檔頻率，單詞貢獻度兩種特征選擇方法的基礎(chǔ)上，利用貪心算法對特征進行增量選擇。實驗表明改進的算法可以在保證聚類質(zhì)量的前提下過濾更多的特征詞。

2、2)文本數(shù)據(jù)高維性和稀疏性的特點使得文本對象間的相似度不易度量，根據(jù)文本間的相似度為k—means算法選擇的始聚類中心時可能不能很好的代表整個文本集。針對該缺點，對k—means算法中的初始化問題，提出一個改進的初始聚類中心選擇方法。實驗表明改進的方法選擇到初始聚類中心比較分散且代表性好。 3)為了提高聚類中簇的質(zhì)量，通過引入共享最近鄰相似度中鄰居的概念，對bisecting k—means算法進行改進，實驗結(jié)果表明該算法的聚類