改進(jìn)的K均值算法在中文文本聚類中的研究.pdf

1、隨著信息時代的到來，各種電子文本數(shù)據(jù)急劇增加，如何對龐雜的數(shù)據(jù)進(jìn)行有效的管理并快速的獲取需要的信息，已成為一項亟待解決的重要課題。文本聚類和文本分類作為一個有效的管理和組織文本的工具，受到了越來越多的重視和研究。
　　 本文以中文文本聚類為研究對象，對中文文本聚類全過程進(jìn)行了較為深入的研究，包括文本預(yù)處理，文本聚類。針對K均值算法（KM）和二分K均值算法（BKM）在聚類分析存在的不足，基于合作聚類思想，提出了一種改進(jìn)的文本聚類算

2、法:合作二分K均值算法（CBKM）。
　　 本文主要的工作和取得的成果如下：
　　 （1）對當(dāng)前主要的文本聚類方法及代表性算法進(jìn)行了深入分析和研究，指出了各種代表性算法的優(yōu)缺點及適用范圍。
　　 （2）對文本聚類中文本表示模型、文本間距離的度量和文本預(yù)處理等關(guān)鍵技術(shù)問題進(jìn)行了較為深入的探討。
　　 （3）K均值算法（KM），其聚類效果由于受初始聚類中心的影響，k值選擇難以有統(tǒng)一標(biāo)準(zhǔn)，且初始聚類中心的選擇會

3、對聚類產(chǎn)生較大影響，孤立點的存在造成很難找到全局最優(yōu)解。而二分K均值算法（BKM），其在聚類過程中產(chǎn)生的成員碎片難以通過其他方法來進(jìn)行重新聚類。針對KM算法和BKM算法在聚類中存在的缺陷，作者基于合作聚類的思想，提出了一種合作二分K均值算法（CBKM）。該算法主要分為整體聚類、合作聚類和融合三個階段。該算法是在BKM產(chǎn)生CF樹的過程中與通過KM進(jìn)行同步的中間合作來實現(xiàn)的。通過引入相似柱狀圖的概念，其能夠直觀的反應(yīng)簇之間元素的粘合性。并根

4、據(jù)子類相似的相似柱狀圖計算出兩個子類的融合因子，將融合因子值最大的兩個簇進(jìn)行融合，更新聚類簇。此過程產(chǎn)生的聚類結(jié)果能夠有效的避免聚類碎片的產(chǎn)生，并且由于是對子類的交集進(jìn)行合并聚類，所以有效的改善了K均值算法受初始聚類中心影響，該算法得到的是全局最有解，而不是局部最優(yōu)解。
　　 （4）CBKM算法是建立在KM算法和BKM算法的融合基礎(chǔ)上，從性能上來看，CBKM算法的時間復(fù)雜度高于KM算法和BKM算法，但低于兩者的和。