核聚類算法研究及其在文本聚類中的應(yīng)用.pdf

1、隨著Internet的普及和網(wǎng)絡(luò)技術(shù)的不斷完善，Internet已經(jīng)成為了全球最龐大最豐富的信息資源庫。然而用戶查詢信息時常常被信息淹沒，迷失在信息的海洋中，這大大降低了檢索的效率。
　　文本聚類技術(shù)是解決海量文本信息的分類管理及可視化的一條有效的方法。文本聚類因為不需要類別的信息，能自動實現(xiàn)對文本的分組，近年來已經(jīng)在信息檢索領(lǐng)域獲得了普遍的應(yīng)用。其中用到的經(jīng)典的聚類方法包括C均值聚類和模糊C均值聚類，由于這兩種方法只能對少許典型

2、分布的樣本奏效，并且都沒有對樣本的特征進行優(yōu)化，而是直接使用樣本的特征進行聚類。因此聚類方法的效果很大程度上取決于樣本的分布，如果在其中一類樣本散布較大，另外一類樣本散布較小的情況下，這些方法將會失效。
　　核聚類算法的主要思想是通過一個非線性映射，將輸入空間中的樣本映射到高維特征空間中，并選擇合適的Mercer核函數(shù)取代非線性映射的內(nèi)積，在特征空間中進行聚類。由于利用核函數(shù)，可以用低維空間中的輸入向量直接計算出高維空間中特征向量

3、的內(nèi)積，從而并沒有使計算量隨著向量的維數(shù)升高而增加許多。
　　本文在了解核方法的基本原理上，結(jié)合熵理論研究了基于核函數(shù)模糊聚類的子空間樣本選擇算法和初始聚類中心優(yōu)化的加權(quán)最大熵核聚類算法(WKMEFCM)，并將其應(yīng)用到中文文本聚類中。實驗結(jié)果證實，對于分布混亂以及高度相關(guān)難以劃分的文本數(shù)據(jù)，由于Mercer核函數(shù)的引入，使原來沒有顯現(xiàn)的文本特征得以凸顯，從而使聚類效果更好。
　　最后，本文基于開源的Carrot2構(gòu)建了一個中