面向文本的協(xié)同聚類集成研究.pdf

1、聚類技術(shù)是數(shù)據(jù)挖掘中一個非常重要的技術(shù)方法，被廣泛應用于多個研究領(lǐng)域。隨著網(wǎng)絡的逐漸普及和發(fā)展，文本數(shù)據(jù)成爆炸似增長，聚類被大量應用于文本數(shù)據(jù)集聚類，使在同一個文本簇中的文本相似度大，而在不同文本簇中的文本相似度小。文本聚類是一個無監(jiān)督的聚類過程。協(xié)同聚類是在文本聚類上作了一些改進，在聚類過程中將文本屬性和特征詞屬性同時進行聚類，提高了傳統(tǒng)文本聚類的性能。由于單一聚類或協(xié)同聚類的性能不太穩(wěn)定，難以表示出數(shù)據(jù)集的分布結(jié)構(gòu)。為了提高算法的穩(wěn)

2、定性，學者們又提出了聚類集成的概念。得到多個具有差異性的基聚類結(jié)果，使用一個共識函數(shù)對基聚類結(jié)果進行集成，最后得到穩(wěn)定的聚類結(jié)果。
　　協(xié)同文本聚類是將文本屬性和特征詞屬性同時或交替進行聚類，充分考慮到了文本間、特征詞間、文本與特征詞間的相似性。因為文本數(shù)據(jù)結(jié)構(gòu)的特殊性（非結(jié)構(gòu)或半結(jié)構(gòu)），在文本預處理時必須對文本進行表示。傳統(tǒng)的向量空間模型是基于特征詞獨立性這一假設前提的，但實際上特征詞間存在著某種相似性。本文采用雙詞的向量空間模

3、型對文本進行表示，保留在文本中出現(xiàn)頻率高的雙詞。雙詞向量空間模型不僅保留了傳統(tǒng)向量空間模型的全部信息，而且還多增加了一些能表示文本主題的信息。實驗證明采用雙詞模型的協(xié)同文本聚類效果明顯好于傳統(tǒng)模型的協(xié)同文本聚類。
　　由于雙詞向量空間模型的高維和稀疏性，在協(xié)同聚類之前必須對特征詞維數(shù)進行約減。方差波動描述了一個特征向量對文本聚類的貢獻程度，忽略了特征向量間的相似性。相關(guān)系數(shù)既表示了一個特征向量對文本聚類的貢獻程度，又描述了兩兩特征

4、向量間的相似性;同時矩陣分塊的方法也大大減少了算法的運行時間。在協(xié)同聚類的調(diào)整算法中，文本聚類結(jié)果與特征詞聚類結(jié)果一一對應，有利于文本主題的發(fā)現(xiàn)。
　　對文本進行單一的協(xié)同聚類得到的聚類性能不太穩(wěn)定，本文在協(xié)同文本聚類后又進行了集成。基于離差平方和的數(shù)據(jù)片段集成方法是在基聚類結(jié)果上得到多個文本數(shù)據(jù)片段（數(shù)據(jù)片段個數(shù)遠遠小于原數(shù)據(jù)點數(shù)），在數(shù)據(jù)片段上采用一個共識函數(shù)進行集成，得到最后的聚類結(jié)果。實驗結(jié)果表明，協(xié)同文本聚類集成方法提高