基于遺傳算法的文本聚類技術(shù)研究.pdf

1、文本聚類是信息檢索(InformationRetrieval：IR)和數(shù)據(jù)挖掘(DataMining：DM)等領(lǐng)域的一個重要研究方向。它是一種無監(jiān)督的分類方法，根據(jù)樣本自身的特點分成若干類，使得類內(nèi)樣本的相似性盡可能大、類間樣本的相似性盡可能小。常用的系統(tǒng)聚類法聚類比較準(zhǔn)確，但計算量很大。對樣本數(shù)很多且維數(shù)很高的問題，這種方法的缺陷更為顯現(xiàn)。受迭代方法思想的啟發(fā)，人們提出了動態(tài)聚類法(也稱逐步調(diào)整法)，從而減少了計算量，這種算法的執(zhí)行與

2、參數(shù)設(shè)置是否得當(dāng)密切相關(guān)，往往需要對樣本數(shù)據(jù)的物理意義進(jìn)行必要的分析。在高維且數(shù)據(jù)量大的情況下，設(shè)置合理的參數(shù)尤為困難，只能通過多次實驗比較來選定；另一方面，聚類的初始數(shù)據(jù)集和目標(biāo)函數(shù)都是離散量，存在許多局部極值點，而通常的動態(tài)聚類法沒有判別劣值的機制，因此初始聚類中心和樣本輸入的次序?qū)ψ罱K結(jié)果有著很大的影響。 遺傳算法(GenticAlgorithm：GA)是一種模擬自然進(jìn)化過程在全局搜索最優(yōu)解的方法。本文利用遺傳算法來解決對

3、初始解敏感、易陷于局部最優(yōu)的文本聚類問題，提出了基于遺傳算法的動態(tài)文本聚類。我們采用二進(jìn)制編碼方式對聚類中心進(jìn)行編碼，以類內(nèi)中的點與其類中心的歐氏距離作為適應(yīng)度函數(shù)。通過遺傳算法的選擇、交叉、變異三個算子操作對類中心進(jìn)行逐步迭代調(diào)整，直至適應(yīng)度函數(shù)收斂，得到使聚類劃分效果最好的聚類結(jié)果。在英文語料庫Reuters-21578上的前10個常見類(ToplO)實驗結(jié)果表明：1)該方法可以克服局部極值點的問題；2)聚類結(jié)果的評價指標(biāo)純度(Pu