基于遺傳算法的文本聚類技術(shù)研究.pdf

1、文本聚類是信息檢索(InformationRetrieval：IR)和數(shù)據(jù)挖掘(DataMining：DM)等領(lǐng)域的一個(gè)重要研究方向。它是一種無監(jiān)督的分類方法，根據(jù)樣本自身的特點(diǎn)分成若干類，使得類內(nèi)樣本的相似性盡可能大、類間樣本的相似性盡可能小。常用的系統(tǒng)聚類法聚類比較準(zhǔn)確，但計(jì)算量很大。對(duì)樣本數(shù)很多且維數(shù)很高的問題，這種方法的缺陷更為顯現(xiàn)。受迭代方法思想的啟發(fā)，人們提出了動(dòng)態(tài)聚類法(也稱逐步調(diào)整法)，從而減少了計(jì)算量，這種算法的執(zhí)行與

2、參數(shù)設(shè)置是否得當(dāng)密切相關(guān)，往往需要對(duì)樣本數(shù)據(jù)的物理意義進(jìn)行必要的分析。在高維且數(shù)據(jù)量大的情況下，設(shè)置合理的參數(shù)尤為困難，只能通過多次實(shí)驗(yàn)比較來選定；另一方面，聚類的初始數(shù)據(jù)集和目標(biāo)函數(shù)都是離散量，存在許多局部極值點(diǎn)，而通常的動(dòng)態(tài)聚類法沒有判別劣值的機(jī)制，因此初始聚類中心和樣本輸入的次序?qū)ψ罱K結(jié)果有著很大的影響。 遺傳算法(GenticAlgorithm：GA)是一種模擬自然進(jìn)化過程在全局搜索最優(yōu)解的方法。本文利用遺傳算法來解決對(duì)

3、初始解敏感、易陷于局部最優(yōu)的文本聚類問題，提出了基于遺傳算法的動(dòng)態(tài)文本聚類。我們采用二進(jìn)制編碼方式對(duì)聚類中心進(jìn)行編碼，以類內(nèi)中的點(diǎn)與其類中心的歐氏距離作為適應(yīng)度函數(shù)。通過遺傳算法的選擇、交叉、變異三個(gè)算子操作對(duì)類中心進(jìn)行逐步迭代調(diào)整，直至適應(yīng)度函數(shù)收斂，得到使聚類劃分效果最好的聚類結(jié)果。在英文語料庫Reuters-21578上的前10個(gè)常見類(ToplO)實(shí)驗(yàn)結(jié)果表明：1)該方法可以克服局部極值點(diǎn)的問題；2)聚類結(jié)果的評(píng)價(jià)指標(biāo)純度(Pu