基于遺傳算法的文本聚類技術研究.pdf

1、文本聚類是信息檢索(InformationRetrieval：IR)和數據挖掘(DataMining：DM)等領域的一個重要研究方向。它是一種無監(jiān)督的分類方法，根據樣本自身的特點分成若干類，使得類內樣本的相似性盡可能大、類間樣本的相似性盡可能小。常用的系統(tǒng)聚類法聚類比較準確，但計算量很大。對樣本數很多且維數很高的問題，這種方法的缺陷更為顯現。受迭代方法思想的啟發(fā)，人們提出了動態(tài)聚類法(也稱逐步調整法)，從而減少了計算量，這種算法的執(zhí)行與

2、參數設置是否得當密切相關，往往需要對樣本數據的物理意義進行必要的分析。在高維且數據量大的情況下，設置合理的參數尤為困難，只能通過多次實驗比較來選定；另一方面，聚類的初始數據集和目標函數都是離散量，存在許多局部極值點，而通常的動態(tài)聚類法沒有判別劣值的機制，因此初始聚類中心和樣本輸入的次序對最終結果有著很大的影響。 遺傳算法(GenticAlgorithm：GA)是一種模擬自然進化過程在全局搜索最優(yōu)解的方法。本文利用遺傳算法來解決對

3、初始解敏感、易陷于局部最優(yōu)的文本聚類問題，提出了基于遺傳算法的動態(tài)文本聚類。我們采用二進制編碼方式對聚類中心進行編碼，以類內中的點與其類中心的歐氏距離作為適應度函數。通過遺傳算法的選擇、交叉、變異三個算子操作對類中心進行逐步迭代調整，直至適應度函數收斂，得到使聚類劃分效果最好的聚類結果。在英文語料庫Reuters-21578上的前10個常見類(ToplO)實驗結果表明：1)該方法可以克服局部極值點的問題；2)聚類結果的評價指標純度(Pu