WEB中文文本聚類分類系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、文本分類和聚類是文本信息處理領(lǐng)域的一個重要分支，其目標就是研究如何更有效地組織和管理文本信息，并快速、準確、全面地從中找到、分流、定位和形成用戶所需要的信息。文本分類和聚類作為獲取和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù)，可以在很大程度上解決信息雜亂和信息爆炸的問題。而且作為信息過濾、信息檢索、搜索引擎、文本數(shù)據(jù)庫、數(shù)字化圖書館等領(lǐng)域的技術(shù)基礎(chǔ)，文本分類和聚類有著廣闊的應用前景。 本文首先從理論上介紹了Web挖掘，分析了Web挖掘的不同，并

2、對Web挖掘中的兩個重要分支聚類和分類以及涉及到的相關(guān)理論做了闡述。其次Web文檔中的特征表示、特征加權(quán)進行了系統(tǒng)的研究，并開發(fā)了一套從解析HTML文檔、提取特征、計算權(quán)值、聚類、分類、可視化的軟件。軟件采用了多線程技術(shù)。 介紹和實現(xiàn)了常用聚類算法對文本聚類的應用，其中采用了最常用的四種聚類算法，K-means算法、模糊C均值算法(FCM)、層次聚類法(HAC)以及粒子群優(yōu)化算法(PSO)。并對主成分分析(PCA)做了相應介紹，

3、通過對高維數(shù)據(jù)進行主成分變換達到降維的效果，最后選取PCA變換后的前兩維作為二維顯示的可視化結(jié)果。 分析了傳統(tǒng)粒子群優(yōu)化算法存在的不足，提出了一種基于密度的粒子群優(yōu)化算法，和對粒子群的初始化方法，該算法具有傳統(tǒng)粒子群算法尋找最優(yōu)解的特點，同時從密度的角度考慮了數(shù)據(jù)總體的分布，增強了尋找局部最優(yōu)解的能力，并通過對粒子群的初始化加快了粒子群的收斂速度，得到了更好的聚類效果。對仿真數(shù)據(jù)和IRIS真實數(shù)據(jù)的實驗結(jié)果證明，該算法聚類效果優(yōu)