基于DK-Means算法的文本聚類的研究與實現.pdf

1、隨著信息技術在各個領域的普及，各種應用每天產生的數據量呈指數級增長。如何有效處理這些數據，從中提取有用的知識，是迫切需要解決的問題。數據挖掘是為了滿足人們對數據中所蘊涵的信息和知識的充分理解和有效應用而發(fā)展起來的一門新興技術。聚類分析根據數據對象之間的相似度將數據集劃分為幾個類或者簇，是發(fā)現數據內部結構和知識的很好的方法。
　　 聚類分析是根據樣本之間的某種距離在無監(jiān)督條件下的聚簇過程，利用聚類方法可以把大量的文本劃分成用戶可以

2、迅速理解的簇，從而使用戶可以更快地把握大量文檔中所包含的內容，加快分析速度并輔助決策。聚類分析已利用在各個領域，例如，模式識別，圖象處理，信息檢索等多個學科。根據不同需求，聚類數據集的類型也各不相同，例如，有序數型、標量型、文本型、混合型等數據，本文主要研究了對文本類型的數據進行聚類。
　　 本文對文本聚類中所涉及的文本降維方法和聚類算法進行了研究。首先，在文本預處理中，提出了結合詞頻的分詞方法，提高了分詞準確性的同時，為后邊的

3、文本模型的構建，文本降維等做好準備；其次，提出了基于文本相似的文本降維方法，該降維方法，通過計算文本與其他文本的相似性，計算特征詞對文本類屬性中的貢獻度來提取與文本高度相關的詞，起到了文本降維的效果，提高了文本聚類的效率和精確度；最后，提出了基于DK-Means的文本聚類算法，該方法與原有方法相比提高了聚類準確度和聚類速度。
　　 本文首先對屬于數據挖掘領域的聚類分析技術進行了介紹，然后講述了文本聚類的相關技術，包括文本的預處理