基于粗糙集的K-means研究.pdf

1、數(shù)據(jù)挖掘技術(shù)從大量的數(shù)據(jù)中發(fā)現(xiàn)隱含的知識和規(guī)律。它既是一種知識的獲取，又是一種數(shù)據(jù)處理過程。從工程的角度講，數(shù)據(jù)挖掘是一個需要反復(fù)多次對數(shù)據(jù)進行處理的過程。數(shù)掘挖掘獲取的信息可以廣泛的應(yīng)用到商務(wù)管理、生產(chǎn)控制、市場分析、工程設(shè)計等各個領(lǐng)域。
　　 粗糙集在數(shù)據(jù)挖掘中有著廣泛的應(yīng)用。本文簡述了粗糙集的基本理論、深入研究了融合粗糙度和知識粗糙熵的基本概念。通過研究，得出了粗糙度、知識的粗糙熵、粗糙集的粗糙熵隨著知識更細的劃分而單調(diào)下

2、降的結(jié)論。本文將粗糙集的基本理論知識與K-means算法相結(jié)合，提出了一種混合的屬性約簡算法：KRS算法。KRS算法是基于屬性頻率的約簡算法，是一種新的區(qū)分矩陣約簡算法。
　　 本文對傳統(tǒng)的聚類算法進行了改進，克服了傳統(tǒng)算法通過文本距離來確定文本相似度，而忽略文本的相似性所造成的聚類過程不精確的缺點。本文的研究工作主要體現(xiàn)在以下幾個方面：第一、利用常用的特征選擇方法降低了文本維數(shù)，提出了一種新的粗糙集約簡算法對文本屬性進行前向選

3、擇，產(chǎn)生幾個約簡，在利用粗糙集約簡算法去掉冗余屬性；第二、使用K-means聚類算法進行文本的聚類，在每一次聚類的結(jié)果中用粗糙集進行再次聚類。通過實驗，發(fā)現(xiàn)聚類的結(jié)果與實際理想情況下的分類的結(jié)果越來越接近。在這個基礎(chǔ)上，將基于粗集的特征選擇方法與文本聚類結(jié)合起來，進而得到高效的結(jié)果。整個過程分成兩段：首先將多約簡算法作為前端預(yù)處理工具，進行文本特征選擇，然后用K-means方法對約簡后的屬性進行分類過濾。降低了屬性維數(shù)，減少了計算量，同

4、時提高了分類速度；第三、提出了一種基于屬性重要度的粗糙集和相關(guān)過濾器結(jié)合的、針對主題特殊文本過濾的新方法。通過實驗結(jié)果可以看出，未經(jīng)粗糙集約簡的文本屬性集和經(jīng)過快速約簡的文本屬性集相比較，當(dāng)約簡個數(shù)m取值增加后，所選擇的屬性個數(shù)大大減少，精度也隨之提高。
　　 本文基于以上的研究結(jié)果，利用WEKA數(shù)據(jù)挖掘平臺與知識分析平臺進行二次開發(fā)，對海量的數(shù)據(jù)進行分析，結(jié)果證明了本文算法的優(yōu)越性。同時，在MyEclipse上實現(xiàn)了對k-me