基于粗糙集的K-means研究.pdf

1、數(shù)據(jù)挖掘技術(shù)從大量的數(shù)據(jù)中發(fā)現(xiàn)隱含的知識(shí)和規(guī)律。它既是一種知識(shí)的獲取，又是一種數(shù)據(jù)處理過(guò)程。從工程的角度講，數(shù)據(jù)挖掘是一個(gè)需要反復(fù)多次對(duì)數(shù)據(jù)進(jìn)行處理的過(guò)程。數(shù)掘挖掘獲取的信息可以廣泛的應(yīng)用到商務(wù)管理、生產(chǎn)控制、市場(chǎng)分析、工程設(shè)計(jì)等各個(gè)領(lǐng)域。
　　 粗糙集在數(shù)據(jù)挖掘中有著廣泛的應(yīng)用。本文簡(jiǎn)述了粗糙集的基本理論、深入研究了融合粗糙度和知識(shí)粗糙熵的基本概念。通過(guò)研究，得出了粗糙度、知識(shí)的粗糙熵、粗糙集的粗糙熵隨著知識(shí)更細(xì)的劃分而單調(diào)下

2、降的結(jié)論。本文將粗糙集的基本理論知識(shí)與K-means算法相結(jié)合，提出了一種混合的屬性約簡(jiǎn)算法：KRS算法。KRS算法是基于屬性頻率的約簡(jiǎn)算法，是一種新的區(qū)分矩陣約簡(jiǎn)算法。
　　 本文對(duì)傳統(tǒng)的聚類(lèi)算法進(jìn)行了改進(jìn)，克服了傳統(tǒng)算法通過(guò)文本距離來(lái)確定文本相似度，而忽略文本的相似性所造成的聚類(lèi)過(guò)程不精確的缺點(diǎn)。本文的研究工作主要體現(xiàn)在以下幾個(gè)方面：第一、利用常用的特征選擇方法降低了文本維數(shù)，提出了一種新的粗糙集約簡(jiǎn)算法對(duì)文本屬性進(jìn)行前向選

3、擇，產(chǎn)生幾個(gè)約簡(jiǎn)，在利用粗糙集約簡(jiǎn)算法去掉冗余屬性；第二、使用K-means聚類(lèi)算法進(jìn)行文本的聚類(lèi)，在每一次聚類(lèi)的結(jié)果中用粗糙集進(jìn)行再次聚類(lèi)。通過(guò)實(shí)驗(yàn)，發(fā)現(xiàn)聚類(lèi)的結(jié)果與實(shí)際理想情況下的分類(lèi)的結(jié)果越來(lái)越接近。在這個(gè)基礎(chǔ)上，將基于粗集的特征選擇方法與文本聚類(lèi)結(jié)合起來(lái)，進(jìn)而得到高效的結(jié)果。整個(gè)過(guò)程分成兩段：首先將多約簡(jiǎn)算法作為前端預(yù)處理工具，進(jìn)行文本特征選擇，然后用K-means方法對(duì)約簡(jiǎn)后的屬性進(jìn)行分類(lèi)過(guò)濾。降低了屬性維數(shù)，減少了計(jì)算量，同

4、時(shí)提高了分類(lèi)速度；第三、提出了一種基于屬性重要度的粗糙集和相關(guān)過(guò)濾器結(jié)合的、針對(duì)主題特殊文本過(guò)濾的新方法。通過(guò)實(shí)驗(yàn)結(jié)果可以看出，未經(jīng)粗糙集約簡(jiǎn)的文本屬性集和經(jīng)過(guò)快速約簡(jiǎn)的文本屬性集相比較，當(dāng)約簡(jiǎn)個(gè)數(shù)m取值增加后，所選擇的屬性個(gè)數(shù)大大減少，精度也隨之提高。
　　 本文基于以上的研究結(jié)果，利用WEKA數(shù)據(jù)挖掘平臺(tái)與知識(shí)分析平臺(tái)進(jìn)行二次開(kāi)發(fā)，對(duì)海量的數(shù)據(jù)進(jìn)行分析，結(jié)果證明了本文算法的優(yōu)越性。同時(shí)，在MyEclipse上實(shí)現(xiàn)了對(duì)k-me