基于高維空間的聚類(lèi)技術(shù)研究.pdf

1、隨著計(jì)算機(jī)應(yīng)用的普及,信息系統(tǒng)產(chǎn)生的數(shù)據(jù)量日益增大,迫切需要高效的數(shù)據(jù)挖掘工具,從大量原始數(shù)據(jù)中尋找有價(jià)值的知識(shí)模式.聚類(lèi)分析是數(shù)據(jù)挖掘的重要工具之一.如何正確處理維度達(dá)到數(shù)百、數(shù)千的數(shù)據(jù)集合,如何從高維數(shù)據(jù)集中尋找潛在的、自然存在的聚類(lèi)簇,這是當(dāng)前聚類(lèi)分析研究的熱點(diǎn).本文針對(duì)聚類(lèi)分析的熱點(diǎn)和難點(diǎn)問(wèn)題——高維聚類(lèi)展開(kāi)研究,目的是尋求有效的高維聚類(lèi)算法,以及有效的高維數(shù)據(jù)離群點(diǎn)發(fā)現(xiàn)和聚類(lèi)結(jié)果表達(dá)等技術(shù).本文研究了高維聚類(lèi)分析的關(guān)鍵技術(shù),主

2、要工作有:1、針對(duì)高維數(shù)據(jù)空間下聚類(lèi)簇的分布特點(diǎn),改進(jìn)了一種基于子空間的映射聚類(lèi)算法.本文應(yīng)用柏努利分布表示二元數(shù)據(jù)的分布特征,把基于有限混合柏努利分布模型與EM(Expectation-Maximization)算法相結(jié)合的高維二元數(shù)據(jù)映射聚類(lèi)方法,一方面發(fā)現(xiàn)各種子空間下的聚類(lèi)簇,一方面為每個(gè)簇指定相應(yīng)的屬性子集,實(shí)現(xiàn)了不同子空間下聚類(lèi)簇的挖掘.2、從映射聚類(lèi)算法出發(fā),設(shè)計(jì)了一種高維空間離群點(diǎn)發(fā)現(xiàn)的算法.首先,運(yùn)用一種映射聚類(lèi)的算法尋

3、找數(shù)據(jù)點(diǎn)相對(duì)密集的子空間.為了盡快找到這些數(shù)據(jù)簇及其相應(yīng)的子空間,可以對(duì)數(shù)據(jù)進(jìn)行二元處理,即把全部數(shù)據(jù)集轉(zhuǎn)化為二元數(shù)據(jù),然后運(yùn)用二元數(shù)據(jù)映射聚類(lèi)方法找到映射簇及相關(guān)聯(lián)的屬性集合;第二,根據(jù)屬性熵的定義,對(duì)每個(gè)屬性集合的每一屬性判別其離散程度;第三,在離散程度較大的屬性集合中確定離群點(diǎn):第四,進(jìn)行簇間屬性集合的交叉分析,發(fā)現(xiàn)跨子空間的離群點(diǎn).3、仔細(xì)研究基于粗集理論的高維聚類(lèi)結(jié)果表達(dá)方法.認(rèn)為聚類(lèi)簇必須以有效的方式加以表達(dá),相對(duì)完整地傳達(dá)