基于計(jì)算智能的聚類(lèi)技術(shù)及其應(yīng)用研究.pdf

1、智能是個(gè)體有目的的行為、合理的思維，以及有效的適應(yīng)環(huán)境的綜合能力。計(jì)算智能是多種智能的集合，它具有在不確定不精確環(huán)境中進(jìn)行推理和學(xué)習(xí)的卓越能力，是建立智能系統(tǒng)和智能模型的有效分析和計(jì)算工具。 聚類(lèi)是分析數(shù)據(jù)并從中發(fā)現(xiàn)有用信息的一種有效手段?；凇拔镆灶?lèi)聚”的思想，它將數(shù)據(jù)對(duì)象分組成為若干個(gè)類(lèi)或簇，使得在同一個(gè)簇中的對(duì)象之間具有較高的相似度，而不同簇中的對(duì)象之間差別很大。通過(guò)聚類(lèi)，人們能夠識(shí)別密集和稀疏的區(qū)域，發(fā)現(xiàn)全局的分布模式以

2、及數(shù)據(jù)屬性之間有趣的相互關(guān)系。 計(jì)算智能通過(guò)建立聚類(lèi)分析模型和計(jì)算用于聚類(lèi)分析。基于計(jì)算智能的聚類(lèi)分析模型會(huì)繼承生物系統(tǒng)的處理機(jī)制和特征，即對(duì)模型有自然的描述能力，并不需要建立精確的數(shù)學(xué)模型；對(duì)處理目標(biāo)的特性有良好的適應(yīng)能力；具有良好的自組織特征；處理結(jié)果的可視化效果好，便于理解學(xué)習(xí)；具有一定的智能特征，從而獲得了一定智能行為的能力；生物系統(tǒng)的多變性和多樣性，也帶來(lái)了處理目標(biāo)的多樣性；生物系統(tǒng)是大自然的一種客觀存在，便于觀察和分

3、析，因此具有良好的開(kāi)放性。 計(jì)算智能領(lǐng)域非常廣泛，從方法上講，目前計(jì)算智能主要包括模糊控制、神經(jīng)網(wǎng)絡(luò)、進(jìn)化計(jì)算、群體智能、免疫算法、人工生命和DNA計(jì)算等。論文以自組織特征映射(SOM)神經(jīng)網(wǎng)絡(luò)和群體智能兩種計(jì)算智能技術(shù)用于聚類(lèi)分析作為研究主線，開(kāi)展研究，提出了動(dòng)態(tài)SOM(DSOM)聚類(lèi)分析模型和自組織混合蟻群(SOMAC)聚類(lèi)分析模型，對(duì)兩種模型基于數(shù)據(jù)并行和消息傳遞模式進(jìn)行并行化研究，提出了DSOM并行聚類(lèi)算法和SOMAC并

4、行聚類(lèi)算法，最后將DSOM聚類(lèi)分析模型及其并行化策略用于客戶(hù)分類(lèi)，將SOMAC聚類(lèi)分析模型及其并行化策略用于入侵檢測(cè)，并通過(guò)試驗(yàn)，驗(yàn)證了論文每部分研究工作的有效性和可行性?，F(xiàn)將論文的主要研究?jī)?nèi)容概括如下： 1)對(duì)論文的理論基礎(chǔ)進(jìn)行介紹和綜述。主要包括計(jì)算智能技術(shù)、群體智能技術(shù)、聚類(lèi)技術(shù)的介紹以及研究現(xiàn)狀綜述。 2)基于神經(jīng)網(wǎng)絡(luò)的聚類(lèi)分析模型研究。為了克服固定結(jié)構(gòu)SOM網(wǎng)絡(luò)進(jìn)行聚類(lèi)分析的困難，論文借鑒GSOM網(wǎng)絡(luò)訓(xùn)練算法的

5、思想，提出了DSOM網(wǎng)絡(luò)聚類(lèi)分析模型。DSOM可按需要方便地在任意合適位置生成新結(jié)點(diǎn)，所采用的節(jié)點(diǎn)生長(zhǎng)函數(shù)也更加簡(jiǎn)單實(shí)用，使得聚類(lèi)的執(zhí)行效率明顯提高；DSOM結(jié)合了小波聚類(lèi)的思想，降低了因反復(fù)調(diào)整學(xué)習(xí)率和誤差率所花費(fèi)的時(shí)間，又自動(dòng)去除了特征空間中的噪聲數(shù)據(jù)，提高了聚類(lèi)結(jié)果的精度；在DSOM的基礎(chǔ)上，利用生長(zhǎng)因子控制DSOM的網(wǎng)絡(luò)生長(zhǎng)結(jié)構(gòu)，從而實(shí)現(xiàn)了層次化聚類(lèi)。通過(guò)最后的試驗(yàn)結(jié)果及分析，DSOM網(wǎng)絡(luò)在生長(zhǎng)因子SF控制下，進(jìn)行聚類(lèi)分析時(shí)，需

6、要的訓(xùn)練次數(shù)、訓(xùn)練時(shí)間以及產(chǎn)生的冗余節(jié)點(diǎn)都要少于GSOM網(wǎng)絡(luò)，而發(fā)現(xiàn)有效聚類(lèi)的能力以及聚類(lèi)的精確性要優(yōu)于GSOM網(wǎng)絡(luò)，從而驗(yàn)證了DSOM網(wǎng)絡(luò)在進(jìn)行聚類(lèi)分析時(shí)的有效性。 3)基于群體智能的聚類(lèi)分析模型研究。群體智能聚類(lèi)模型存在兩個(gè)主要問(wèn)題，一是蟻群聚類(lèi)算法的收斂速度慢；另外就是蟻群聚類(lèi)算法在聚類(lèi)過(guò)程中，有一些被稱(chēng)作孤立點(diǎn)的對(duì)象與其它對(duì)象均不相似，螞蟻拾起它們后，很難盡快放下，這不僅影響算法的收斂速度，更影響了最終聚類(lèi)結(jié)果的精確度。

7、為了克服這些缺陷，論文提出了自組織混合蟻群(SOMAC)聚類(lèi)分析模型。SOMAC簡(jiǎn)化了LF聚類(lèi)模型中的概率轉(zhuǎn)換函數(shù)，并增加了小波變換階段，從而提高了蟻群聚類(lèi)算法的收斂速度和聚類(lèi)精確性。在SOMAC模型的基礎(chǔ)上論文又提出了一種適合于高維聚類(lèi)分析的框架，并對(duì)此框架進(jìn)行推廣，提出了更具普遍性的高維聚類(lèi)通用框架。 4)基于計(jì)算智能的聚類(lèi)分析模型并行化研究。并行化是一種有效提高算法執(zhí)行效率和算法可伸縮性的途徑，特別是面對(duì)大規(guī)模數(shù)據(jù)分析等計(jì)

8、算任務(wù)較重的應(yīng)用。論文在DSOM和SOMAC兩種聚類(lèi)分析模型的基礎(chǔ)上，結(jié)合基于DSOM的聚類(lèi)分析模型和SOMAC聚類(lèi)分析模型自身的特征，分別提出了DSOM和SOMAC聚類(lèi)分析模型的并行化策略，進(jìn)一步提高了兩種聚類(lèi)分析模型的執(zhí)行效率和可伸縮性，以滿(mǎn)足大規(guī)模數(shù)據(jù)分析應(yīng)用的要求。 5)DSOM聚類(lèi)分析在客戶(hù)分類(lèi)中的應(yīng)用?？蛻?hù)分類(lèi)是企業(yè)了解客戶(hù)的重要手段。它基于企業(yè)對(duì)客戶(hù)價(jià)值的認(rèn)知，將客戶(hù)劃分為不同的重要類(lèi)別，并以此制定客戶(hù)的差別化服務(wù)

9、政策，通過(guò)政策的實(shí)施將客戶(hù)分類(lèi)的結(jié)果作用于企業(yè)實(shí)踐。本論文用客戶(hù)的RFM(近度、頻度和值度)行為作為對(duì)客戶(hù)忠誠(chéng)度、客戶(hù)規(guī)模以及客戶(hù)信用的模擬衡量，提出了基于DSOM和RFM評(píng)價(jià)指標(biāo)的客戶(hù)分類(lèi)算法，同時(shí)給出了客戶(hù)簇的標(biāo)識(shí)方法以及客戶(hù)類(lèi)型的確定方法。通過(guò)模擬運(yùn)行結(jié)果及分析，證明DSOM聚類(lèi)分析模型與RFM評(píng)價(jià)指標(biāo)體系結(jié)合可以有效的進(jìn)行CRM(客戶(hù)關(guān)系管理)中的客戶(hù)分類(lèi)，分類(lèi)效果良好。通過(guò)生長(zhǎng)因子SF的控制，不但可以發(fā)現(xiàn)已經(jīng)定義的客戶(hù)分類(lèi)，而

10、且可以針對(duì)企業(yè)感興趣的客戶(hù)簇進(jìn)行更為精細(xì)的客戶(hù)分類(lèi)，并且能夠發(fā)現(xiàn)更多客戶(hù)類(lèi)型。 6)SOMAC聚類(lèi)分析模型在入侵檢測(cè)中的應(yīng)用。基于入侵檢測(cè)系統(tǒng)的復(fù)雜自然系統(tǒng)設(shè)計(jì)原則和異常檢測(cè)的思想，論文提出了基于SOMAC聚類(lèi)分析模型的異常檢測(cè)方法。通過(guò)試驗(yàn)，基于SOMAC的異常檢測(cè)算法，在漸近學(xué)習(xí)模型下，可以有效的檢測(cè)出各種類(lèi)型的異常數(shù)據(jù)，同時(shí)獲得了較低的誤報(bào)率。雖然SOMAC聚類(lèi)分析模型直接用于入侵?jǐn)?shù)據(jù)集的異常檢測(cè)可以減少建立檢測(cè)分類(lèi)器所需