基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分類(lèi)研究.pdf

1、數(shù)據(jù)分類(lèi)是數(shù)據(jù)挖掘的主要任務(wù)之一，它使用某種分類(lèi)算法以預(yù)先準(zhǔn)備好的訓(xùn)練樣本數(shù)據(jù)為輸入建立分類(lèi)模型，最后利用分類(lèi)模型預(yù)測(cè)元組的分類(lèi)標(biāo)號(hào)。分類(lèi)算法的優(yōu)劣直接影響模型的性能，常用的數(shù)據(jù)分類(lèi)算法包括判定樹(shù)歸納算法、貝葉斯分類(lèi)算法和前饋神經(jīng)網(wǎng)絡(luò)分類(lèi)法。 前饋神經(jīng)網(wǎng)絡(luò)使用誤差反向傳遞算法(簡(jiǎn)稱(chēng)BP算法)進(jìn)行訓(xùn)練樣本學(xué)習(xí)和數(shù)據(jù)分類(lèi)。BP算法首先正向計(jì)算網(wǎng)絡(luò)中各個(gè)神經(jīng)元的激活輸出，如果網(wǎng)絡(luò)最終的輸出不能滿(mǎn)足容許條件，則利用能量函數(shù)反向計(jì)算網(wǎng)絡(luò)中

2、各個(gè)神經(jīng)元結(jié)點(diǎn)產(chǎn)生的誤差，最后利用這些誤差調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的閥值和各神經(jīng)元之間的連接權(quán)值。使用前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)分類(lèi)的最大優(yōu)點(diǎn)在于其分類(lèi)速度較快，然而缺點(diǎn)是BP算法會(huì)因陷入局部最優(yōu)解而導(dǎo)致網(wǎng)絡(luò)的分類(lèi)準(zhǔn)確率下降。本文將結(jié)合數(shù)據(jù)分類(lèi)的屬性編碼機(jī)制和BP算法進(jìn)行自我學(xué)習(xí)的數(shù)學(xué)機(jī)理深入分析局部最優(yōu)解產(chǎn)生的根本原因，并在此基礎(chǔ)上提出BP算法進(jìn)行數(shù)據(jù)分類(lèi)時(shí)的改進(jìn)算法LMDBP算法。LMDBP算法的基本原理是在BP算法每進(jìn)行一次網(wǎng)絡(luò)參數(shù)調(diào)整之前，

3、檢測(cè)網(wǎng)絡(luò)是否有可能進(jìn)入局部最優(yōu)解。如果局部最優(yōu)條件已經(jīng)出現(xiàn)，則只利用可以產(chǎn)生和局部最優(yōu)條件相反條件的樣本進(jìn)行權(quán)值和閥值調(diào)節(jié)。利用MONKS分類(lèi)問(wèn)題的數(shù)據(jù)進(jìn)行測(cè)試表明，LMDBP算法進(jìn)行數(shù)據(jù)分類(lèi)時(shí)可以避免局部最優(yōu)解，從而保證了前饋神經(jīng)網(wǎng)絡(luò)的分類(lèi)準(zhǔn)確率。然而，仍然需要指出的問(wèn)難是不論采用BP算法還是LMDBP算法，都存在進(jìn)入學(xué)習(xí)平滑區(qū)的問(wèn)題，從而導(dǎo)致在有限的學(xué)習(xí)時(shí)間內(nèi)能量函數(shù)值無(wú)法被最小化，這有待于日后的研究加以解決。 小波神經(jīng)網(wǎng)絡(luò)

4、是近些年來(lái)興起的一種新型前饋神經(jīng)網(wǎng)絡(luò)，它將小波元和神經(jīng)元共同作為網(wǎng)絡(luò)的信息處理元件，既利用高維小波分析的相關(guān)理論又保留了前饋神經(jīng)網(wǎng)絡(luò)的自我學(xué)習(xí)特性?；谝延械男〔ㄉ窠?jīng)網(wǎng)絡(luò)學(xué)習(xí)算法框架，本文給出了Gaussian小波神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的詳細(xì)描述，并使用Gaussian小波神經(jīng)網(wǎng)絡(luò)分別對(duì)由離散屬性值和連續(xù)屬性值構(gòu)成的兩類(lèi)不同測(cè)試樣本進(jìn)行了分類(lèi)試驗(yàn)。試驗(yàn)結(jié)果表明，小波神經(jīng)網(wǎng)絡(luò)對(duì)具有連續(xù)屬性值的樣本具有很強(qiáng)的分類(lèi)能力，而對(duì)于由離散屬性值構(gòu)成的樣本