基于熵聚類的RBF神經(jīng)網(wǎng)絡(luò)訓練算法研究.pdf

1、信息熵是信息量的度量，利用數(shù)據(jù)樣本的信息熵可揭示系統(tǒng)的某些內(nèi)在特性。對于數(shù)據(jù)聚類，信息熵具有其應(yīng)用價值。以樣本聚類為基礎(chǔ)的徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡(luò)是一種結(jié)構(gòu)簡單、訓練簡潔、應(yīng)用廣泛的人工神經(jīng)網(wǎng)絡(luò)。其網(wǎng)絡(luò)性能好壞的關(guān)鍵在于基函數(shù)中心的選擇。中心的數(shù)量即隱層節(jié)點數(shù)選的太多，容易導致過擬合，使得推廣能力下降；中心數(shù)選得太少，所學習的網(wǎng)絡(luò)樣本中包含的信息得不到充分的學習，也會使得推廣能力下降。近年來，已經(jīng)發(fā)展了很多種基于各種聚類算法的中心選

2、擇方法。這些方法對于一些輸入樣本數(shù)及聚類模式數(shù)給定的模式識別問題比較適用，但這些算法都是以迭代方式達到目標函數(shù)的收斂，容易陷入極小點，因此算法對初值非常的敏感[1]，而且要求預(yù)先給定全部輸入樣本及其聚類中心的數(shù)目，這對某些問題是無法實現(xiàn)的。
　　本文將信息論中的熵應(yīng)用于RBF網(wǎng)絡(luò)的訓練算法中，研究結(jié)果表明，利用熵聚類方法，是有效解決上述問題的途徑之一。本文工作的主要內(nèi)容闡述如下：
　?、賹较蚧?RBF)神經(jīng)網(wǎng)絡(luò)及其主要訓練

3、算法、信息熵等相關(guān)基本理論進行了介紹。
　?、卺槍BF訓練算法中很難確定徑向基函數(shù)中心的問題，采用信息論中的熵的思想，給出了一種熵聚類算法，用于對RBF中心位置的初始化。借助于Matlab平臺，利用該方法對函數(shù)進行逼近。最后實驗表明，改進的方法比經(jīng)典的K-均值聚類法所得到的逼近效果要好，而且訓練速度更快。
　?、鄯汉W(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)的一般化推廣。本文將熵聚類算法應(yīng)用到泛函網(wǎng)絡(luò)中，提出了一種可用于函數(shù)逼近的可分離泛函網(wǎng)絡(luò)的方法