（節(jié)選）外文翻譯--基于fpga具有學(xué)習(xí)能力的同時擾動脈沖密度神經(jīng)網(wǎng)絡(luò)（譯文）

1、中文 中文 4080 字出處： 出處：Maeda Y, Tada T. FPGA implementation of a pulse density neural network with learning ability using simultaneous perturbation[J]. IEEE Transactions on Neural Networks, 2003, 14(3):688-695.基于 基于 FPGA FPG

2、A 具有學(xué)習(xí)能力的同時擾動脈沖密度神經(jīng)網(wǎng)絡(luò) 具有學(xué)習(xí)能力的同時擾動脈沖密度神經(jīng)網(wǎng)絡(luò)Yutaka Maeda and Toshiki Tada摘要 摘要：當(dāng)考慮到神經(jīng)網(wǎng)絡(luò)更廣泛的使用時，硬件實現(xiàn)是非常重要的。特別地，伴隨學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)的硬件實現(xiàn)是吸引人的。在這些網(wǎng)絡(luò)中，由于反向傳播的方法被廣泛使用，學(xué)習(xí)計劃是很有趣的。在電子系統(tǒng)中漸變類型的學(xué)習(xí)規(guī)則不容易實現(xiàn)的，因為網(wǎng)絡(luò)中所有的權(quán)重的梯度計算非常困難。同時擾動方法是更適用，因為學(xué)習(xí)規(guī)則

3、只需要網(wǎng)絡(luò)的前向操作來修改權(quán)重而不像反向傳播方法。另外，脈沖密度神經(jīng)網(wǎng)絡(luò)有一些有前途的屬性，它們在噪聲情況下具有魯棒性，并可以處理模擬量的基礎(chǔ)上的數(shù)字電路。在本文中，我們描述了一個現(xiàn)場可編程門陣列實現(xiàn)的使用同時擾動方法作為學(xué)習(xí)計劃的脈沖密度神經(jīng)網(wǎng)絡(luò)。我們通過一些例子確認(rèn)神經(jīng)網(wǎng)絡(luò)設(shè)計和操作的實際可行性。關(guān)鍵詞 關(guān)鍵詞 - 現(xiàn)場可編程門陣列（FPGA） ，學(xué)習(xí)能力，神經(jīng)網(wǎng)絡(luò)（NNS） ，脈沖密度，同時擾動一、引言神經(jīng)網(wǎng)絡(luò)（NNS）被廣泛的應(yīng)

4、用，其中神經(jīng)網(wǎng)絡(luò)通常在普通數(shù)字計算機(jī)上被用作軟件程序。但是，軟件不能利用神經(jīng)網(wǎng)絡(luò)具有生物特性的價值。在這方面，利用硬件元件比如超大規(guī)模集成（VLSI）來使用神經(jīng)網(wǎng)絡(luò)是更好的。在考慮硬件實現(xiàn)神經(jīng)網(wǎng)絡(luò)時，硬件系統(tǒng)的學(xué)習(xí)機(jī)制的實現(xiàn)是一個重要而困難的問題[1]。正如我們所知道的，反向傳播方法是常用的。然而，要實現(xiàn)電子系統(tǒng)的反向傳播方法是非常困難的，考慮對所有權(quán)重修改量的布線，S 形函數(shù)的導(dǎo)數(shù)計算等。因此，通過梯度方法實現(xiàn)具有學(xué)習(xí)能力的大規(guī)模神經(jīng)

5、網(wǎng)絡(luò)是非常困難的，因為梯度的驅(qū)動機(jī)制是復(fù)雜的。從這個角度來看，我們必須設(shè)法找到一個容易實現(xiàn)的學(xué)習(xí)規(guī)則。同時擾動法是由 Spall[2] [3]， Alespector[4]和 Cauwenberghs [5]等人提出的。Maeda 也獨立提出了具有同時擾動的神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則并發(fā)表了該規(guī)則實際應(yīng)用的可行性[6-8]。同時，學(xué)習(xí)規(guī)則的優(yōu)點在于它可以在 VLSI 中實現(xiàn)模擬神經(jīng)網(wǎng)絡(luò) [9][10]。同時擾動優(yōu)化法的優(yōu)點是方法簡單。該方法可以

6、僅使用誤差函數(shù)的值估算出梯度。因此，相比其它的學(xué)習(xí)規(guī)則來講，這種學(xué)習(xí)規(guī)則的應(yīng)用是比較容易立的。這意味著一個不同的符號被用于不同的權(quán)重。表示成其中 E 表示期望。誤差函數(shù) 由神經(jīng)網(wǎng)絡(luò)的輸出 o 和一個相應(yīng)的教學(xué)標(biāo)志 d 定義，表示如 𝐽(𝜔)下：通常情況下，該誤差函數(shù)定義成一個平方誤差。但是，我們?yōu)楹喕娐范褂媒^對誤差。在這個學(xué)習(xí)規(guī)則中，網(wǎng)絡(luò)中所有權(quán)重值的修改是由誤差函數(shù)的兩個值𝐽(

7、20596;)和 計算所得。網(wǎng)絡(luò)的兩個前向操作給 - 。將這個量乘以 𝐽(𝜔 + 𝑐𝑠) 𝐽(𝜔 + 𝑐𝑠) 𝐽(𝜔)（2）。這個量是對于 的一個估計的誤差函數(shù)的梯度。重復(fù)此為 𝑠𝑖𝑐 ωii=1，…,n，我們更新所有的權(quán)重。當(dāng)我

8、們在 點展開誤差 ，存在 ，使得 ωt 𝐽（𝜔𝑡 + 𝑐𝑠𝑡） ωs1因此， （2）變成我們采取上述數(shù)量的期望。從條件的符號向量 （3），我們得到 𝑠𝑡也就是說， 接近 。由于（2）的右手側(cè)是第一個差值系 Δωit а𝐽𝑝（𝜔𝑡） а⼛

9、6;𝑡數(shù)的估計值，所以學(xué)習(xí)規(guī)則是一種隨機(jī)梯度法[8] [9]。（3） 𝐸(𝑠𝑖𝑡) = 0, 𝐸(𝑠𝑖𝑡𝑠𝑗𝑡) = 0(𝑖 ≠ 𝑗)（4） J（ω） = |o ? d|（5） 𝐽(⼛

10、6;𝑡 + 𝑐𝑠𝑡) = 𝐽(𝜔𝑡) + 𝑐𝑠𝑇𝑡а𝐽(𝜔𝑡)а𝜔 +𝑐22𝑠𝑇𝑡а2𝐽(𝑢(x

11、596;𝑠1))а𝜔2 𝑠𝑡（6）𝛥𝜔𝑖𝑡 = 𝑠𝑖𝑡𝑠𝑇𝑡аJ（𝜔𝑡）а𝜔 +𝑐𝑠𝑖𝑡2 ү