激活函數(shù)導向的RNN算法優(yōu)化.pdf

1、循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Networks，RNN）是人工神經(jīng)網(wǎng)絡的一個重要分支。它在隱含層引入了反饋機制，實現(xiàn)對序列數(shù)據(jù)的有效處理。循環(huán)神經(jīng)網(wǎng)絡具有存儲和處理上下文信息的強大能力，成為語音識別、自然語言處理、計算機視覺等領域的研究熱點之一。一方面，循環(huán)神經(jīng)網(wǎng)絡普遍采用S型函數(shù)作為激活函數(shù)，而S型函數(shù)的飽和區(qū)限制了RNN訓練收斂速度，因此對激活函數(shù)的優(yōu)化研究成為研究熱點。另一方面，循環(huán)神經(jīng)網(wǎng)絡主要采用軟件實現(xiàn)的方式

2、，算法的硬件加速研究具有重要意義。
　　本文針對上述問題和研究背景，在前人的研究基礎上做了如下工作：循環(huán)神經(jīng)網(wǎng)絡的理論總結(jié)研究。長短時記憶單元((Long Short-Term Memory,LSTM)特有的門結(jié)構(gòu)解決了傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡時間維度的梯度消失問題，成為RNN結(jié)構(gòu)的重要組成部分。分析了LSTM型RNN的訓練過程，包括前向傳播過程和反向傳播過程。在反向傳播過程中，激活函數(shù)及其導數(shù)直接影響網(wǎng)絡訓練的收斂速度。從激活函數(shù)方面著

3、手對循環(huán)神經(jīng)網(wǎng)絡算法進行優(yōu)化。傳統(tǒng)的S型激活函數(shù)存在飽和區(qū)導致收斂速度慢，前人提出的修正線性單元避免了飽和區(qū)梯度消失問題，但是帶來了梯度爆炸問題。利用S型函數(shù)系數(shù)不同，非飽和區(qū)范圍不同，進一步分析了不同系數(shù)之間的訓練收斂速度的大小關系。通過實驗證明了擴展非飽和區(qū)的優(yōu)化方法有效地加快了訓練收斂速度。從激活函數(shù)的硬件實現(xiàn)著手對循環(huán)神經(jīng)網(wǎng)絡算法進行優(yōu)化，激活函數(shù)的硬件實現(xiàn)難度較大，具有更重要的研究意義。優(yōu)化誤差的研究，引入了擬合直線誤差修正項