基于加速推斷策略的深度學(xué)習(xí)算法.pdf

1、機(jī)器學(xué)習(xí)是人工智能領(lǐng)域的一個(gè)重要學(xué)科。近年來，深度學(xué)習(xí)作為一類新興的多層神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)算法緩解了傳統(tǒng)訓(xùn)練算法容易陷入局部最小值的問題，成為機(jī)器學(xué)習(xí)領(lǐng)域的熱門方向。
　　深度波茲曼機(jī)(Deep Boltzmann Machine, DBM)是一種基于能量概率的深度學(xué)習(xí)模型，在預(yù)訓(xùn)練階段整合由上而下的反饋加入到自底向上的推斷過程中，使得DBM能更好地學(xué)習(xí)不確定性的模糊輸入數(shù)據(jù)，建立較好的數(shù)據(jù)模型。由于DBM依賴數(shù)據(jù)的期望，采用均值方

2、法近似推斷得到，使其計(jì)算非常耗時(shí)，算法效率有待提升。本文提出了一種有效的學(xué)習(xí)算法，能快速的得到深度波茲曼機(jī)依賴數(shù)據(jù)的期望，采用逐層加速推斷策略，計(jì)算所有隱藏層的均值，代替深度波茲曼機(jī)中通過不斷地迭代均值定點(diǎn)方程直到均值收斂。通過利用逐層加速推斷策略的優(yōu)點(diǎn)，在迭代很少次數(shù)的情況下得到近似的均值。采用逐層推斷策略可以有效地處理多維度高模糊性的數(shù)據(jù)，學(xué)習(xí)并生成有效的模型。
　　本文提出的LAI DBM算法在給定的學(xué)習(xí)任務(wù)中，比深度波茲曼