基于改進(jìn)強(qiáng)化學(xué)習(xí)算法的神經(jīng)模糊控制器的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、模糊控制和神經(jīng)網(wǎng)絡(luò)技術(shù)是人工智能系統(tǒng)中兩種重要的理論，雖然它們從屬于兩個(gè)截然不同的學(xué)科領(lǐng)域，其基礎(chǔ)理論也相差較遠(yuǎn)，但是它們都能模擬人的智能行為，從而解決不確定、非線性、復(fù)雜的自動(dòng)化問(wèn)題。神經(jīng)網(wǎng)絡(luò)與模糊推理的融合可以解決各自在信息處理與控制中存在的不足，并通過(guò)互補(bǔ)構(gòu)造出功能更加完善、更加智能化的系統(tǒng)。 神經(jīng)模糊控制系統(tǒng)就是兩個(gè)學(xué)科相互融合的產(chǎn)物，神經(jīng)網(wǎng)絡(luò)的并行處理能力和學(xué)習(xí)能力為智能控制領(lǐng)域注入了新的活力，同時(shí)也提出了新的問(wèn)題。

2、 一方面，在引入了模糊量之后，節(jié)點(diǎn)需要進(jìn)行精確數(shù)值計(jì)算和模糊計(jì)算的轉(zhuǎn)化，使得神經(jīng)元在輸入量和輸出量之間的傳遞函數(shù)變得更加復(fù)雜，對(duì)神經(jīng)模糊控制系統(tǒng)的硬件實(shí)現(xiàn)提出了極大的挑戰(zhàn)。針對(duì)這個(gè)問(wèn)題，本文中提出了一種新型的單向線性響應(yīng)(Unidirectional IAnear Response)神經(jīng)元，通過(guò)ULR單元可將神經(jīng)模糊網(wǎng)絡(luò)中各層神經(jīng)元的不同的傳遞函數(shù)進(jìn)行轉(zhuǎn)化，從而將神經(jīng)模糊控制器中的神經(jīng)元全部轉(zhuǎn)變?yōu)橥环N神經(jīng)元，這樣使神經(jīng)模糊控制器

3、的節(jié)點(diǎn)類型變得單一化，硬件實(shí)現(xiàn)變得相對(duì)簡(jiǎn)單。 另一方面，在神經(jīng)模糊控制中應(yīng)該選用什么樣的學(xué)習(xí)算法呢?傳統(tǒng)反向傳播(Back—propagation)算法適用于各種多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，但是在神經(jīng)模糊控制系統(tǒng)中，由于隸屬函數(shù)中往往存在一些尖點(diǎn)，導(dǎo)致算法中的微分運(yùn)算無(wú)法進(jìn)行，只能采用近似計(jì)算的方法；并且BP算法存在會(huì)使系統(tǒng)陷入局部極小值的問(wèn)題。遺傳算法是一種很好的全局優(yōu)化算法，但是它對(duì)不同的問(wèn)題需要使用相適應(yīng)的變量編碼方案，尤其在參

4、數(shù)較多的情況下，對(duì)參數(shù)進(jìn)行有效的編碼變得極其復(fù)雜。為此，本文提出了一種基于線性搜索LS(Linear Search)的強(qiáng)化學(xué)習(xí)算法，強(qiáng)化學(xué)習(xí)(Reinforcement Learning)是一種無(wú)監(jiān)督學(xué)習(xí)方法，而線性搜索算法是參數(shù)優(yōu)化中常用的一類算法，其中的多種方法都是采用類似于遺傳算法中跳躍式選點(diǎn)的方式，能夠在一定程度上避免陷入局部極小值，并且算法簡(jiǎn)易可行，不需要遺傳算法中那樣復(fù)雜的編碼和規(guī)則。我們將這二者結(jié)合起來(lái)，得到一種復(fù)合的模糊

5、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。 本文將前述單向線性響應(yīng)神經(jīng)元(ULR)和基于線性搜索 (LineaLr Search)算法的強(qiáng)化學(xué)習(xí)算法引入到神經(jīng)模糊控制系統(tǒng)中，設(shè)計(jì)了一個(gè)用于非線性系統(tǒng)的自適應(yīng)多層神經(jīng)模糊控制系統(tǒng)，給出了用ULR單元實(shí)現(xiàn)的該神經(jīng)模糊控制系統(tǒng)的詳細(xì)結(jié)構(gòu)，介紹了基于線性搜索的強(qiáng)化學(xué)習(xí)算法在本系統(tǒng)中的應(yīng)用方法。并通過(guò)將該神經(jīng)模糊控制系統(tǒng)應(yīng)用到倒立振子平衡控制系統(tǒng)中，驗(yàn)證了這種新的復(fù)合學(xué)習(xí)算法的可行性。我們將仿真實(shí)驗(yàn)得到的數(shù)據(jù)，