本文針對快速、多變量、強非線性的復雜系統(tǒng)的控制問題，在強化學習方式的基礎上，提出一種新的自適應控制方法。該方法在沒有先驗知識的條件下，基于遞歸神經(jīng)網(wǎng)絡并結(jié)合強化學習的自調(diào)節(jié)能力，通過自身神經(jīng)網(wǎng)絡的在線學習，有效控制不穩(wěn)定的非線性系統(tǒng)。本文以一級倒立擺系統(tǒng)為實驗對象，仿真實驗結(jié)果表明：所提出的控制方法具有非常好的控制效果和穩(wěn)定精度，抗干擾能力強。
隨著智能控制研究的不斷深入，人們通過模擬人的決策過程，將強化學習方式融入控制
策略，用來解決復雜非線性系統(tǒng)的控制問題。強化學習(Reinforcement Learning)是一種試探學習方式，外界沒有明顯的教師信號給出正確的指令，只通過與環(huán)境的交互得到評價信息來學習如何執(zhí)行恰當?shù)膭幼?。近年來，強化學習在算法和應用上已取得了大量的研究成果，如用靜態(tài)神經(jīng)網(wǎng)絡控制倒立擺系統(tǒng)[1,2]、多種動態(tài)規(guī)劃算法的提出[3,4]等。
遞歸神經(jīng)網(wǎng)絡(RNN)由于存在輸出變量到輸入端的反饋，因而其變量中包含時間延時網(wǎng)
絡,是真正的動態(tài)網(wǎng)絡系統(tǒng)，為動態(tài)系統(tǒng)的辨識和控制開辟了一個極有前途的領域。本文在強化學習方式的基礎上,提出一種基于遞歸神經(jīng)網(wǎng)絡的自適應控制方法。該控制方法采用的強化學習學習方式基于“動作網(wǎng)絡/評價網(wǎng)絡”的框架結(jié)構(gòu)。其中，動作網(wǎng)絡部分由BP 神經(jīng)網(wǎng)絡構(gòu)成的，它將系統(tǒng)狀態(tài)量映射為一個可能的實際動作；評價網(wǎng)絡部由遞歸神經(jīng)網(wǎng)絡構(gòu)成的，根據(jù)系統(tǒng)狀態(tài)和系統(tǒng)的控制量來評價系統(tǒng)的運行狀態(tài)，檢驗當前的控制效果，產(chǎn)生“獎勵/懲罰”值作為反饋，以進行自適應學習。通過對一級倒立擺系統(tǒng)的控制實驗仿真研究，驗證了所提控制方法的可行性。