RoboCup 仿真比賽提供了一個完全分布式控制、實時異步多智能體的環(huán)境，通過這個平臺，可以測試各種理論、算法和 A－ gent 體系結(jié)構(gòu)，在實時異步、有噪聲的對抗環(huán)境下，研究多智能體之間的合作和對抗問題。仿真比賽在一個標準的計算機環(huán)境內(nèi)進行，采用 Client/Server 方式，參賽隊伍編寫各自的客戶端程序，模擬實際足球隊員進行比賽。在 RoboCup 足球機器人仿真中使用強化學(xué)習(xí)算法必須克服幾個問題，如：多維連續(xù)的狀態(tài)空間、噪聲的影響、多智能體以及需要實時的動作。在過去的一段時間內(nèi)，機器學(xué)習(xí)已經(jīng)被應(yīng)用在 RoboCup 的許多的子任務(wù)中。本文提出了將 SARSA 算法應(yīng)用在多智能體（4V3）的帶球的任務(wù)中，經(jīng)過一段時間的學(xué)習(xí)之后， 取得了理想的效果。

　　強化學(xué)習(xí)也叫激勵學(xué)習(xí)、評價學(xué)習(xí)，它是智能體不斷的試探和學(xué)習(xí)的過程，通過這種試探來使系統(tǒng)行為從環(huán)境中獲得的累積獎賞值最大。其基本的模型如圖 1 所示。在強化學(xué)習(xí)中，設(shè)計算法的原則就是把外界環(huán)境轉(zhuǎn)化為最大獎勵量的方式的動作。智能體并沒有被告訴要做什么或者采取哪個動作，而是通過看哪個動作得到了最多的獎勵來自己發(fā)現(xiàn)。智能體的動作的影響不只是立即得到的獎勵，而且還影響接下來的動作和最終的獎勵。在強化學(xué)習(xí)中，環(huán)境處于狀態(tài)集合 S 中的某一狀態(tài) s，Agent 選擇動作集合 A 中的一個動作 a， 動作 a 作用于環(huán)境后會接收到一個即時獎賞 r，若 r 大于 0，則智能體以后產(chǎn)生這個動作的趨勢就會加強;反之，智能體產(chǎn)生這個動作的趨勢就會減弱。在學(xué)習(xí)系統(tǒng)的控制行為與環(huán)境反饋的狀態(tài)及評價的反復(fù)的相互作用中，以學(xué)習(xí)的方式不斷修改從狀態(tài)到動作的映射策略，以達到優(yōu)化系統(tǒng)性能目的。