簡(jiǎn)介《強(qiáng)化學(xué)習(xí)的數(shù)學(xué)原理》是西湖大學(xué)趙世鈺教授撰寫(xiě)的英文專(zhuān)著面向具備一定數(shù)學(xué)基礎(chǔ)、希望從底層原理理解強(qiáng)化學(xué)習(xí)的學(xué)習(xí)者與研究者。全書(shū)從零出發(fā)結(jié)合大量例子循序漸進(jìn)地揭示強(qiáng)化學(xué)習(xí)本質(zhì)章節(jié)涵蓋基礎(chǔ)概念、狀態(tài)值與貝爾曼方程、最優(yōu)狀態(tài)值與貝爾曼最優(yōu)方程、值迭代與策略迭代、蒙特卡洛方法、隨機(jī)近似、時(shí)間差分方法、值函數(shù)近似、策略梯度方法及演員-評(píng)論家方法附錄還討論序列收斂性。資源包為1個(gè)PDF文件約18.9MB內(nèi)容完整、目錄清晰便于按章節(jié)系統(tǒng)研讀。目前已有843人學(xué)習(xí)下載。通過(guò)閱讀讀者可掌握網(wǎng)格世界、狀態(tài)轉(zhuǎn)移、策略、獎(jiǎng)勵(lì)、軌跡與回報(bào)、馬爾可夫決策過(guò)程等核心概念理解貝爾曼方程的矩陣向量形式、閉式解與迭代解并進(jìn)一步把握從狀態(tài)值到動(dòng)作值、從策略評(píng)估到策略?xún)?yōu)化的數(shù)學(xué)脈絡(luò)為算法設(shè)計(jì)與分析打下堅(jiān)實(shí)基礎(chǔ)。1. 從翻車(chē)到通透為什么我建議你死磕這本《強(qiáng)化學(xué)習(xí)的數(shù)學(xué)原理》很多人學(xué)強(qiáng)化學(xué)習(xí)是從跑通 Stable-Baselines3 的 PPO 開(kāi)始的我也不例外。但真到了要改 reward 函數(shù)、調(diào) entropy 系數(shù)、或者解釋為什么 Q-learning 在某個(gè)環(huán)境里死活不收斂的時(shí)候那種“知其然不知其所以然”的無(wú)力感就來(lái)了。如果你也卡在這個(gè)階段手里這本《強(qiáng)化學(xué)習(xí)的數(shù)學(xué)原理》就是那個(gè)能幫你把地基重新打一遍的東西。它不是教你調(diào)包的速查手冊(cè)而是一本從數(shù)學(xué)角度、用網(wǎng)格世界這一個(gè)例子貫穿始終把貝爾曼方程、值迭代、策略梯度這些概念一層層剝開(kāi)的英文專(zhuān)著。全書(shū)十章加四個(gè)附錄從基本概念一路推到 Actor-Critic適合已經(jīng)會(huì)跑代碼但想搞懂“為什么這么設(shè)計(jì)”的從業(yè)者也適合被數(shù)學(xué)符號(hào)勸退過(guò)、想找一本能真正讀進(jìn)去的教材的讀者。2. 網(wǎng)格世界與 MDP把強(qiáng)化學(xué)習(xí)塞進(jìn)一個(gè) 5x5 的格子里2.1 為什么選網(wǎng)格世界作為貫穿全書(shū)的例子這本書(shū)最聰明的地方是它沒(méi)有一上來(lái)就甩公式而是先給你一個(gè)網(wǎng)格世界。一個(gè) 5x5 的格子智能體從起點(diǎn)出發(fā)目標(biāo)是走到終點(diǎn)每走一步有獎(jiǎng)勵(lì)或懲罰。就這么個(gè)簡(jiǎn)單到可以用手算的東西把狀態(tài)、動(dòng)作、狀態(tài)轉(zhuǎn)移、策略、獎(jiǎng)勵(lì)、軌跡、回報(bào)、episode 這些概念全串起來(lái)了。我一開(kāi)始覺(jué)得這太小兒科但讀到后面才發(fā)現(xiàn)貝爾曼方程、值迭代、蒙特卡洛、時(shí)間差分所有算法在這個(gè)網(wǎng)格世界上都能用同一套數(shù)據(jù)跑出結(jié)果對(duì)比起來(lái)極其直觀。這種“一個(gè)例子吃透全書(shū)”的寫(xiě)法比那些每章?lián)Q一個(gè)環(huán)境的教材友好太多。2.2 狀態(tài)轉(zhuǎn)移與策略的數(shù)學(xué)表達(dá)在網(wǎng)格世界里狀態(tài)就是格子的坐標(biāo)動(dòng)作就是上下左右。狀態(tài)轉(zhuǎn)移概率 p(s|s,a) 描述的是在狀態(tài) s 執(zhí)行動(dòng)作 a 后跳到 s 的概率。這本書(shū)沒(méi)有回避數(shù)學(xué)但它的處理方式很克制先給直覺(jué)再給公式最后用網(wǎng)格世界的具體數(shù)字算一遍。策略 π(a|s) 是一個(gè)概率分布表示在狀態(tài) s 下選動(dòng)作 a 的概率。確定性策略是它的特例。我一般會(huì)建議讀者在這里停下來(lái)自己用 Python 寫(xiě)一個(gè) 5x5 的網(wǎng)格手動(dòng)定義轉(zhuǎn)移和獎(jiǎng)勵(lì)然后隨機(jī)采樣幾條軌跡感受一下“策略決定軌跡分布”這件事。代碼不用復(fù)雜二十行就夠import numpy as np # 5x5 網(wǎng)格狀態(tài)編號(hào) 0-24動(dòng)作 0上,1下,2左,3右 n_states, n_actions 25, 4 P np.zeros((n_states, n_actions, n_states)) R np.zeros((n_states, n_actions)) for s in range(n_states): row, col divmod(s, 5) for a in range(n_actions): if a 0: nr, nc max(row-1, 0), col elif a 1: nr, nc min(row1, 4), col elif a 2: nr, nc row, max(col-1, 0) else: nr, nc row, min(col1, 4) ns nr * 5 nc P[s, a, ns] 1.0 # 確定性轉(zhuǎn)移 R[s, a] -1.0 if ns ! 24 else 0.0 # 每步 -1終點(diǎn) 0 # 均勻隨機(jī)策略 pi np.ones((n_states, n_actions)) / n_actions # 采樣一條軌跡 s, traj 0, [] for _ in range(20): a np.random.choice(n_actions, ppi[s]) traj.append((s, a, R[s, a])) s np.random.choice(n_states, pP[s, a]) if s 24: break print(traj)這段代碼里 P 是轉(zhuǎn)移張量R 是即時(shí)獎(jiǎng)勵(lì)pi 是策略。跑一遍就能看到軌跡長(zhǎng)什么樣回報(bào)怎么累加。參數(shù)上唯一需要注意的是轉(zhuǎn)移的確定性——這里為了簡(jiǎn)單設(shè)成了 1.0實(shí)際環(huán)境里可能是概率分布改 P[s,a,ns] 的值就行。2.3 回報(bào)、折扣因子與 episode 的邊界回報(bào) G_t 是從 t 時(shí)刻開(kāi)始的累計(jì)折扣獎(jiǎng)勵(lì)折扣因子 γ 控制智能體有多“短視”。這本書(shū)用了一個(gè)動(dòng)機(jī)示例來(lái)說(shuō)明為什么需要折扣如果任務(wù)沒(méi)有終止?fàn)顟B(tài)不折扣的回報(bào)可能發(fā)散。episode 則是一次完整的交互過(guò)程從初始狀態(tài)到終止?fàn)顟B(tài)。網(wǎng)格世界里 episode 就是走到終點(diǎn)或撞墻。我見(jiàn)過(guò)不少人在實(shí)際項(xiàng)目里把 γ 設(shè)成 0.99 卻說(shuō)不清為什么這本書(shū)第二章會(huì)告訴你γ 不僅影響數(shù)值穩(wěn)定性還決定了最優(yōu)策略的形狀——γ 越小策略越傾向于就近拿獎(jiǎng)勵(lì)。這個(gè)結(jié)論在后面的最優(yōu)策略影響因素一節(jié)里還會(huì)展開(kāi)。3. 貝爾曼方程與值迭代從閉式解到收斂性證明3.1 狀態(tài)值與貝爾曼方程的矩陣形式狀態(tài)值 v_π(s) 是從 s 出發(fā)、遵循策略 π 的期望回報(bào)。貝爾曼方程把它寫(xiě)成遞歸形式v_π(s) Σ_a π(a|s) Σ_{s,r} p(s,r|s,a)[r γ v_π(s)]。這本書(shū)的第二章花了大量篇幅推導(dǎo)這個(gè)方程然后給出矩陣-向量形式 v r_π γ P_π v。這個(gè)形式的好處是閉式解直接就是 v (I - γ P_π)^{-1} r_π。我第一次看到這個(gè)式子的時(shí)候有點(diǎn)懵后來(lái)用網(wǎng)格世界算了一遍才明白P_π 是策略誘導(dǎo)的轉(zhuǎn)移矩陣r_π 是策略誘導(dǎo)的期望獎(jiǎng)勵(lì)整個(gè)方程就是一個(gè)線(xiàn)性系統(tǒng)。閉式解在狀態(tài)數(shù)少的時(shí)候能用但狀態(tài)一多矩陣求逆就不現(xiàn)實(shí)了所以才有迭代解。3.2 迭代解與收斂條件迭代解就是不斷用貝爾曼方程更新 v_{k1} r_π γ P_π v_k直到 v 變化小于閾值。這本書(shū)證明了當(dāng) γ 1 時(shí)這個(gè)迭代是壓縮映射必然收斂到唯一不動(dòng)點(diǎn)。我一般會(huì)建議讀者自己寫(xiě)一個(gè)循環(huán)驗(yàn)證一下gamma 0.9 v np.zeros(n_states) for k in range(1000): v_new np.zeros(n_states) for s in range(n_states): for a in range(n_actions): v_new[s] pi[s, a] * (R[s, a] gamma * np.dot(P[s, a], v)) if np.max(np.abs(v_new - v)) 1e-6: print(f收斂于第 {k} 次迭代) break v v_new print(v.reshape(5, 5))這里 gamma 是關(guān)鍵參數(shù)越接近 1 收斂越慢。閾值 1e-6 是精度控制實(shí)際項(xiàng)目里可以根據(jù)狀態(tài)值量級(jí)調(diào)整。跑完打印出來(lái)的 5x5 矩陣就是每個(gè)格子的狀態(tài)值能直觀看到離終點(diǎn)越近值越高。3.3 從狀態(tài)值到動(dòng)作值動(dòng)作值 q_π(s,a) 是在狀態(tài) s 執(zhí)行動(dòng)作 a 后再遵循 π 的期望回報(bào)。這本書(shū)從狀態(tài)值自然過(guò)渡到動(dòng)作值并給出貝爾曼方程在動(dòng)作值下的形式。動(dòng)作值的重要性在于它直接告訴你在某個(gè)狀態(tài)下哪個(gè)動(dòng)作更好不需要知道轉(zhuǎn)移概率就能比較。這個(gè)性質(zhì)在后面蒙特卡洛和時(shí)間差分方法里會(huì)被反復(fù)用到。我讀到這里的時(shí)候才真正理解為什么 Q-learning 學(xué)的是 Q 而不是 V——因?yàn)?Q 可以直接指導(dǎo)決策而 V 還需要模型才能選動(dòng)作。4. 避坑與排查讀這本數(shù)學(xué)書(shū)時(shí)最容易翻車(chē)的五個(gè)地方4.1 跳過(guò)第一章直接看算法現(xiàn)象很多人覺(jué)得自己“懂”強(qiáng)化學(xué)習(xí)直接從第四章值迭代開(kāi)始看結(jié)果看到矩陣形式就卡住了。原因第一章的網(wǎng)格世界和 MDP 定義是后面所有符號(hào)的基礎(chǔ)跳過(guò)之后 p(s|s,a)、π(a|s)、v_π(s) 這些記號(hào)的含義全靠猜。解決老老實(shí)實(shí)把第一章的網(wǎng)格世界手算一遍把狀態(tài)轉(zhuǎn)移和回報(bào)的數(shù)值寫(xiě)出來(lái)后面所有公式都能對(duì)應(yīng)上。4.2 把折扣因子當(dāng)成純超參數(shù)現(xiàn)象調(diào)參時(shí)把 γ 從 0.99 改成 0.9發(fā)現(xiàn)策略變得極其短視甚至不往終點(diǎn)走了。原因γ 在數(shù)學(xué)上決定了貝爾曼算子的壓縮程度也決定了最優(yōu)策略的形狀。γ 太小遠(yuǎn)期獎(jiǎng)勵(lì)被壓得幾乎為零智能體只盯著眼前。解決先根據(jù)任務(wù)的時(shí)間尺度估算一個(gè)合理的 γ比如每步獎(jiǎng)勵(lì)量級(jí)和 episode 長(zhǎng)度再在這個(gè)附近微調(diào)不要盲目搜。4.3 混淆 on-policy 和 off-policy 的更新目標(biāo)現(xiàn)象用 Sarsa 的代碼去實(shí)現(xiàn) Q-learning結(jié)果學(xué)出來(lái)的策略和預(yù)期不符。原因Sarsa 用實(shí)際執(zhí)行的動(dòng)作更新Q-learning 用 max 動(dòng)作更新兩者的貝爾曼備份目標(biāo)不同。這本書(shū)第七章專(zhuān)門(mén)用一節(jié)講 off-policy vs on-policy讀的時(shí)候要對(duì)照代碼看更新公式。解決在代碼里把 target 的計(jì)算單獨(dú)拎出來(lái)確認(rèn)用的是 a 還是 argmax Q再跑網(wǎng)格世界驗(yàn)證。4.4 忽略隨機(jī)近似的前提條件現(xiàn)象學(xué)習(xí)率設(shè)成常數(shù)前期收斂很快后期一直在最優(yōu)值附近震蕩。原因第六章的 Robbins-Monro 算法要求學(xué)習(xí)率滿(mǎn)足 Σα ∞ 且 Σα2 ∞常數(shù)學(xué)習(xí)率不滿(mǎn)足第二個(gè)條件。解決用 α_k 1/k 或分段衰減實(shí)際項(xiàng)目里常用線(xiàn)性衰減到一個(gè)小常數(shù)兼顧收斂速度和穩(wěn)定性。4.5 值函數(shù)近似時(shí)直接套用表格方法的直覺(jué)現(xiàn)象用神經(jīng)網(wǎng)絡(luò)近似 Q 值后發(fā)現(xiàn)訓(xùn)練極不穩(wěn)定甚至發(fā)散。原因第八章會(huì)講函數(shù)近似引入了泛化誤差表格方法里的收斂保證不再成立。解決先在小網(wǎng)格上用線(xiàn)性近似跑通確認(rèn)目標(biāo)函數(shù)和更新公式?jīng)]問(wèn)題再換神經(jīng)網(wǎng)絡(luò)同時(shí)加上目標(biāo)網(wǎng)絡(luò)和經(jīng)驗(yàn)回放。5. 從蒙特卡洛到 Actor-Critic一條不用模型也能走通的路5.1 蒙特卡洛方法的無(wú)模型本質(zhì)第五章的蒙特卡洛方法是我認(rèn)為全書(shū)最“解渴”的一章。它從策略迭代出發(fā)把其中需要模型的部分計(jì)算期望替換成采樣平均從而得到無(wú)模型算法。MC Basic 是最簡(jiǎn)單的版本直接用完整 episode 的回報(bào)估計(jì)動(dòng)作值然后做策略改進(jìn)。這本書(shū)用網(wǎng)格世界展示了 MC Basic 如何一步步逼近最優(yōu)策略但同時(shí)也指出它的樣本效率極低。MC Exploring Starts 和 MC ε-Greedy 分別從“更高效利用樣本”和“去掉探索起點(diǎn)假設(shè)”兩個(gè)方向改進(jìn)。我讀這一章的時(shí)候最大的收獲是無(wú)模型不是魔法它只是把期望換成了樣本均值代價(jià)是方差。5.2 時(shí)間差分與自舉第七章的時(shí)間差分方法把蒙特卡洛的采樣和動(dòng)態(tài)規(guī)劃的自舉結(jié)合起來(lái)了。TD 用 r γ v(s) 作為目標(biāo)而不是等 episode 結(jié)束再用完整回報(bào)。這本書(shū)詳細(xì)分析了 TD 的收斂性并給出了 Sarsa、n-step Sarsa、Q-learning 的統(tǒng)一視角。我一般會(huì)建議讀者在這里對(duì)比三個(gè)算法的更新公式Sarsa 用實(shí)際動(dòng)作Q-learning 用 max 動(dòng)作n-step Sarsa 介于兩者之間。在網(wǎng)格世界上跑一遍觀察 Q 值的變化軌跡比看十遍公式都管用。5.3 策略梯度與 Actor-Critic 的銜接第九章的策略梯度方法把策略參數(shù)化直接對(duì)目標(biāo)函數(shù)求梯度。這本書(shū)從度量定義出發(fā)推導(dǎo)了折扣和未折扣情況下的梯度然后給出 REINFORCE 算法。第十章在此基礎(chǔ)上引入值函數(shù)作為基線(xiàn)得到 Actor-Critic。A2C、off-policy actor-critic、確定性策略梯度這些在實(shí)際項(xiàng)目里常見(jiàn)的算法在這本書(shū)里都有清晰的數(shù)學(xué)推導(dǎo)。我讀到這里才真正理解為什么 A2C 里 advantage 要用 Q - V而不是直接用 Q——因?yàn)榛€(xiàn)不變性保證了梯度期望不變但方差更小。5.4 附錄的收斂性證明怎么讀附錄 C 的序列收斂性對(duì)理解隨機(jī)近似和時(shí)間差分的收斂至關(guān)重要。這本書(shū)把確定性序列和隨機(jī)序列的收斂分開(kāi)講Dvoretzky 定理和 Robbins-Monro 定理的證明都在這里。我一開(kāi)始跳過(guò)附錄直接看正文結(jié)果第七章的收斂分析看得云里霧里。后來(lái)回頭補(bǔ)了附錄 C才發(fā)現(xiàn)正文里很多“可以證明”的地方證明過(guò)程都在附錄里。建議讀第七章之前先把附錄 C 的前兩節(jié)過(guò)一遍不需要完全吃透但至少知道隨機(jī)序列收斂的條件長(zhǎng)什么樣。6. 把這本書(shū)用起來(lái)我的三遍閱讀法和一個(gè)驗(yàn)證習(xí)慣這本書(shū)我讀了三遍每一遍的方法都不一樣。第一遍是通讀不糾結(jié)證明重點(diǎn)看每章的動(dòng)機(jī)示例和網(wǎng)格世界的結(jié)果把十章的邏輯鏈串起來(lái)基本概念 → 貝爾曼方程 → 最優(yōu)貝爾曼方程 → 值迭代/策略迭代 → 蒙特卡洛 → 隨機(jī)近似 → 時(shí)間差分 → 值函數(shù)近似 → 策略梯度 → Actor-Critic。第二遍是動(dòng)手每讀一個(gè)算法就在網(wǎng)格世界上用 Python 實(shí)現(xiàn)一遍不調(diào)庫(kù)純手寫(xiě)。第三遍是補(bǔ)數(shù)學(xué)把附錄 C 和每章灰色框里的證明挑出來(lái)看重點(diǎn)搞懂壓縮映射、隨機(jī)逼近、梯度推導(dǎo)這三塊。我一般會(huì)建議讀者在讀完第四章之后自己做一個(gè)對(duì)比實(shí)驗(yàn)用值迭代、策略迭代、截?cái)嗖呗缘N方法解同一個(gè)網(wǎng)格世界記錄收斂所需的迭代次數(shù)和最終策略。這個(gè)實(shí)驗(yàn)?zāi)茏屇阒庇^感受到三種算法的差異——值迭代每輪只更新一次值函數(shù)策略迭代每輪要把值函數(shù)算到收斂截?cái)嗖呗缘鷦t在兩者之間取一個(gè)截?cái)嗖綌?shù)。參數(shù)上唯一要調(diào)的是截?cái)嗖綌?shù)設(shè)成 1 就退化成值迭代設(shè)成無(wú)窮大就是策略迭代。還有一個(gè)習(xí)慣我堅(jiān)持了很久每學(xué)完一個(gè)算法就把它和前面學(xué)過(guò)的算法放在同一個(gè)網(wǎng)格世界上跑用同一套初始值和參數(shù)對(duì)比 Q 值或策略的差異。比如學(xué)完 Q-learning 之后把它和 Sarsa 放在一起跑觀察 on-policy 和 off-policy 在探索策略不同時(shí)的表現(xiàn)差異。這種對(duì)比比單獨(dú)看公式有效得多因?yàn)椴町悤?huì)直接體現(xiàn)在數(shù)值上。從那以后我每次讀新的強(qiáng)化學(xué)習(xí)算法都強(qiáng)制自己先在網(wǎng)格世界上手寫(xiě)一遍再去看庫(kù)里的實(shí)現(xiàn)。這個(gè)習(xí)慣幫我避開(kāi)了很多“看起來(lái)懂了但一寫(xiě)就錯(cuò)”的坑。希望這本《強(qiáng)化學(xué)習(xí)的數(shù)學(xué)原理》也能幫你把地基打牢后面不管換什么算法、什么框架都能一眼看穿它的數(shù)學(xué)骨架。本文還有配套的精品資源點(diǎn)擊獲取