强化学习：从 MDP 到策略梯度的学习路线

学习材料怎样分工

主教材：Sutton 与 Barto 第二版章节地图，配套原创训练册与研究卡片。
辅助课程：David Silver 强化学习课程。官网提供课件、视频、Easy21 作业以及往年考试题和答案。
深度学习桥梁：Spinning Up 的强化学习概念页。用于核对符号、目标与价值函数；其代码和依赖有历史背景，不能假定能直接运行于当前环境。
数学配套：概率训练、线代训练、Boyd《凸优化》指南。

Silver 是经典基础课程，不是现代大模型强化学习的全部路线。先掌握基本对象，再按具体研究任务补近期论文。以下阶段与训练由本站组织，并非课程官方周计划。

阶段一：定义序贯决策问题

对象是一段不断行动并获得反馈的过程。起步只讨论有限状态、有限动作、折扣无限时域 MDP：状态集合 S、各状态可用动作、转移概率 P、期望一步奖励 r、初始分布 ρ 与折扣因子 γ。要求 0≤γ<1，奖励有界。

这里的 Markov 假设指：给定当前状态与动作，下一步的条件分布不再依赖更早历史。实际观测未必就是满足该条件的状态；部分可观测问题需要额外建模。

策略 π(a|s) 给出状态 s 下选择动作 a 的概率。固定平稳策略时，价值函数定义为条件期望折扣回报：

V^\pi(s)=\mathbb E_\pi\left[\sum_{t=0}^{\infty}\gamma^t R_{t+1}\mid S_0=s\right].

有界奖励与 γ<1 保证绝对值由一个收敛几何级数控制，因而这里的期望有意义。

训练：为一个小任务列出状态、动作、转移与奖励，分别说明哪些是已知模型，哪些只能采样观察。不要只写“最大化 reward”。

阶段二：从定义推出 Bellman 方程

将回报拆成第一步奖励与后续回报。后续回报从下一时刻重新计数，因此带一个 γ 因子。对当前动作与下一状态使用全期望公式，得到：

V^\pi(s)=\sum_a\pi(a\mid s)\left[r(s,a)+\gamma\sum_{s'}P(s'\mid s,a)V^\pi(s')\right].

将状态排序，定义策略诱导的转移矩阵 Pπ 和奖励向量 rπ，则有：

(I-\gamma P_\pi)V^\pi=r_\pi.

Pπ 每行非负且和为 1，因此其无穷范数为 1。当 γ<1 时，矩阵级数之和 Σ(γPπ)^k 收敛并给出逆矩阵。这里的可逆性来自条件，不是任意矩阵都可直接求逆。

训练：先手算下面的例子，再用线性方程求解器核对；不要在实现中把显式求逆当成默认数值方法。

完整例子：即时奖励与后续收益

环境定义

有两个非终止状态 A、B，以及终止状态 T。T 视为奖励恒为零的吸收态。取 γ=0.9。

在 A 选择 stop：立即得到奖励 1，转移到 T。
在 A 选择 go：立即得到奖励 0，转移到 B。
在 B 选择 cash：立即得到奖励 2，转移到 T。
在 B 选择 wait：立即得到奖励 0，仍留在 B。

动作后的奖励按上面的 R(t+1) 约定记录，避免多折扣或少折扣一次。

固定策略评估

考虑策略：A 总选 go，B 以各 1/2 概率选择 cash 与 wait。终止态价值为零，因此：

V^\pi(B)=\tfrac12\cdot2+\tfrac12\cdot0.9V^\pi(B).

移项得 0.55 Vπ(B)=1，因此 Vπ(B)=20/11。又因为从 A 到 B 没有即时奖励：

V^\pi(A)=0.9\cdot\frac{20}{11}=\frac{18}{11}.

选择这种策略并不等于它最优。策略评估只回答给定策略的表现。

求最优价值

在 B 立刻 cash 可得 2；任何等待都会推迟同一笔收入，且 γ<1，所以最优是在 B 立刻 cash。此时 B 的最优价值为 2。在 A，stop 得 1，go 得 0.9×2=1.8，因此最优选择 go。

可直接检查 Bellman 最优方程：

V^\star(B)=\max\{2,\ 0.9V^\star(B)\}=2, \qquad V^\star(A)=\max\{1,\ 0.9\cdot2\}=1.8.

条件变化后的迁移

自编任务：让 γ 在 [0,1) 内变化，判断 A 的最优动作。

核对：γ<1/2 时 stop 更好，γ>1/2 时 go 更好，γ=1/2 时两者等价。B 仍应立刻 cash。解释阈值为什么来自 1 与 2γ 的比较；不要把 γ=1 的情形塞回依赖严格压缩的证明。

阶段三：动态规划与压缩映射

已知模型时，可用策略迭代或价值迭代。定义最优 Bellman 算子 T：

(TV)(s)=\max_a\left[r(s,a)+\gamma\sum_{s'}P(s'\mid s,a)V(s')\right].

对两个价值向量 U、V，两个最大值之差的绝对值不超过各对应项差的最大绝对值。再利用转移概率非负且和为 1，可得：

\|TU-TV\|_\infty\leq\gamma\|U-V\|_\infty.

有限维实向量空间配无穷范数是完备的；γ<1 使 T 为压缩映射，因此有唯一不动点，反复应用 T 会收敛到它。本结论针对有限折扣 MDP 的精确算子；带函数逼近、采样与投影的更新需要重新分析。

训练产出：在上述环境中，从零向量做价值迭代，并逐步检查 Bellman 残差；再解释已知模型规划与未知模型学习的差别。

阶段四：用采样估计价值

学习 Monte Carlo、时序差分、SARSA 与 Q-learning 时，先比较更新目标包含什么随机量。

Monte Carlo 使用完整采样回报；等待轨迹结束的情形要与持续任务区分。
TD 使用下一状态的当前估计来构造目标，这种自举会改变误差与偏差分析。
SARSA 的下一动作来自行为过程；Q-learning 的目标使用下一状态动作价值的最大值。

训练产出：手算一条轨迹的一次更新，再实现小型表格环境。记录步长、探索方式、访问次数和随机种子。表格算法的收敛保证通常带有充分探索与步长条件；不要仅根据一次运行曲线宣称收敛。

阶段五：策略梯度与 Actor–Critic

先在单步决策中理解策略参数，再进入多步策略梯度。Actor 表示策略，Critic 估计价值相关量；它们的误差与数据分布会相互影响。

自编例子：单步任务中动作 1 得奖励 2，动作 0 得奖励 0。令选择动作 1 的概率为 p，则目标 J(p)=2p，在概率区间上是线性的。若改用实数参数 θ，并令 p=1/(1+exp(−θ))，则：

\frac{dJ}{d\theta}=2p(1-p),\qquad \frac{d^2J}{d\theta^2}=2p(1-p)(1-2p).

因为 dp/dθ=p(1−p)，对 J=2p 使用一次链式法则得到一阶导数，再对乘积 p(1−p) 求导得到二阶导数。二阶导数在 p=1/2 两侧改变符号，所以该目标在全部 θ 上既非凸也非凹。这个例子说明：即使概率空间中的目标简单，更换参数化也会改变优化结构。

训练产出：用解析导数与有限差分交叉验证；解释为何这个单步例子不是多步策略梯度定理的证明。多步任务还必须处理轨迹分布随策略变化的问题。

阶段六：深度强化学习与论文阅读

在表格方法、采样估计与策略梯度已经能独立解释后，选择一条方法路线深入，如价值方法或 Actor–Critic。每次先复现小任务，再读较复杂的策略优化论文。

每篇论文建立六项记录：

任务与目标：有限时域、折扣回报还是平均回报？奖励来自哪里？
数据：on-policy 还是 off-policy？行为策略与被优化策略有什么关系？
更新：价值目标、策略目标、停止梯度与近似在哪一步出现？
保证：定理讨论精确更新、近似模型还是实际神经网络？
实验：比较方法是否使用相同交互预算，是否报告多个种子与波动？
边界：函数逼近、自举和分布偏移怎样影响论证？

如果研究进入大模型强化学习，再单独核对 token 与完整序列的奖励、参考策略约束、KL 计算、重要性权重及奖励模型误差。它们需要结合具体算法与原论文分析，不用一张通用算法清单代替。

和《凸优化》怎么并行学

学 Bellman 方程时，补条件期望、矩阵与压缩映射。
学价值拟合时，补最小二乘和数值稳定性。
学约束决策时，补可行性、拉格朗日函数、对偶和约束资格条件。
学策略更新时，补梯度、局部近似和参数化对目标结构的影响。

不需要先学完 Boyd 全书才开始 MDP；也不能因为读过凸优化，就假定策略梯度具有全局最优保证。

本阶段的完成标准

能独立写出一个 MDP、推导其 Bellman 方程、手算并实现一个小例子、解释算法更新所用的数据，并在读论文时准确定位尚未理解的假设与步骤。

免费阅读与训练总览 · Silver 资源卡 · Boyd 阅读指南 · 概率总览