强化学习研究工作台：把知识变成可调用工具

一张知识卡片保存什么

• 名称与用途：它解决什么问题？例如固定策略价值评估。
• 对象与符号：状态、动作、策略、数据分布和参数分别是什么？
• 条件：有限还是连续、折扣还是平均奖励、模型已知还是只能采样？
• 核心结论：写出准确方程，区分定义、恒等式、定理和算法规则。
• 推导骨架：写出起点、关键变形及每一步所用条件。
• 最小例子：用一个能手算的实例复现。
• 失败边界：删除哪个假设后，哪一步不再成立？
• 来源与状态：章节/页码，以及独立推导、提示后完成、待核实。

来源页码用于回查，不替代理解；自己的推导不能标成作者证明。

示例卡片：固定策略的 Bellman 方程

对象：有限状态与动作、平稳策略 π、有界奖励、0≤γ<1。目标：求每个状态的期望折扣回报 Vπ。

结论：(I−γPπ)Vπ=rπ。Pπ 是策略诱导的转移矩阵，rπ 为一步期望奖励向量。推导从回报拆成第一步与剩余部分开始，再对下一状态用全期望公式。

条件检查：Pπ 行和为 1，故无穷范数为 1；γ<1 保证 Σ(γPπ)^k 收敛并给出逆矩阵。这里讨论精确价值，不直接涵盖函数逼近更新。

最小例子：重做 A/B/T 环境。失败边界：γ=1 时不能沿用上述级数论证；增加吸收、终止等条件后应另作分析。教材定位：第 3 章 3.5 与第 4 章 4.1。

每篇论文的七个问题

1. 问题：作者要估计价值、优化策略，还是满足额外约束？目标函数是什么？
2. 数据：数据由谁生成？行为策略是否等于目标策略？训练分布怎样变化？
3. 表示：使用表格、线性特征还是神经网络？参数在哪里共享？
4. 更新：逐项标注真实奖励、采样动作、价值估计、重要性权重与停止梯度。
5. 论证：定理的假设是否覆盖实验中的算法？精确求解与近似求解在哪里分开？
6. 实验：环境、交互预算、调参预算、评估策略与多个种子是否可比？
7. 结论：已证明、实验支持、作者猜测和自己尚未理解的部分分别是什么？

先完整追踪一次“数据输入→估计目标→参数更新”，再判断需要补哪些数学。

卡住时怎样补缺

若看不懂条件期望，回到 概率指南；若不清楚价值方程的唯一性，回到矩阵级数与 Bellman 推导；若不知道算法是否真在做梯度下降，做 训练册任务五；若无法理解乘子与约束，回到 凸优化导读。

先把卡住的位置缩到一个等号、一个条件或一次更新。例如“这里为什么能交换求导与期望”比“我概率不行”更可操作。必要时记录暂未证明的依赖，继续读能独立理解的部分。

从教材进入具体研究

价值估计方向先巩固第 6、9、11 章；策略优化方向先巩固第 9、13 章；规划与模型方向先巩固第 4、8 章。章节准备完成后，再依据具体论文补随机逼近、统计误差或优化工具。

研究大模型强化学习时，额外说明状态是完整前缀还是压缩表示，动作是 token 还是序列，奖励何时给出，参考策略约束怎样计算。先把论文任务写成明确数学对象，再讨论某个经典结论能否迁移。本文不提供未经逐篇核查的最新算法排名。

每次学习结束的四行记录

• 今天能够独立重建的结论：
• 仍需查阅的一步与对应来源：
• 本次发现的适用条件或反例：
• 下次用于检验理解的具体任务：

你的外部资料库应帮助你重新调用推理，而不是增加待读清单。每张卡片保留一个可计算的例子和一个边界，通常比堆积很多相似定义更有用。

教材章节地图 · 原创训练册 · 阅读总览