把《Reinforcement Learning: An Introduction》第二版组织成能阅读、能推导、能训练、能查用的学习路径。目标是分析问题的能力，不以读完页数或推导速度评价学习效果。
Richard S. Sutton、Andrew G. Barto，第二版，MIT Press，2018。根据本地 RLbook2018.pdf 的书名页、版权页和目录核对；该文件含前置页共 548 个 PDF 页面。下文页码均指书内印刷页码，不是阅读器页面序号。
本页是独立导读，章节编号与起始页按上传版本目录核对；不是教材翻译、全书摘要或官方习题答案。原文件版权页标注 CC BY-NC-ND 2.0；本站不转存或改编教材全文。
先尝试三件事：对两个随机分支计算期望；解一个二元线性方程组；对复合函数求梯度。能做就直接开始第 2–3 章。若卡住，只补对应的概率、线代或微积分环节，不必先重读全部数学。
每次卡住，写下具体缺口：是不懂对象、不懂某一步变形、不清楚定理条件，还是不会把算法实现出来。不同缺口对应不同训练。
第 1 章用于建立任务背景。第 2 章优先读 2.1–2.5，再读 2.7–2.8。多臂老虎机是一次次选择动作、观察奖励的问题；起步模型没有动作影响后续状态的机制，适合先隔离探索与估计。
产出：从样本均值推导增量更新，解释固定步长为什么对旧数据逐渐遗忘。完成训练册任务一，并实现一个两动作随机奖励实验。记录每个动作的尝试次数，而不只记录最终平均奖励。
自检：不被采样的动作，价值估计怎样改善？环境变化时，所有历史数据等权是否合理？探索策略的经验表现与理论保证有何区别？
重点读 3.1–3.6 与 4.1–4.4，再读 4.6。先声明状态、动作、转移、奖励、策略、时域；再区分给定策略的评估与寻找最优策略的控制。
产出：从回报定义推导 Bellman 期望方程；手算本站 A/B/T 环境；写出策略迭代中“评估”和“改进”各做什么。对有限折扣情形，能解释压缩系数来自哪里。
自检：γ=1 时，原来的压缩证明在哪一步失效？这不自动意味着所有 γ=1 问题都无解，而是需要额外条件和另一套分析。
先读 5.1–5.4、6.1、6.4–6.7，再回读 5.5 的重要性采样。Monte Carlo 用采样回报估计价值；TD 用当前估计构造部分目标，这就是自举。行为策略生成数据，目标策略是希望评估或优化的策略；两者不同即涉及离策略问题。
产出：完成训练册任务二、三、四。在同一小环境比较 MC、TD、SARSA、Q-learning 的目标，而不是只背更新式。
自检：目标里哪些量来自真实样本，哪些来自当前估计？下一动作是实际采到的，还是通过最大化选出的？重要性采样需要什么支持条件？
先读 7.1–7.2、8.1–8.3 和 8.5；其余根据任务深入。n 步方法在使用更多真实奖励与更早自举之间变化；规划使用模型生成预测或模拟数据，模型本身可能不准确。
产出：对同一条轨迹写出一步、两步和完整回报；画出真实交互、模型更新、模拟更新的数据流。
自检：模型错误会影响哪些更新？更多模拟计算为何不能自动弥补错误模型？
优先读 9.1–9.4、9.7 与 10.1–10.2。函数逼近用共享参数表示多个状态的价值；一次参数更新可能同时改变许多状态的预测。读 10.3–10.5 时，明确平均奖励与折扣目标是不同问题设定。
产出：完成训练册任务五。写清被优化的目标、采样状态分布、目标是否依赖参数，以及求导时是否忽略这种依赖。
自检：平方形式不代表整个更新就是对某个固定凸目标的梯度下降。先找出参数究竟出现在哪些位置。
在函数逼近基础之后先读 13.1–13.5，再按任务读后续小节。策略参数化直接控制动作分布；价值估计可参与构造策略更新，但会引入新的近似。
产出：完成训练册任务六，从单步有限动作问题证明 score-function 恒等式与 baseline 零期望性质。随后对照教材的多步策略梯度定理，列出新增的轨迹分布和状态访问分布问题。
自检：单步证明不能替代多步定理；baseline 不改变期望，需要条件，也不意味着任意 baseline 都减少方差。
第 11 章（第 257 页起）重点读 11.1–11.4，理解函数逼近、离策略与自举组合下的稳定性问题。不要把某个发散例子理解成“所有离策略方法都会发散”。进一步研究时再进入该章后面的算法分析。
第 12 章（第 287 页起）优先读 12.1–12.4，将资格迹与多步回报联系起来；不要把它只看作一个记忆更多历史的实现技巧。
第 14–15 章是心理学与神经科学连接，第 16 章为案例，第 17 章为该版本的前沿议题。按研究兴趣选读；2018 年的前沿目录不能代替后续论文检索。
不设统一的“几天学会”门槛。一个单元的通过标准是能解释、能计算、能指出边界；速度仅用于安排时间。
Bellman 方程对应条件期望与线性方程；价值拟合对应最小二乘；策略更新对应链式法则与随机梯度；约束决策再连接拉格朗日函数和对偶。遇到具体问题时回到 Boyd 导读，不要预设所有强化学习问题都凸。