如何由逐步 reward 构造回报和 advantage，并用于轨迹策略更新？当轨迹末端发生碰撞时，如何避免此前的局部高分掩盖这一失败？

构造：回报$R_t=\sum {\gamma }^k{r}_{t+k}$从后向前累积；TD 残差${\delta }_t=r_t+\gamma V(s_{t+1})-V(s_t)$，$GAE{A}_t=\sum (\gamma \lambda {)}^k{\delta }_{t+k}$，λ 平衡偏差（λ→0 一步 TD）与方差（λ→1 蒙特卡洛）；用 A 加权 ∇log π 做策略更新。末端碰撞的理想机制：V 学对时，碰撞状态的价值会经 TD 残差向前传播，碰撞前的动作优势自然转负。两个前提要主动检查：1）奖励结构不能是「全程小正分 + 末端小负分」——均值上失败轨迹仍可能是正回报，须让碰撞惩罚显著大于累计过程分，或干脆用稀疏成败 + 过程分只做塑形；2）terminal 必须截断 bootstrap（成功/失败后不再估 V），而 timeout 截断要区分对待，否则 value 学坏、信号传不回来。λ、γ 要匹配轨迹长度，太长的轨迹末端失败传不到前段时，需加密过程惩罚或用时间一致性自举（RECAP 式）。

及格线是写出${\delta }_t$并解释 λ 两个极限；加分点：terminal 与 timeout 的 bootstrap 处理差异（超时不是真实终止，把 timeout 当 terminal 会污染 value）、「局部高分掩盖失败」的本质是信用分配跨度超过$(\gamma \lambda {)}^k$的有效传播范围、以及离线场景用时间一致性自举替代在线 GAE 的做法。