PPO中的GAE如何估计advantage？它对估计的偏差、方差以及训练稳定性有什么影响？

${\delta }_t=r_t+\gamma V(s_{t+1})-V(s_t)$，$A_{GAE}(\lambda {)}_t={\sum }_{k\ge 0}(\gamma \lambda {)}^k{\delta }_{t+k}$。λ→1 退化为折扣蒙特卡洛：不依赖 value 的偏差小，但整条轨迹的随机性累积、方差大；λ→0 等价一步 TD：方差小但强依赖 V 的准确性、偏差大。折中的效果是早期信号低方差、远期误差被$(\gamma \lambda {)}^k$指数衰减。对训练的影响：方差大迫使小学习率、大 batch、慢收敛；偏差大则策略被不准确的 V 带偏（尤其 value 尚未收敛的早期）。实践：$\gamma \approx 0.99$、$\lambda \approx 0.95$起步；value 网络质量、value loss 权重与 advantage 归一化都和 λ 的最优值耦合；离线场景（π*0.6）则用时间一致性自举替代在线 GAE 的自举链。

及格线：写出 δ 与两个极限并解释单调性。加分点：GAE(λ) 与 TD(λ) 的对应关系；「value 不准的早期 λ 取小、value 收敛后可调大」的动态思路；机器人真机里成功判定噪声（误检漏检）如何放大回报方差、进而影响 λ 选择。能从偏差-方差讲到超参联动是深度信号。