知识中等

SAC为何使用双Critic并取较小Q值？如何缓解过估计？

双 critic 独立训练、bootstrap 时取 min，把 max 操作放大的乐观偏差换成不自我放大的保守偏差；两个 critic 都回归同一个软目标，actor 沿较小的 Q 提升。

标准答案

过估计链条：TD 目标里的 max/策略提升总会选中「被估计噪声抬高的动作」，正偏差经 bootstrap 逐步累积放大（TD3/SAC 的核心动机）。SAC 用两个独立初始化的 $cr i t i c Q_{1}$ 、 $Q_{2}$ ：软目标 $y = r + γ (mi n_{j} Q ˉ_{j} (s^{'}, a ~^{'}) - α l o g π (a ~^{'} ∣ s^{'}))$ ，两个 critic 都回归 y；actor 沿 $mi n_{j} Q_{j}$ 提升策略。取 min 把过估计换成欠估计——欠估计不会经过 max/提升操作自我强化（悲观一侧没有放大机制），训练显著更稳，代价是价值偏保守、可能抑制探索。补充：两 critic 用同一 target 会带来相关性（部分抵消独立性），但实践仍是连续控制默认配置；TD3 另配 target policy smoothing 进一步压误差。

深入理解

及格线：说清「max 放大噪声、min 不放大」的不对称性。加分点：actor 用 min 与 critic 用 min 的动机差异；过估计在稀疏奖励 + 函数逼近 + 自举三者叠加时最严重的机理；与 Double DQN（解耦动作选择与评估）的谱系对比——SAC/TD3 的 min 是更简单粗暴的悲观下界。