DQN为什么要使用缓慢更新的target网络？每步同步会怎样？

TD 学习的目标 y 依赖网络自身参数，叠加函数逼近与离策略数据构成 deadly triad，天然不稳定。target 网络（参数 θ⁻）把「被回归的对象」冻结：DQN 每 C 步硬拷贝同步，或每步软更新${\theta }^{-}\leftarrow \tau \theta +(1-\tau ){\theta }^{-}$（$\tau \approx 0.005$，DDPG/SAC 默认）。慢更新近似于把自举在参数空间做了小步长约束——当前网络可以把 value 拟合到接近一个固定目标，再整体挪动锚点，类似 alternating optimization。若每步全量同步（$\tau =1$，无 target）：每次更新立刻改变目标，形成正反馈回路——一步高估被立即 bootstrap 回来、再放大，loss 震荡或发散为系统性过估计；理论上是把监督回归退化成了不动点迭代不保证收敛的自举。注意 target 网络只参与目标计算、不接收梯度；软更新平滑但引入滞后偏差，硬更新有周期跳变。

及格线：说出「目标非平稳 + 自举正反馈」。加分点：τ 与学习率的关系（两个「小步长」如何配合）；对照 PPO 无 value target 也能稳的原因（on-policy + ratio 截断，不在参数空间自举）；SAC 里双 critic 各配 target、actor 无 target 的结构。能从「把自举变成近似监督学习」的角度总结是最好的记忆锚点。