知识中等

DQN如何学习Q值，Double DQN解决什么问题？为何由online网络选动作、target网络估值？

DQN 用 Q 网络回归一步 TD 目标（target 网络给值、经验回放打散相关性）；max 算子导致系统性过估计，Double DQN 解耦「选动作」（online 网络）与「估价值」（target 网络）来消除它。

标准答案

DQN：最小化 $L = E [(Q (s, a; θ) - y)^{2}]$ ， $y = r + γ ma x_{a^{'}} Q (s^{'}, a^{'}; θ^{-})$ ，θ⁻ 是周期同步的 target 参数；ε-greedy 行为策略 + replay buffer 打破时间相关性。过估计来源： $E [ma x_{a} (Q^)] \geq ma x_{a} E [Q^]$ ——在估计噪声下，max 总是偏向高估的动作，正偏差经 bootstrap 累积。Double DQN 把目标改为 $y = r + γ \cdot Q (s^{'}, a r g ma x_{a^{'}} Q (s^{'}, a^{'}; θ); θ^{-})$ ：online 网络负责选动作（它接收的梯度最多、对「哪个动作好」的排序最可信），target 网络负责评估该动作的价值（两套参数的噪声不相关，online 选错动作时其虚高的估计不会被 target 确认）。本质是把「用同一组噪声同时选择与评估」这个偏差来源拆开。

深入理解

及格线：写出两个目标式并指出差异。加分点：过估计的 Jensen 不等式解释；Double DQN 只是把过估计换成轻微欠估计、并未根除（残余偏差仍在）；DQN 家族的其他不稳定源（deadly triad）与后续修复（分布值函数、多步回归）。能从「估计误差与选择是否相关」的角度讲清分工，比背「解耦」二字更深。