为具身智能面试中反复出现的概念提供标准答案。
当前主题：sac
共 5 个问题
On-policy 的梯度只能用当前策略产生的数据、更新后旧数据即失效；off-policy 用 replay buffer 复用任意行为策略的历史数据、靠重要性采样或 Bellman 目标校正，样本效率高但自举更不稳。
SAC 最大化期望回报加熵 bonus：J = E[Σ γ^t (r_t + αH(π(·|s_t)))]；critic 回归含下一状态软值的 TD 目标，actor 最小化 α log π − min_j Q_j（Q 项取负、熵的对数项取正）。
把动作写成 a = tanh(μ_θ + σ_θ⊙ε)、ε~N(0,I)，随机性移到与参数无关的噪声上，梯度经 μ、σ 反传穿过采样；不用重参数化只能用 score function（REINFORCE 式）估计，方差大得多。