SAC与PPO的更新目标和采样方式有何不同？为什么SAC通常无需新旧策略概率比，而PPO需要？
SAC 是 off-policy 值方法：pathwise 梯度最大化 Q 加熵、replay 复用数据，梯度对当前参数可导故无需概率比；PPO 是 on-policy 策略梯度：在旧策略数据上多步更新新策略，必须用 ratio+clip 校正两者的差异。
标准答案
更新目标：SAC 的 actor 最小化（软值最大化的 pathwise 梯度），同时训练双 critic 与温度 α；PPO 的 actor 最大化 min(ratio·A, clip(ratio)·A)，优势由 GAE 给出，另配 value loss 与 KL。采样方式：SAC 用 replay buffer 混合新旧经验、off-policy、探索由最大熵目标驱动；PPO 用当前策略采样的 batch，几个 epoch 后丢弃。关键推理在「为什么 SAC 不需要 ratio」：SAC 的 actor 梯度经重参数化对当前参数直接可导，样本是为当前损失即时打分并反传的——它不试图「用旧数据无偏估计新策略的期望回报」，也就不存在分布不匹配需要校正的问题。PPO 需要 ratio 是因为它要在旧策略采的数据上多次更新新策略：数据分布 ≠ 当前策略分布，score-function 型梯度必须用重要性比率纠正这种 mismatch，clip 再把比率约束在信任域内。
深入理解
高分对比维度：样本效率（SAC 高，真机友好）vs 大规模并行（PPO 好扩展，仿真友好）；探索机制（熵正则 vs 采样随机性）；动作空间（SAC 连续为主；PPO 对离散/连续/token 通用，所以 LLM/VLA 的 RL 都长 PPO 相）；超参敏感度与工程复杂度。能从「梯度类型（pathwise vs score function）决定是否需要重要性校正」这条根因链讲清，是把整个 RL 板块串起来的加分回答。