在线强化学习与离线强化学习在数据获取和策略训练方式上有什么区别？在自动驾驶或机器人后训练中，如何选择或结合使用？

数据获取：在线 RL 由当前策略持续与环境交互产生新鲜数据，分布随策略更新而移动；离线 RL（BCQ、CQL、IQL、Decision Transformer 等）只在固定数据集上训练，完全不与环境交互。策略训练：在线可以放心 bootstrap 与探索；离线必须抑制分布外动作的值高估——用悲观估计（CQL）、策略约束（BCQ）或免策略提升的回归（IQL）。选型：真机与自驾采样昂贵且有安全风险，以离线为主（含 RECAP 式离线 value + 优势条件化）；仿真成本低且可大规模并行 rollout，适合在线 PPO/GRPO。结合方式：离线预训练 → 仿真在线 → 真机少量在线微调；或「仿真在线训练 + 真机数据离线消费」的混合闭环。

及格线是说出本质区别「数据分布是否由当前策略控制」；加分点：解释离线 RL 为什么不能直接套 Q-learning（OOD 动作的过估计经 bootstrap 指数放大）、在线 RL 的样本效率与仿真真实度缺口如何权衡、以及 RECAP/π*0.6 为什么把 RL 重写成离线问题——能按「采样成本 x 安全约束 x 奖励可靠性」给出选型矩阵更佳。