什么是动作条件世界模型？

动作条件世界模型近似$p(o_{t+1}|o_{t-k..t},a_t..a_{t+H-1})$。它在轨迹数据上训练，不像 policy 那样直接选择动作，而是回答候选动作序列会带来什么未来观测，因此可以用于 model-predictive control、规划和生成合成训练数据。设计上的关键是 latent space：像素空间容易监督但会浪费容量，latent space 更紧凑高效却需要良好正则化，否则可能发生模型利用。

世界模型的价值在于把昂贵的真实机器人交互摊销到大量被动视频和少量带动作数据上。像 Dreamer 风格的 RSSM 一样，latent-space rollout 更紧凑，但必须防止 latent collapse。另一个已知失败模式是 model exploitation：优化器找到模型认为很好、但其实落在模型错误高置信区域的动作序列。因此 rollout 通常不会太长，并且需要和真实交互结合。