什么是 Diffusion Policy？

Diffusion Policy 把动作生成视为条件去噪。先将长度为 H 的动作轨迹初始化为高斯噪声，再使用以观测 o 为条件的去噪网络，经过 K 步逐渐移除噪声。训练时从干净轨迹出发加噪并预测噪声，推理时执行去噪后的动作 chunk，并可结合 receding-horizon control。它能够表示多峰示范行为，但代价是每次决策需要多步去噪，带来推理延迟。

Diffusion Policy 的表示能力来自对多模态行为的建模。确定性的 MSE action head 往往会把多个有效策略平均成一个无效动作，而 diffusion head 可以表达多个 mode，再采样一条具体轨迹。它也能自然支持 score-based conditioning 和固定起点或目标等 inpainting 约束。主要成本是每次决策要做 K 次去噪，以及对 noise schedule 的敏感性；DDIM sampler、蒸馏和 one-step policy 可以缓解延迟。