在 π0.5、π*0.6 与 RLT 等方法中，replay buffer 在数据闭环和策略更新中承担什么作用？

三个作用：1）把真机滚动产生的成败经验持久化，供 RECAP、RLT 这类离线/半离线更新反复采样，摊薄昂贵的采集成本；2）为 value 与优势估计提供相对固定的数据分布，使时序自举稳定收敛；3）把旧演示、人工纠正与新经验按比例混合与再平衡，防止策略更新偏移或遗忘。π0.5 的异构 co-training 虽不是 RL，也共享同一套「缓存-再平衡-重加权」的数据闭环思想。

延伸讨论：FIFO 与优先级采样对分布的影响、成败样本配比如何左右 value 的校准、以及「buffer 分布等于部署分布」这一隐含假设在环境变化时失效的后果。这题考察的是把 RL 组件放回数据闭环里理解的能力，而不是背概念。