只有到达目标或完成任务时才获得奖励，可能给探索和学习带来哪些困难？如何进行奖励塑形，并验证它是否有效？

困难有三：随机探索命中奖励的概率随任务步数指数衰减，早期几乎无学习信号；终局奖励对长轨迹的信用分配方差大、收敛慢；成败在奖励上不可分时 value 难以拟合。塑形手段按监督密度递增：势函数塑形$F=\gamma \Phi (s^{\prime })-\Phi (s)$（以距离、子任务进度为 Φ，理论上不改最优策略）；课程奖励（先松容差后收紧、先短任务后长任务）；学习型奖励（成败分类器、视觉 reward model、时间一致性自举）；示范引导（从示范末段状态回放起步缩小探索范围）。验证有效性：与稀疏基线对比采样效率和最终成功率——塑形应提高前者而不降低后者；检查是否出现塑形捷径（hacking）；对 Φ 或权重做敏感性分析，指标对塑形细节不敏感才说明学的是任务本身。

高分结构：先解释困难为什么是指数级的，再说每种塑形各解决哪个困难，最后强调验证与 hacking 风险。势函数保最优的前提可以引到另一题展开；课程奖励与学习型奖励理论上会改变最优策略，所以验收必须回到原始稀疏指标——「塑形是脚手架、验收看毛坯」这个比喻好用。