Reward Shaping 在什么情况下会改变原任务的最优策略？基于势函数的奖励塑形需要满足哪些条件，才能保持最优策略不变？

Ng 等（1999）的结论：当塑形项可写成$F(s,s^{\prime })=\gamma \Phi (s^{\prime })-\Phi (s)$时，对任意势函数 Φ 与折扣 γ，塑形后 MDP 的最优策略与原任务一致——该项沿任意轨迹 telescoping 后只剩$-\Phi (s_0)+{\gamma }^T\Phi (s_T)$的常数组合，不改变轨迹间相对排序，只改变学习动力学（引导 value 与探索方向）。破坏条件就会改最优策略：塑形项依赖动作而非状态差；塑形与原任务折扣不一致；终止处理不对称——要求终止时$\Phi (s_T)=0$，否则提前终止或拖延轨迹可以凭空赚取势能差。工程含义：距离与子任务进度奖励应尽量写成势差形式；任意加的步长惩罚、动作幅度惩罚严格说都改变最优策略，实践中常可接受但要清楚代价。

能现场给出 telescoping 推导（$\sum {\gamma }^t{F}_t=-\Phi (s_0)+{\gamma }^T\Phi (s_T)$，终局 Φ 置零后与路径无关）是硬通货；追问常是「为什么动作相关的塑形危险」——它直接偏好某些动作，等价于改写转移奖励结构而非仅引导状态势能。能进一步讨论「实践中何时可以故意违反定理、代价是什么」就是完整答案。