对于自回归轨迹，token的log probability如何用于策略更新，重要性采样起什么作用？

轨迹$\tau =(a_1$…$a_T)$的$log\pi (\tau )={\sum }_{t}log\pi (a_t|$前缀)，梯度$\nabla log\pi (\tau )={\sum }_t\nabla log\pi (a_t|$前缀)——每个 token 的 log-prob 都进入损失，优势按 token 分配（同轨迹共享或 GAE 逐 token）。当数据由旧策略${\theta }_{old}$采出、要为新策略 θ 无偏估计期望回报时，需要重要性权重${\rho }_t={\pi }_{\theta }(a_t|$前缀$)/{\pi }_{\theta }old(a_t|$前缀)：$E_{old}[\rho \cdot A\cdot \nabla log\pi ]=E_{\pi }[\cdot ]$。序列级比率$\Pi {\rho }_t$的方差随长度指数爆炸，所以 PPO/GRPO 都用 token 级比率加 clip 的近似（隐含假设新旧策略下前缀分布接近），兼顾无偏性与方差。工程要点：$lo{g}_{softmax}$一次前向同时得到全部 token log-prob；prompt/观测 token 用 mask 排除出损失；动作 chunk 的每个离散 token 都参与 ratio。

追问常落在：为什么不用序列级 ratio（方差与长度偏置）；token 级近似的数学瑕疵（前缀分布并不严格不变）为何实践有效；连续动作（高斯/tanh 策略）log-prob 的解析形式与修正项。能把「token 级策略梯度就是逐位置的动作策略梯度」这条线讲通，再引到 VLA/LLM 训练的 mask 与聚合细节，就是完整答案。