SAC的重参数化如何让梯度穿过随机动作采样？不用它时如何估计策略梯度？

重参数化把「从分布采样」改写成「对噪声做可微变换」：策略输出分布参数$({\mu }_{\theta }(s),{\sigma }_{\theta }(s))$，动作$\tilde{a}=tanh({\mu }_{\theta }+{\sigma }_{\theta }\odot ϵ)$。ε 与 θ 无关，actor 损失$\alpha log\pi -Q$对$({\mu }_{\theta },{\sigma }_{\theta })$可直接求导——pathwise 梯度告诉参数「往哪个方向移动能拿到更高分且保持分布可导」，低方差、样本效率高。tanh 压缩的 log-prob 要加修正项：$log\pi (a|s)=logN(u|\mu ,\sigma )-\sum log(1-tanh(u{)}^2)$。若不用重参数化，只能回到 likelihood-ratio/score function 梯度$\nabla E[f]=E[f\cdot \nabla log\pi ]$：把整条回报当常数乘以对数概率的梯度，方差随动作维度与轨迹长度放大，连续控制下明显慢且不稳。SAC 选 pathwise 正是看重其样本效率——这与离散动作 RL（token 生成）只能用 score function + ratio 形成对照。

追问点：重参数化的适用条件（可微变换 + 独立噪声，离散分布不满足——Gumbel-Softmax 是松弛近似）；pathwise 与 score function 的方差对比机理（一个利用 f 的形状信息、一个只用标量加权）；tanh 饱和区修正项的数值处理。能说清「为什么 LLM/token RL 用不了 SAC 这类 pathwise 方法」是把两块知识串起来的加分回答。