SAC的最大熵目标是什么？Actor与Critic如何更新？若写作最小化的loss，Q值项和熵项的符号如何确定？

目标：$ma{x}_{\pi }E[\sum {\gamma }^t(r_t+\alpha \cdot H(\pi (\cdot |s_t)))]$，α 为温度（可自动调节：对 α 求约束目标熵的损失）。Critic：双网络回归软 TD 目标$y=r+\gamma (mi{n}_j{\bar{Q}}_j(s^{\prime },{\tilde{a}}^{\prime })-\alpha log\pi ({\tilde{a}}^{\prime }|s^{\prime }))$，其中 ã′ ~ π(·|s′)——注意 target 里熵项是减号（软值$=Q-\alpha log\pi$），损失$L_Q=(Q_j(s,a)-y{)}^2$。Actor：从$maxE[mi{n}_j{Q}_j(s,\tilde{a})-\alpha log\pi (\tilde{a}|s)]$改写成最小化$L_{\pi }=E[\alpha log\pi (\tilde{a}|s)-mi{n}_j{Q}_j(s,\tilde{a})]$——这就是符号考点：最大化 Q 加 α 倍熵，翻成最小化后 Q 项带负号、熵的对数概率项带正号。动作用 tanh 高斯重参数化采样，log-prob 需加 tanh 修正$-\sum log(1-tanh(u{)}^2)$。

符号题的解法是记推导路径而不是记结论：从软 Bellman 一致性$V(s)=E[Q(s,a)-\alpha log\pi (a|s)]$出发，actor 目标就是把软值推高。追问常落在：α 自动温度调节（目标熵常设为$-dim(A)$）；α 过小退化为普通 AC、过大则熵僵持；以及 tanh 边界 log-prob 的数值稳定性。能现场推出 actor loss 符号转换是硬通货。