一个期望的梯度，有两条路径
参数 θ 既影响回答出现的概率，也影响同一条回答上的公式。
∇θ EPθ[kθ] = EPθ[kθ ∇θ log Pθ + ∇θ kθ]
查看路径
图示可左右滑动，保留矩阵比例与文字大小。
01
概率路径
哪些回答更常出现？这项由 policy gradient 计算，k 在这一项中停止梯度。
02
公式路径
固定已经采到的回答，k 的值怎样变化？直接把 k 放进 loss 反传，计算的是这一项。
- 对象
- Pθ(y) 是采样概率，kθ(y) 是样本上的实数函数；参考分布视为固定。
- 机制
- 完整求导要对两项一起取期望。直接对固定样本反传，不会自动补上采样概率变化的贡献。
- 符号
- 图示为 E[k] 的梯度。最小化 KL 时，策略奖励中的相应惩罚写为 −β stop-gradient(k)。