KL 散度是大模型强化学习中常见的正则项。我们希望模型提高任务奖励，同时保留参考模型的部分行为，因此通常会在奖励目标中加入对分布偏离的约束。不过，从目标函数到训练代码，还有几处需要区分的细节。同样使用当前模型与参考模型的对数概率，有的实现将它们作为奖励修正，有的则直接构造可微的损失，两者未必对应相同的参数更新。

其中一个容易忽略的原因是，KL 本身是关于概率分布的期望。模型参数变化时，样本出现的概率也随之变化，而对一批已经采到的样本直接反传，通常只计算固定样本上的函数变化。因此，估计量在数值上是否无偏，与它能否产生所需的梯度，是两个需要分别讨论的问题。进一步考虑自回归生成时，还要计入当前选择对后续前缀分布的影响。

本文从一个二元分布出发，先整理 KL 的方向和常用估计量，再推导奖励修正与直接反传各自对应的梯度，最后将这些结果推广到完整序列。这样既能看清几个常见公式之间的联系，也便于理解它们在 PPO、GRPO 等实现中的适用条件。