数值估对，梯度也对吗？

模型只有 A、B 两种回答。枚举两种结果，比较估计值的期望与直接反传的期望。这里没有随机采样误差。

当前模型 P(A)：0.80参考模型 Q(A)：0.50

Reverse KL · D(P ∥ Q)—

Forward KL · D(Q ∥ P)—

对概率 p = P(A) 求导
公式	期望数值	直接梯度的期望

前两行对完整概率加权求导；k₁/k₂/k₃ 行则先固定样本频率，再对样本公式求导。参考 q 在每次求导时固定。梯度为正时，梯度下降会减小 p。概率范围限制在 0.05–0.95，以避开零概率边界。