估计值的形状，与估计量的方差
k₁、k₂、k₃ 在原点附近很接近；离开局部区域，它们的数值和方差会显著分离。
图示可左右滑动，保留矩阵比例与文字大小。
01
单样本数值
横轴 u = log(P / Q)。k₁ 可以为负；k₂ 非负但有偏；k₃ 非负且有指数尾部。
02
相对标准差
单位方差高斯中，均值差 δ 增大时，k₃ 的相对标准差也可能迅速升高。
- 定义
- u = log(P / Q)，k₁ = u，k₂ = u² / 2，k₃ = exp(−u) − 1 + u。
- 例子
- 样本取自 P = N(δ, 1)，Q = N(0, 1)，真实 KL = δ² / 2；第二张图显示标准差 / 真实 KL。
- 边界
- k₂ 有偏；第二张图只比较标准差，不包含偏差，不是均方误差比较。