同一个参考分布，两种 KL 方向

把双峰参考分布 Q，用一个高斯 P 来拟合。改变 KL 的方向，就改变了平均误差的位置。

Dreverse = EP[log(P / Q)]Dforward = EQ[log(Q / P)]

图示可左右滑动，保留矩阵比例与文字大小。

P → Q

Reverse KL

从 P 采样，惩罚 P 把质量放在 Q 很小的区域；这个例子中最优解靠近一个峰。

双峰参考分布和反向 KL 拟合的单峰高斯。
Q → P

Forward KL

从 Q 采样，P 必须照顾两个峰；单个高斯用更大的方差覆盖它们。

双峰参考分布和前向 KL 拟合的宽高斯。
分布
Q = ½ N(−3, 1) + ½ N(3, 1)；P 限制为一个高斯，横轴为样本取值，纵轴为概率密度。
拟合
Reverse KL 取右峰的对称最优解：μ ≈ 2.984，σ ≈ 1.023；Forward KL 为 μ = 0，σ = √10。
边界
“选峰 / 覆盖”是这个受限拟合例子的表现，不是任意分布族和优化过程都满足的定理。