当前的选择，也会改变未来的 KL
行表示更新哪个位置的概率，列表示使用哪个位置的 log-ratio。选择一行看它包含哪些项。
∇Dseq = E[∑t (∑j≥t uj) gt]
梯度位置
图示可左右滑动，保留矩阵比例与文字大小。
t × j
梯度项的结构
白格表示期望中不保留的项，着色格表示保留的 u_j g_t。
- 定义
- u_j = log[Pθ(y_j | h_j) / Q(y_j | h_j)]；g_t = ∇θ log Pθ(y_t | h_t)。
- 机制
- 过去项 j < t 的期望为 0；未来项 j > t 一般不能删，因为当前选择会改变后续前缀。
- 边界
- 图示为期望梯度的组成关系，不表示两种采样估计在每条轨迹上数值相同。