1.5-1.7 常返性、击中概率、格林函数

这一节我们研究马氏链是否一定会返回状态 $i$ ，每一次返回的时间有什么性质。

T_{i,r} := \left\{ \begin{array}{ll} \inf\{n \geq T_{i,r-1} + 1 : X_n = i\}, & \text{若 } T_{i,r-1} < \infty; \\ \infty, & \text{若 } T_{i,r-1} = \infty, \end{array} \right. \quad \forall \, r \geq 2.

\sigma_{i,r} := \left\{ \begin{array}{ll} T_{i,r} - T_{i,r-1}, & \text{若 } T_{i,r-1} < \infty; \\ \infty, & \text{若 } T_{i,r-1} = \infty, \end{array} \right. \quad \forall \, r \geq 1,

$\sigma_{i,r}$ 与 $\sigma_i$ 同分布，且相互独立。

命题1. 对任意 $r \geq 1$ 以及任意 $m_1, \cdots, m_r \geq 1$ ， $P_i(\sigma_{i,1} = m_1, \sigma_{i,2} = m_2, \cdots, \sigma_{i,r} = m_r) = \prod_{s=1}^{r} P_i(\sigma_i = m_s)$ 进一步，若 $P_i(\sigma_i < \infty) = 1$ ，则 $\sigma_{i,1}, \sigma_{i,2}, \sigma_{i,3}, \cdots$ 独立同分布。

若 $P_i(\sigma_i < \infty) < 1$ ，则不能说明 $\sigma_{i,1}, \sigma_{i,2}, \sigma_{i,3}, \cdots$ 独立同分布。

推论1. 令 $\rho_i := P_i(\sigma_i < \infty)$ ，则 $P_i(T_{i,r} < \infty) = \rho_i^r$ 。

V_i = \sum_{n=0}^{\infty} \mathbb{1}_{ \{X_n = i\} } = \big| {n \geq 0:X_n=i} \big|

它表示马氏链沿其轨道访问 $i$ 的总次数（包括起始点）。

当回访概率 $\rho_i = 1$ 时， $P_i(V_i = \infty) = 1, E_iV_i = \infty$ 。
当回访概率 $\rho_i < 1$ 时， $P_i(V_i < \infty) = 1, E_iV_i = \frac{1}{1-\rho_i}$ 。

这可以帮助我们判断某状态 $i$ 的常返性。

\vec{Z}^{(r)} := \left(X_{T_{i,r-1}}, \cdots, X_{T_{i,r}}\right), \quad \forall \, r \geqslant 1

则 $\vec{Z}^{(1)}, \vec{Z}^{(2)}, \cdots$ 独立同分布。

$\vec{Z}^{(k)}$ 这样从 $i$ 出发的马氏链，首次回到 $i$ 之前经历的有限长的轨道被称为游弋。

命题3. 假设 $i$ 常返且 $i \rightarrow j$ 。则 $j$ 常返且 $j \rightarrow i$ 。进一步， $P_i(V_j = \infty) = P_j(V_i = \infty) = 1$ 。从而， $P_i(\tau_j < \infty) = P_j(\tau_i < \infty) = 1$ 。

该命题的证明思路比较清楚，关键之处是要利用强马氏性。即考虑从 $j$ 出发后第一次到达 $i$ 开始的马氏链。

此命题表明常返是互通类的性质。即若互通类中一个状态常返，则所有状态常返。这种互通类称为常返类。
进一步，常返类一定是闭集。因此，我们可以只考虑不可约马氏链上闭的互通类的常返性。

记 $\rho_{ij} = P_i(\tau_j < \infty)$ 。可把 $j$ 想象成一个吸收态。因此 $\rho_{ij}$ 也称为吸收概率。

取定一个状态 $o$ ，首步分析法指的是先让马氏链从 $o$ 走一步，并运用全概率公式，即

P_i(\tau_o < \infty) = P_i(\sigma_o < \infty) = \sum_{j \in S} P_i(X_1 = j) P_i(\sigma_o < \infty \mid X_1 = j).

令 $x_i = P_i(\tau_o < \infty)$ ，则有

x_i = \sum_{j \in S}p_{ij}x_{j}, \forall i \neq o; \quad x_o = 1

事实上，对 $S$ 的任意子集 $D$ ，可将上述概念拓展。令 $x_i = P_i(\tau_D < \infty)$ 表示吸收概率，则类似有

x_i = \sum_{j \in S}p_{ij}x_{j}, \forall i \notin D; \quad x_i = 1, \forall i \in D

此命题的证明就是将 $x_j(j \notin D)$ 不断用定义代入 $n$ 轮，将最后一项放缩为0。最后取极限 $n \rightarrow\infty$ 。

类似上述过程，我们可以研究首达区域 $D$ 的平均时间 $E_i\tau_D$ 。我们令 $y_i := E_i \tau_D$ 。则类似有

y_i = \sum_{j \in S}p_{ij}y_{j}, \forall i \notin D; \quad y_i = 0, \forall i \in D

且 $y_i$ 也是上述方程的最小非负解。

吸收概率可以帮助我们判断常返性。我们不妨设马氏链不可约。一方面，如果 $o$ 常返，则所有吸收概率都是 $1$ 。另一方面，若所有吸收概率都是 $1$ ，则由首步分析法我们也可得到 $o$ 常返。因此， $o$ 常返当且仅当之前的方程只有恒为 $1$ 的解。

G_{ij} = E_i V_j = E_i \sum_{n=0}^{\infty} 1_{ \{X_n = j\} } = \sum_{n=0}^{\infty} P_i(X_n = j) = \sum_{n=0}^{\infty} p_{ij}^{(n)},

并称之为马氏链的格林函数。状态 $i$ 常返当且仅当 $G_{ii} = \infty$ 。

用格林函数可以证明：若 $\{S_n\}$ 是 $d$ 维简单随机游动。那么， $d=1$ 或 $2$ 时， $\{S_n\}$ 常返； $d \geq 3$ 时， $\{S_n\}$ 非常返。

G_{ij}^{(D)}:=E_i\sum_{n=0}^{\tau-1} \mathbb{1}_{ \{X_n = j\} }, \quad i,j\in D

为区域 $D$ 上的格林函数。

则 $\{G_{io}^{(D)} : i \in D\}$ 是下列方程组的最小非负解：

x_i = \sum_{j \in S} p_{ij}x_j, \quad \forall i\in D \textbackslash \{o\}; \quad x_o=1+\sum_{j \in S} P_{oj}x_j

其中，对 $i \in D^c$ ，补充定义 $x_i=0$ 。

$G_{ij}^{(D)}$ 关于 $i,j$ 是对称的。

首次离开区域 $D$ 的平均时间 $E_i\tau = \sum_{j \in D} G_{ij}^{(D)}$ 。

定理1. 假设 $\xi_1,\xi_2,\cdots$ 是一列独立同分布的、非退化的随机变量。令 $S_0=0, \ S_n = \xi_1 + \xi_2 + \cdots + \xi_n$ 。假设 $\tau$ 是 $\{S_n\}$ 的停时。若 $E\tau < \infty, E|\xi|<\infty$ ，则 $ES_\tau = E\tau \cdot E\xi$ 。

实际上只需要独立且期望相等。

$E\tau < \infty$ 的约束不能去掉。如从 $0$ 开始的一维简单随机游动， $E\xi_1=0$ ，但 $E_0S_\tau=1$ 。

定理2. 假设 $E\tau<\infty, E\xi=0, E\xi^2 <\infty$ ，且存在 $M\geq0$ 使得任意 $n \leq \tau, |S_n|\leq M$ ，则有 $ES_\tau^2 = E\tau \cdot E\xi^2$ 。