马氏链模型（Markov Chain）

• 对于有随机因素影响的动态系统，系统从这个时期到下个时期的状态按照一定的概率进行转移，并且下个时期的状态只取决于这个时期的状态和转移概率。
• 无后效性：已知现在，将来与历史无关。
• 具有无后效性，时间、状态均为离散的随机转移过程通常用马氏链模型描述。

实例1：健康与疾病

• 本实例介绍马氏链的基本概念，以及两种主要类型——正则链和吸收链。

人的健康状态随时间的推移会发生转变，人寿保险公司要通过对状态转变的概率做出估计，才能确定出不同年龄、不同健康状况的人的保险金和理赔金数额，下面分两种情况进行讨论：

情况一：

• 把人的健康状况分为健康和疾病两种，以一年为一个时段研究状态的转变。假定对某一年龄段的人，今年健康，明年转为疾病状态的概率为0.2；今年患病，明年转为健康的概率为0.7。
• 如果一个人投保时处于健康状态，我们研究以后若干年他分别处于这两种状态的概率。
• 用随机变量 $X_n$ 表示第 $n$ 年的状态，$X_n=1$ 表示健康，$X_n=2$ 表示疾病，$n=0,1,2,...$，用 $a_i(n)$ 表示第 $n$ 年处于状态 $i$ 的概率，$i=1,2$，即 $a_i(n)=P(X_n=i)$。
• 用 $p_{ij}$ 表示已知今年状态处于状态 $i$，来年状态处于状态 $j$ 的概率，$p_{ij}$ 称为状态转移概率。
• 显然，第 $n+1$ 年的状态 $X_{n+1}$ 只取决于第 $n$ 年的状态 $X_n$ 和转移概率 $p_{ij}$，而与以前的状态 $X_{n-1},X_{n-2},...$ 无关，即状态转移具有无后效性。
• 第 $n+1$ 年的状态概率可由全概率公式得到：
  { a 1 ( n + 1 ) = a 1 ( n ) p 11 + a 2 ( n ) p 21 a 2 ( n + 1 ) = a 1 ( n ) p 12 + a 2 ( n ) p 22 \left\{
  a1(n+1)=a1(n)p11+a2(n)p21a2(n+1)=a1(n)p12+a2(n)p22" role="presentation" style="position: relative;">a1(n+1)=a1(n)p11+a2(n)p21a2(n+1)=a1(n)p12+a2(n)p22$$\begin{array}{l}{a}_1(n+1)=a_1(n)p_{11}+a_2(n)p_{21}\\ a_2(n+1)=a_1(n)p_{12}+a_2(n)p_{22}\end{array}$$
  \right. {a1​(n+1)=a1​(n)p11​+a2​(n)p21​a2​(n+1)=a1​(n)p12​+a2​(n)p22​​
• 由前 $p_{11}=0.8,p_{12}=0.2,p_{21}=0.7,p_{22}=0.3$，投保人开始时处于健康状态，即 $a_1(0)=1,a_2(0)=0$ 立即可以算出以后各年他处于两种状态的概率 $a_1(n),a_2(n),n=1,2,\cdots ,$ 如下表：
  
• 通过计算可以发现，无论初始状态概率是否相同，对于给定的状态转移概率，$\mathbf{n}\to \infty$ 时，状态概率 $a_1(n),a_2(n)$ 趋于稳定值，该值与初始状态无关，这是一种主要的马氏链类型的重要性质。

情况二：

• 把人的死亡作为第3种状态，用 $X_n=3$ 表示，今年健康、明天可能因突发疾病或偶然事故而死亡，今年患病、明年更可能转为死亡，而一旦死亡就不能再转为健康或疾病状态。
• 用 $a_i(n)$ 表示第 $n$ 年处于状态 $i$ 的概率，$i=1,2,3$，用 $p_{ij}$ 表示状态转移概率。特别注意，$p_{31}=p_{32}=0,p_{33}=1$
• 第 $n+1$ 年的状态概率可由全概率公式得到：
  { a 1 ( n + 1 ) = a 1 ( n ) p 11 + a 2 ( n ) p 21 + a 3 ( n ) p 31 a 2 ( n + 1 ) = a 1 ( n ) p 12 + a 2 ( n ) p 22 + a 3 ( n ) p 32 a 3 ( n + 1 ) = a 1 ( n ) p 13 + a 2 ( n ) p 23 + a 3 ( n ) p 33 \left\{
  a1(n+1)=a1(n)p11+a2(n)p21+a3(n)p31a2(n+1)=a1(n)p12+a2(n)p22+a3(n)p32a3(n+1)=a1(n)p13+a2(n)p23+a3(n)p33" role="presentation" style="position: relative;">a1(n+1)=a1(n)p11+a2(n)p21+a3(n)p31a2(n+1)=a1(n)p12+a2(n)p22+a3(n)p32a3(n+1)=a1(n)p13+a2(n)p23+a3(n)p33$$\begin{array}{l}{a}_1(n+1)=a_1(n)p_{11}+a_2(n)p_{21}+a_3(n)p_{31}\\ a_2(n+1)=a_1(n)p_{12}+a_2(n)p_{22}+a_3(n)p_{32}\\ a_3(n+1)=a_1(n)p_{13}+a_2(n)p_{23}+a_3(n)p_{33}\end{array}$$
  \right. ⎩ ⎨ ⎧​a1​(n+1)=a1​(n)p11​+a2​(n)p21​+a3​(n)p31​a2​(n+1)=a1​(n)p12​+a2​(n)p22​+a3​(n)p32​a3​(n+1)=a1​(n)p13​+a2​(n)p23​+a3​(n)p33​​
• 算得的结果如下表所示：
  
• 表中的最后一列时根据计算数值的趋势猜测的，可以看到，不论初始状态如何，最终都要转到状态3.

马氏链的基本概念

马氏链及其基本方程

• 按照系统的发展，时间离散化为 $n=0,1,\mathrm{2...}$，对每个 $n$ ，系统的状态用随机变量 $X_n$ 表示，设 $X_n$ 可取 $k$ 个离散值 $X_n=1,2,...,k$，且记 $a_i(n)=P(X_n=i)$，即状态概率。
• 如果$X_{n+1}$ 的取值只取决于 $X_n$ 的取值及转移概率，而与 $X_{n-1},X_{n-2},...$ 的取值无关，那么这种离散状态按照离散时间的随机转移过程称为马氏链。
• 由状态转移的无后效性和全概率公式可以写出马氏链的基本方程为：
  $$a_i(n+1)=\sum _{j=1}^k{a}_j(n)p_{ji},i=1,2,\cdots ,k$$
  并且满足：
  ∑ i = 1 k a i ( n ) = 1 , n = 0 , 1 , 2 , ⋯ p i j ⩾ 0 , i , j = 1 , 2 , ⋯   , k ∑ j = 1 k p i j = 1 , i = 1 , 2 , ⋯   , k
  ∑i=1kai(n)=1,n=0,1,2,⋯pij⩾0,i,j=1,2,⋯,k∑j=1kpij=1,i=1,2,⋯,k" role="presentation" style="position: relative;">∑ki=1ai(n)=1,pij⩾0,∑kj=1pij=1,n=0,1,2,⋯i,j=1,2,⋯,ki=1,2,⋯,k$$\begin{array}{ll}\sum _{i=1}^k{a}_i(n)=1,& n=0,1,2,\cdots \\ p_{ij}⩾0,& i,j=1,2,\cdots ,k\\ \sum _{j=1}^k{p}_{ij}=1,& i=1,2,\cdots ,k\end{array}$$
  ∑i=1k​ai​(n)=1,pij​⩾0,∑j=1k​pij​=1,​n=0,1,2,⋯i,j=1,2,⋯,ki=1,2,⋯,k​
  引入状态概率向量（行向量）和转移概率矩阵（简称转移矩阵）：
  a ( n ) = ( a 1 ( n ) , a 2 ( n ) , ⋯   , a k ( n ) ) , P = { p i j } k × k a(n)=\left(a_{1}(n), a_{2}(n), \cdots, a_{k}(n)\right), P=\left\{p_{i j}\right\}_{k \times k} a(n)=(a1​(n),a2​(n),⋯,ak​(n)),P={pij​}k×k​
  则基本方程可以表示为：
  $$a(n+1)=a(n)P$$
  还可以得到：
  $$a(n)=a(0)P^n$$
  转移矩阵 $P$ 是非负阵，$P$ 的行和为1，称为 随机矩阵。
• 马氏链模型最基本的问题是构造状态 $X_n$ 及写出转移矩阵 $P$，这里的转移矩阵与时段 $n$ 无关，这种马氏链称为时齐的。

马氏链的两个重要类型

正则链 这类马氏链的特点是，从任意状态出发经过有限次转移都能达到另外的任意状态。