BUAA_概率统计_Chap12_马尔可夫链

2022/1/9 6:04:53

本文主要是介绍BUAA_概率统计_Chap12_马尔可夫链,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

第十二章 马尔可夫链

12.1 马尔可夫链的定义

12.1.1 定义

设随机过程 \(\{X(t), t \in T\}\) 的状态空间 \(S\) 是有限集或可列集,对任意正整数 \(n\),对于 \(T\) 内任意 \(n+1\) 个状态参数 \(t_1<t_2<...<t_n<t_{n+1}\) 和 \(S\) 内任意 \(n+1\) 个状态 \(j_1, j_2, ..., j_n, j_{n+1}\),如果条件概率

\[\begin{aligned} &P\{X(t_{n+1}) = j_{n+1}|X(t_1)=j_1, X(t_2)=j_2,...,X(t_n)=j_n\}\\ =&P\{X(t_{n+1})=j_{n+1}|X(t_n)=j_n\} \end{aligned} \]

恒成立,则称此过程为马尔可夫链

12.1.2 马尔可夫链的分类

状态空间 \(S\) 是离散的(有限集或可列集),参数集 \(T\) 可为离散或连续。

12.1.3 离散参数马尔可夫链

1. 转移概率

定义

设离散参数马尔可夫链 \(\{X(t), t = t_0, t_1, t_2, ..., t_n, ...\}\)

条件概率 \(P\{X(t_{m+1})=j|X(t_m)=i\}=p_{ij}(t_m)\) 称为 \(X(t)\) 在时刻(参数)\(t_m\) 由状态 \(i\) 一步转移到状态 \(j\) 的一步转移概率,简称转移概率

条件概率 \(P\{X(t_{m+n})=j|X(t_m)=i\}=p_{ij}^{(n)}(t_m)\) 称为 \(X(t)\) 在时刻(参数)\(t_m\) 由状态 \(i\) \(n\) 步转移到状态 \(j\) 的 \(n\) 步转移概率。

2. \(n\) 步转移概率的性质

对于状态空间 \(S\) 内的任意两个状态 \(i\) 和 \(j\),恒有

  1. \(p_{ij}^{(n)}(t_m)\geq 0\)
  2. \(\sum\limits_{j \in S}p_{ij}^{(n)}(t_m)=1\)

12.1.4 离散参数的齐次马尔可夫链

定义

设离散参数马尔可夫链 \(\{X(t), t = t_0, t_1, t_2, ..., t_n, ...\}\)

如果一步转移概率 \(p_{ij}(t_m)\) 不依赖于参数 \(t_m\),即对任意两个不等的参数 \(t_m\) 和 \(t_k,m\ne k\),有

\[p_{ij}(t_m)=p_{ij}(t_k)=p_{ij} \]

则称此马尔可夫链具有齐次性时齐性,称 \(X(t)\) 为离散参数的齐次马尔可夫链。

12.2 参数离散的齐次马尔可夫链

12.2.1 转移概率矩阵

定义

设 \(\{X(t), t = t_0, t_1, t_2, ..., t_n, ...\}\) 是齐次马尔可夫链,由于状态空间 \(S\) 是离散的,不妨设 \(S=\{0, 1, 2, ...,n, ...\}\) 则对 \(S\) 内的任意两个状态 \(i\) 和 \(j\),由转移概率 \(p_{ij}=P\{X(t_{m+1})|X(t_m)=i\}\) 排序一个矩阵:

\[P= \left( \begin{array} &p_{00}&p_{01}&\cdots&p_{0j}&\cdots\\ p_{10}&p_{11}&\cdots&p_{1j}&\cdots\\ \vdots&\vdots&\ddots&\vdots&\cdots\\ p_{i0}&p_{i1}&\cdots&p_{ij}&\cdots\\ \vdots&\vdots&\vdots&\vdots&\ddots \end{array} \right) \]

称为(一步)转移概率矩阵。

(一步)转移概率矩阵的性质
  1. \(p_{ij}\geq 0\) 即元素均非负
  2. \(\sum\limits_{j\in S}p_{ij}=1\) 即每行和为 \(1\)

具有以上两个性质的方阵称为随机矩阵,转移概率矩阵就是一个随机矩阵。

12.2.2 切普曼-柯尔莫哥洛夫方程

定理

设 \(\{X(t), t=t_0, t_1, t_2, ..., t_n, ...\}\) 是参数离散的马尔可夫链,\(S\) 为其状态空间,则有:

\[p_{ij}^{(n+l)}(t_m)= \sum\limits_{k \in S} p_{ik}^{(n)}(t_m) \cdot p^{(l)}_{kj}(t_{m+n}) \]

称为切普曼-柯尔莫哥洛夫方程(简称 C-K 方程)。

注:
  1. 如果马尔可夫链具有齐次性,那么 C-K 方程化为:\(p_{ij}^{(n+l)}=\sum\limits_{k \in S} p_{ik}^{(n)} \cdot p^{(l)}_{kj}\)

  2. 对于齐次马氏链,当 \(n=l=1\) 时得到 \(p_{ij}^{(2)}=\sum\limits_k p_{ik}p_{kj}\)

    改写为矩阵形式得:\(P^{(2)}=P^2\)

    归纳得到 \(P^{(n)}=P^n,\space n=2,3,...\)

12.2.3 有限维概率分布

1. 初始分布(初始概率)

马氏链 \(\{X(t), t = t_0, t_1, t_2, ...\}\) 在初始时刻 \(t_0\) 的一维概率分布:

\[p_{j}(t_0)=P\{X(t_0)=j\}, \quad j=0, 1, 2, ... \]

2. 绝对分布(绝对概率,瞬时概率)

马尔可夫链在任何时刻 \(t_n\) 的一维概率分布:

\[p_j(t_n)=P\{X(t_n)=j\},\quad j = 0,1,2,... \]


齐次马尔可夫链在时刻 \(t_n\) 的瞬时概率完全由初始分布和 \(n\) 步转移概率所决定:

\[p_j(t_n)=\sum\limits_{i=0}^{+\infty} p_i(t_0)\cdot p_{ij}^{(n)},\quad j=0, 1, 2,... \]

向量形式:

\[\begin{aligned} &\big(p_0(t_n), p_1(t_n), ..., p_j(t_n), ...\big)\\ =&\big(p_0(t_0), p_1(t_0), ..., p_j(t_0), ...\big)\cdot P^n \end{aligned} \]

3. \(n\) 维概率分布

齐次马尔可夫链的参数集和状态空间都是非负整数集。

定理

设齐次马尔可夫链 \(\{X(n), n=0,1,2,...\}\) 的状态空间 \(S=\{0, 1, 2, ...,i, ...\}\),则对 \(T\) 内任意 \(n\) 个非负整数 \(k_1<k_2<...<k_n\) 和 \(S\) 内的任意 \(n\) 个状态 \(j_1, j_2, ...,j_n\),有:

\[\begin{aligned} &P\{X(k_1) = j_1, X(k_2)=j_2, ..., X(k_n) = j_n\}\\ =& \sum\limits_{i=0}^{+\infty}p_i(0)\cdot p_{ij_1}^{(k_1)}\cdot p_{j_1j_2}^{(k_2 - k_1)}...p_{j_{n-1}j_n}^{(k_n-k_{n-1})} \end{aligned} \]

4. 平稳分布

定义

对于齐次马尔可夫链 \(\{X(t), t = t_0, t_1, t_2, ...\}\),如果存在一维概率分布 \(p_j\space j=1,2,...\),满足:

\[p_i=\sum\limits_{i=0}^{+\infty}p_ip_{ij} \]

\[(p_0, p_1, p_2, ..., p_j, ...)=(p_0, p_1, p_2, ..., p_j, ...)\cdot P \]

则称 \(p_j,\space j=0,1,2,...\) 为平稳分布,称 \(X(t)\) 具有平稳性,是平稳齐次马尔可夫链。

定理

如果齐次马尔可夫链 \(\{X(t), t=t_0, t_1, t_2,...\}\) 的初始分布 \(p_j(t_0)=P\{X(t_0)=j\},\space j=0,1,2,...\) 是一个平稳分布,则对 \(\forall n\)

\[p_j(t_n) = P\{X(t_n)=j\}=p_j(t_0),\space j=0,1,2,... \]

\[\big(p_0(t_n), p_1(t_n), ..., p_j(t_n), ...\big) =\big(p_0(t_0), p_1(t_0), ..., p_j(t_0), ...\big) \]

是一个严平稳时间序列。



这篇关于BUAA_概率统计_Chap12_马尔可夫链的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程