有趣的马尔可夫链

一丝空愁

博彩策略研究院

发表于 2018 8月4日

预测未来 —— 有趣的马尔可夫链
马尔可夫链数学预测
作为概率论的一个重要分支，随机过程撑起了概率论的半壁江山，如今，它广泛使用在诸如天气预报、统计物理、天体物理、运筹决策、经济数学、安全科学、人口理论、可靠性及计算机科学等领域。

自然中存在的随机过程非常广泛，利用随机过程的理论建模，就总也逃不开马尔可夫链，比如我们熟知的液体中颗粒所做的布朗运动、商业活动中所要研究的每天销售情况、在数字通信中的语音信号、视频信号等等。它可以将无规则的运动用数学描述出来，对现实生产生活有着巨大的指导意义！

它究竟是什么，又是如何得到广泛应用的？笔者今天将向大家一一道来。

安德雷·马尔可夫
1856 年出生的马尔可夫是俄国非常有名的数学家，他和切比雪夫、李雅普诺夫一起，将概率论从濒临衰亡的边缘拯救出来。三人中以马尔可夫的贡献尤为重要，潜心向学的马尔可夫，年仅 40 岁就被选为科学院院士，一生中发表的概率论方面的文章或专著共有二十五篇（部）之多。

他研究并提出一个用数学方法就能解释自然变化的一般规律模型，后人将其命名为马尔可夫链（Markov Chain）。

什么是马尔可夫链？
马尔可夫性：过程或（系统）在时刻t0所处的状态为已知的条件下，过程在时刻t>t0所处状态的条件分布与过程在时刻t0之前所处的状态无关的特性称为马尔可夫性或无后效性。

即：过程"将来"的情况与"过去"的情况是无关的。具有马尔可夫性的随机过程称为马尔可夫过程。

马尔可夫链：时间和状态都是离散的马尔可夫过程。

马尔可夫链（Markov Chain），描述了一种状态序列，其每个状态值取决于前面有限个状态。马尔可夫链是具有马尔可夫性质的随机变量的一个数列。这些变量的范围，即它们所有可能取值的集合，被称为“状态空间”，而 Xn 的值则是在时间 n 的状态。如果 Xn+1 对于过去状态的条件概率分布仅是 Xn 的一个函数，则 P{ Xn+1 = in+1 | X0 = i0, ..., Xn = in } = P{ Xn+1 = in+1 | Xn = in } 就称为马尔可夫链。

我们熟悉的泊松过程和维纳过程（布朗运动）都是马尔可夫过程（泊松过程是时间连续状态离散的马尔可夫过程；维纳过程是时间状态都连续的马尔可夫过程。）

这被称为是随机过程中的"转移概率"。这有时也被称作是"一步转移概率"。二、三，以及更多步的转移概率可以导自一步转移概率和马尔可夫性质，同样地，这些式子可以通过乘以转移概率并求
k
−
1
k−1 次积分来一般化到任意的将来时间
n
+
k
n+k。

转移概率矩阵
以天气预测为例，假设天气只有两种状态：晴（S） 和 雨（R），并且：

今天晴，明天晴的概率为 0.7，明天雨的概率为 0.3
今天雨，明天晴的概率为 0.4，明天雨的概率为 0.6
可以用一个状态转移矩阵
P
P 来描述：

P
=
(
0.7
0.3
0.4
0.6
)
P=(
0.7
0.4
​
  
0.3
0.6
​
)
矩阵中
P
i
j
P
ij
​
  表示从状态
i
i 转移到状态
j
j 的概率，每行之和必须等于 1。

如果今天是晴天，用行向量
π
0
=
(
1
,

0
)
π
0
​
=(1, 0) 表示初始状态，那么明天的天气概率为：

π
1
=
π
0
⋅
P
=
(
1
,

0
)
(
0.7
0.3
0.4
0.6
)
=
(
0.7
,

0.3
)
π
1
​
=π
0
​
⋅P=(1, 0)(
0.7
0.4
​
  
0.3
0.6
​
)=(0.7, 0.3)
即明天有 70% 概率是晴天，30% 概率是雨天。后天的概率为：

π
2
=
π
1
⋅
P
=
(
0.7
,

0.3
)
(
0.7
0.3
0.4
0.6
)
=
(
0.61
,

0.39
)
π
2
​
=π
1
​
⋅P=(0.7, 0.3)(
0.7
0.4
​
  
0.3
0.6
​
)=(0.61, 0.39)
n
n 步之后的状态分布一般化为：

π
n
=
π
0
⋅
P
n
π
n
​
=π
0
​
⋅P
n

稳态分布（Stationary Distribution）
当马尔可夫链运行足够多步之后，状态概率会趋近于一个固定值，不再随时间变化，这被称为稳态分布（平稳分布），记为
π
π，满足：

π
⋅
P
=
π
π⋅P=π
以上面的天气为例，设稳态分布
π
=
(
π
S
,

π
R
)
π=(π
S
​
, π
R
​
)，联立方程：

{
π
S
=
0.7
 
π
S
+
0.4
 
π
R
π
R
=
0.3
 
π
S
+
0.6
 
π
R
π
S
+
π
R
=
1
⎩
⎨
⎧
​
  
π
S
​
=0.7π
S
​
+0.4π
R
​

π
R
​
=0.3π
S
​
+0.6π
R
​

π
S
​
+π
R
​
=1
​

解方程得：

π
S
=
4
7
≈
57.1
%
,
π
R
=
3
7
≈
42.9
%
π
S
​
=
7
4
​
≈57.1%,π
R
​
=
7
3
​
≈42.9%
这意味着，无论今天天气如何，长期来看约 57% 的天气是晴天，43% 是雨天。这一结论与初始状态无关——这正是马尔可夫链遗忘历史的本质特性。

有趣的马尔可夫链
看似简单的马尔可夫链，在现实生活中已经无孔不入了！

马尔可夫链一个很重要的应用：语音识别

让机器“听懂”人类的语言，两个马尔可夫模型就解决了：

声学模型： 利用 HMM 建模（隐马尔可夫模型），HMM 是指这一马尔可夫模型的内部状态外界不可见，外界只能看到各个时刻的输出值。对语音识别系统，输出值通常就是从各个帧计算而得的声学特征。

语言模型： N-Gram 最简单有效，所以应用的也最广泛。它基于独立输入假设：第
n
n 个词的出现只与前面
N
−
1
N−1 个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计
N
N 个词同时出现的次数得到。

简单来说，人们利用马尔可夫模型，来计算事件的状态转移概率矩阵，除了语音识别，只要随机过程具有马尔可夫性，都少不了应用马尔可夫链。

拿最常见的天气预报来说，就可以利用马尔可夫链建立天气预测模型。运用马尔可夫链，只需要最近或现在的动态资料则可按转移概率可预测将来，这样就可以很方便地达到预测天气变化的目的。

博彩领域，马尔可夫链的应用同样普遍。以足球博彩为例，可以将一场比赛的进程建模为一个马尔可夫链，状态为当前比分差：主队领先（+1）、平局（0）、客队领先（-1），并根据历史数据估计每分钟的进球转移概率：

P
=
(
0.98
0.01
0.01
0.01
0.98
0.01
0.01
0.01
0.98
)
P=
​
  
0.98
0.01
0.01
​
  
0.01
0.98
0.01
​
  
0.01
0.01
0.98
​
  
​

（行列顺序：主队领先 → 平局 → 客队领先）

从开场平局状态
π
0
=
(
0
,

1
,

0
)
π
0
​
=(0, 1, 0) 出发，经过 90 分钟（90 步转移）后，可以算出比赛结束时主队领先、平局、客队领先的概率，从而辅助投注决策。对于强弱队悬殊的比赛，可以对两队分别设置不同的进球率，即加权马尔可夫链，使模型更贴近实际。

在金融领域，利用马尔可夫链可以进行股指建模、时间序列分析、组合预测模型。甚至著名的 BS 公式（期权定价），也用到了马尔可夫链（维纳过程）。

人穷果然要多读书，同样是博彩，有人求神拜佛，有人早就开始用马尔可夫链建模获取绝对收益了，同样是炒股，有人不断重复赚了赔了的过程，收益跑不过指数不说，还可能亏损，而有人利用马尔可夫链建模，早在一茬茬割韭菜了。

在这个科技发达，信息泛滥的年代，个体的主观判断已经不足以击败科技，在看似无规则的变化中，马尔可夫链为我们揭开了随机过程的神秘面纱，从简单的拼音输入法，到复杂的预测建模，处处都离不开它的应用，小编在这里抛砖引玉，未来期待看到更多关于它的精彩！