每个数据科学家一旦开始研究统计模型，就会遇到马尔可夫链和马尔可夫过程这两个术语。本文将以一种易于理解的方式解释马尔可夫过程的基本概念。

马尔可夫链广泛应用于金融、汽车、食品、博彩业，在日常生活中几乎无处不在。因此，这是所有统计学家必须知道的话题。

天气、赌博、股价、人类行为等都是马尔可夫过程。

文章主旨

本文旨在解释以下关键主题：

1， 什么是马尔可夫过程？

2， 什么是马尔可夫链？

3， 马尔可夫链实例

4， 什么是平稳马尔可夫链分布？

1， 什么是马尔可夫过程？

让我们考虑一个物体以随机的方式移动。这个对象可以是足球、考虑下一步的棋手、汇率、股票价格、汽车运动、客户在队列中的位置、在路上移动的人、足球场上的运动员等等。

这些物体以随机的方式移动。因此，我们可以得出结论，物体在本质上是随机的。这些对象基本上代表了整个系统。有趣的是，所有这些系统都可以有马尔可夫性质。

什么是马尔可夫性质？

如果一个物体以一种随机的方式运动，并且它的运动是无记忆的，那么这个物体就具有马尔可夫性质。

作为一个例子，我们假设我们的目标对象是一个被一群足球运动员踢来踢去的足球。接下来足球可以在任何状态下进行。作为一个例子，它可以左右移动。如果我们的目标对象是一个公司的股票价格，那么它接下来可以得到任何数值，比如0.999，1，2，3等等。现在，我们在上面说马尔可夫性质是无记忆的。它意味着物体的未来运动只取决于它的当前状态。这是最重要的概念。

马尔可夫性质是无记忆的，这就引出了马尔可夫链的概念。

2， 什么是马尔可夫链？

让我们考虑一个物体以随机的方式移动，对象（或系统）的状态可以更改。这种变化称为跃迁，每个跃迁都有与其他跃迁相关联的概率。

因此，这个数学系统可以从一种状态过渡到另一种状态，这种过渡是基于概率的。

系统是一个随机过程的例子。假设它可以处于状态A或状态B。我们还可以考虑，当对象处于状态A时，它保持在状态A的可能性为40%，转换为状态B的可能性为60%，如下所示：

示例状态机

需要注意的关键是进程具有马尔可夫性质，这意味着它是无记忆的。因此，未来转变的可能性并不依赖于过去的状态。它们只取决于当前的状态。这就是我们认为它没有记忆的原因。

马尔可夫链是一个具有马尔可夫性质的随机过程。

马尔可夫链表示物体的随机运动。它是随机变量的序列Xn，其中每个随机变量都有一个与其相关联的转移概率。每个序列也有一个初始概率分布π。

考虑一个可以处于三种状态之一的对象{A，B，C}。随后，这个对象从状态A开始，可以转到另一个状态B或状态C，依此类推。所有状态A、B、C等都在状态空间中（状态空间是所有可能状态的集合）。

马尔可夫链的组成

这就引出了马尔可夫链的两个主要组成部分：

1.1， 状态空间

状态空间是随机系统可能处于的所有状态（位置）的集合。

它被表示为S。作为一个实例，S可以是{up，down}或{top，bottom}或{1.1，2.2，…}或{positive，negative，neutral}或{A A A，AA，A，B，D，E..}等。

需要注意的是，S是状态空间，它是对象可能处于的所有状态的集合。

1.2， 转移概率

第二部分是转移概率。转移概率是一个概率表。表中的每个条目i，j都告诉我们对象从状态i转换到状态j的概率。

因此，所有需要等于或大于0的状态都有一个相关的概率。另外，概率值之和需要为1。

转移概率告诉我们物体可能处于的下一个状态及其相关概率。因此，对象的下一步移动仅依赖于其当前值。

假设我们有一个转移概率矩阵：

上表显示，如果目标对象处于"向上"状态，则它有60%的机会过渡到"向下"状态，40%的机会保持在"向上"状态。此外，如果目标对象处于"向下"状态，则有60%的可能性它将过渡到"向上"状态，40%的可能性它将保持在"向下"状态。

需要注意的关键是，只需要知道当前状态就可以确定未来状态的概率分布。任何其他历史信息都是毫无意义的。

3， 马尔可夫链实例

本节将用一个易于理解的例子来解释马尔可夫链的概念。

让我们考虑一下，我们试图预测交易对手名单的评级。每个交易对手都有当前评级。例如，交易对手Alpha可以有等级A、B或C。因此，{A、B、C}是状态空间中的状态。

我们得到了一个转移概率矩阵。这个矩阵也称为随机矩阵。转移概率矩阵告诉我们交易对手转移到另一个评级的概率。

交易对手评级状态空间={A，B，C}

转换矩阵：

需要注意的是，概率行或列的总和是1。

因此，如果交易对手的评级为a，则有30%的机会将其转换为C级，50%的机会将其自身转换为B级，而它有20%的机会保持在a级。 随机过程也有一个概率分布，我将很快解释。

这就引出了重要的定理：

如果一个马尔可夫链是{Xn}，并且有一个状态空间S，具有转移概率{pij}，其初始概率分布为{μi}，那么对于作为S元素的任何i，我们得到：

P（X1=i）=∑μₖPₖi（S的所有k元素之和）

因此，我们还应考虑交易对手的当前概率分布如下：

对于评级为a的交易对手，其评级为0.5

对于评级为B的交易对手，其评级为0.1

对于评级为C的交易对手，其评级为0.4。

马尔可夫链的概率分布可用行向量π表示，如下所示：

概率分布加起来是1。

有了这些信息，我们可以开始更好地理解这个过程。随着时间的推移，我们可以开始估计物体处于特定状态的概率。例如，对于下一个评级为C的交易对手，我们可以将所有状态的当前概率分布和转移概率的乘积相加：

P(X1=C) = (0.5*0.3) + (0.1*0.4) + (0.4*0.3) = 0.31

它告诉我们，大约31%的时候，这个交易对手在一个步骤后将获得C级评级。一旦我们有了这些信息，我们就可以开始以更高的置信度预测一个以随机移动的物体。

4， 什么是平稳马尔可夫链分布？

这就带来了随机变量的稳定性。这是本文的最后一个重要部分。本节将介绍马尔可夫链的平稳分布问题。

假设我们的目标随机过程需要被估计，我们想了解随机过程的稳定性。

我们知道马尔可夫链具有概率分布。平稳这个词意味着主体是恒定的，我们知道我们的随机对象可以移动到任何可能的状态。这个例子中的主体是随机过程的概率分布，而不是随机对象本身。

因此，如果一个马尔可夫链的统计分布是平稳的，那么它意味着分布不会随着时间的推移而改变。

因此，如果转移矩阵是P，概率分布是π，那么马尔可夫链的平稳分布是π=π*P

这是一个非常重要的概念。它告诉我们，无论具有平稳概率分布的系统在开始时在哪里，随着时间的推移，系统在一个状态下花费的时间量将与其概率分布近似。

而且，链的概率总是和它开始的概率一样。

如果{Xₙ}是一个马尔可夫链，并且它具有平稳分布{πᵢ}，那么如果对于所有i都有P（Xₙ=i）=πᵢ，那么只要m>n ，就有P（Xₘ=i）=πᵢ（对于所有i）。

这些信息可以帮助我们预测随机过程。

5， 总结

本文解释了以下关键问题：

1， 什么是马尔可夫过程？

2， 什么是马尔可夫链？

3， 马尔可夫链实例

4， 什么是平稳马尔可夫链分布？

链接地址：

翻译人：tensor-zhang