概率图模型是在概率模型的基础上，使用了基于图的方法来表示概率分布，是一种通用化的不确定性知识表示和处理方法，在人工智能、机器学习和计算机视觉等领域有广阔的应用前景。

概率图模型简介

根据图模型的边是否有向，概率图模型通常被划分为有向概率图模型和无向概率图模型，概率图模型可以表示如下所示的树形结构。

有向图VS无向图

有向图(Digraph)： 若图G的关系集合E(G)中，顶点偶对<v,w>的v和w之间是有序的，称图G是有向图。

有向图

无向图(Undigraph)： 若图G的关系集合E(G)中，顶点偶对<v,w>的v和w之间是无序的，称图G是无向图。

无向图

在概率图模型中，数据(样本)由公式G=(V,E)建模表示：

· V表示节点，即随机变量（放在此处的，可以是一个token或者一个label），具体地，用Y=(y1,y2…yn)为随机变量建模，注意Y现在是代表了一批随机变量（想象对应一条sequence，包含了很多的token）， P(Y)为这些随机变量的分布；

· E表示边，即概率依赖关系。

生成式模型VS判别式模型

生成式模型(或称产生式模型)与区分式模型(或称判别式模型)的本质区别在于模型中观测序列x和状态序列y之间的决定关系，前者假设y决定x，后者假设x决定y。

生成式模型以状态序列y按照一定的规律生成观测序列x为假设，针对联合分布p(x,y)进行建模，并且通过估计使生成概率最大的生成序列来获取y。生成式模型是所有变量的全概率模型，因此可以生成所有变量的值。在这类模型中一般都有严格的独立假设，特征是事先给定的，并且特征之间的关系直接体现在公式中。

这类模型的优点是：处理单类问题时比较灵活，模型变量之间的关系比较清楚，模型可以通过增量学习获得，可用于数据不完整的情况。其弱点在于模型的推导和学习比较复杂。

典型的生成式模型有：n元语法模型、HMM、朴素贝叶斯分类器、概率上下文无关文法等。

判别式模型符合传统的模型分类思想，认为y(状态序列)由x(观测序列)决定，直接对后验概率p(y|x)进行建模，它从x中提取特征，学习模型参数，使得条件概率符合一定形式的最优。

这种模型的优点是：处理多分类问题或分辨某一类与其他类之间的差异比较灵活，模型简单，容易建立和学习。其弱点在于模型的描述能力有限，变量之间的关系不清楚，而且大多数判别式模型是有监督的学习方法，不能扩展成无监督学习方法。

典型的判别式模型有：最大熵模型、条件随机场、支持向量机、最大熵马尔可夫模型、感知机等。

概率图模型介绍

动态贝叶斯网络(DBN)用于处理随时间变化的动态系统中的推断和预测问题。其中，隐马尔科夫模型(HMM)在语音识别、汉语自动分词与词性标注和统计机器翻译等若干语音语言处理任务中得到了广泛应用；卡尔曼滤波器则在信号处理领域有广泛的应用。

马尔可夫网络下的条件随机场广泛应用于自然语言处理中的序列标注、特征选择、机器翻译等任务，玻尔兹曼机近年来被用于依存句法分析和语义角色标注等。

下图从纵横两个维度诠释了概率图模型的演变过程。横向：由点到线(序列结构)、到面(图结构)。纵向：在一定条件下生成式模型转变为判别式模型，朴素贝叶斯演变为逻辑回归，隐马尔可夫模型演变为线性链式条件随机场，生成式有向图模型演变为通用条件随机场。