机器之心分析师网络

作者：Jiying

编辑：H4O

本文结合《Explanation decisions made with AI》指南，重点对算法的应用场景和可解释性分析进行了梳理总结。

英国的 Information Commissioner’s Office （ICO）和 The Alan-Turing Institute 联合发布了《Explanation decisions made with AI》指南。该指南旨在为机构和组织提供实用建议，以帮助向受其影响的个人解释由 AI 提供或协助的程序、服务和决定，同时帮助机构和组织遵循欧盟 GDPR 等与个人信息保护相关的政策要求。该指南分为三个部分，第 1 部分：可解释 AI 的基础知识；第 2 部分：可解释 AI 的实践；第 3 部分：可解释 AI 对机构 / 组织的意义。指南最后给出了主流的 AI 算法 / 模型的适用场景，以及对这些算法 / 模型的可解释性分析，可作为实践任务中结合应用场景特点选择能够满足领域要求的可解释性的 AI 算法 / 模型的参考。

本文结合《Explanation decisions made with AI》指南，重点对算法的应用场景和可解释性分析进行了梳理总结。此外，我们还解读了一篇医学领域可解释性方法的最新论文—《评估药物不良事件预测中基于注意和 SHAP 时间解释的临床有效性》，以了解关于可解释性方法的最新研究进展。

1、算法的应用场景和可解释性分析

《Explanation decisions made with AI》指南给出了主流的 AI 算法 / 模型的适用场景，以及对这些算法 / 模型的可解释性分析，作者对主流模型的可解释性情况进行了梳理总结。

2、评估药物不良事件预测中基于注意力机制和 SHAP 时间解释的临床有效性

可解释的机器学习是一个新兴的领域，它尝试以更人性化的方式帮助我们理解黑盒分类器模型的决策。特别是对于医疗领域，可解释性对于提供公开透明的分析和合法的决策结果至关重要。具备可解释性，一线医疗利益相关者就可以信任模型的决定并采取适当的行动。此外，全面的可解释性能够确保医疗实施的用户可能获取监管权利，例如根据欧盟通用数据保护条例（GDPR）："获得解释的权利"。

在医疗领域，深度学习模型应用于电子健康记录（Electronic Health Record，EHR）数据获得了很好的效果。例如循环神经网络（RNN）能够有效捕捉 EHR 中时间相关的和异质的数据复杂性。然而，RNNs 的一个主要缺点是缺乏内在的可解释性。在过去的研究过程中，已经产生了几种使 RNNs 更具解释性的方法，例如，通过引入注意力机制使模型本身更易解释，如用 RETAIN；事后可解释性框架（如 SHAP）可以应用于概述 RNNs 的时间解释等等。

RETAIN[2]：用于分析 EHR 数据以预测病人未来出现心力衰竭的风险。RETAIN 受注意力机制启发，通过使用一个两层的神经注意力模型，并对 EHR 数据进行逆序输入系统，模拟医生满足病人需求及分析病人记录时专注于病人过去诊疗记录中某些特殊临床信息、风险因素的过程，在保证预测结果准确性（Accuracy）的同时确保了结果的可解释性（interpretability）。

SHAP[3]：来自于博弈论原理，SHAP（SHapley Additive exPlanations）为特征分配特定的预测重要性值，作为特征重要性的统一度量，能够解释现代机器学习中大多数的黑盒模型，为机器学习模型量化各个特征的贡献度。给定当前的一组特征值，特征值对实际预测值与平均预测值之差的贡献就是估计的 Shapley 值。

然而，关于医学预测领域 RNN 的可解释技术所提供的时间解释的质量，还存在着研究空白。支持和反对使用注意力作为解释方法的论点都存在，一些证据表明，使用注意力得分可以提供足够的透明度来解释单个特征如何影响预测结果。而还有一些证据则质疑了注意力机制的有效性，因为注意力值和更直观的特征重要性测量之间的相关性很弱。在实践中，用于模型解释的可视化平台已经成功地利用了注意力分数来为医学预测提供解释。然而，使用注意力值的整体效用还需要更深入的验证，特别是与利用其他可解释方法（如 SHAP）相比。

本文的主要目标是探索具有内在可解释性的 RNN 通过注意力机制能够在多大程度上提供与临床兼容的时间解释，并评估这种解释应该如何通过应用事后方法来补充或取代，例如对黑盒 RNN 的 SHAP。本文具体在药物不良事件（Adverse Drug Event，ADE）预测的医学背景下探讨这个问题。结合我们所解读的《Explanation decisions made with AI》指南，这篇文章所讨论的是典型的必须应用非线性统计技术的情况。在上一章节的梳理中，指南已经明确“由于曲线（极端非线性）的倾向和输入变量的高维度，导致 ANN 非常低的可解释性。ANN 被认为是 "黑盒" 技术的缩影。在适当的情况下，应当引入解释工具辅助 ANN 的使用。”。因此，本文所做的工作就是为应用于医学领域的 ANN 方法引入适当的辅助解释工具（注意力机制和 SHAP 时间解释）。当然，正如我们在之前的解读中分析的，在一些应用场景中，简单的白盒模型 / 方法无法满足应用需要，为了保证较高的准确度 / 预测率，有时必须采用黑盒算法 / 模型。而如何在这种情况下通过引入辅助解释工具帮助模型 / 系统的用户更好的理解解释，就是下面这篇论文会详细介绍的了。

2.1 方法介绍

令ε={P1,...,Pn}表征 n 个病人的数据库。Pj 表征 K 个病人就诊数据记录，Pj = {x_1, . . , x_k}，其中，x_k 发生在时间点 t_k，包含一组描述该次诊疗的医疗变量，考虑到第 j 个病人在时间点 t-1 的病史数据 Pj={x_1, . . . , x_t-1}，我们的任务是预测时间点 t 的 ADE 的发生，并准确地解释为什么使用病人病史的整个时间结构来预测这种 ADE。为了解决这个问题，本文将 RNN 模型和可解释性技术结合起来，对全局和局部解释的方法进行了比较和临床验证的分析。

SHAP 框架确定了加法特征重要性方法的类别，以提供模型无关的解释。SHAP 已经成为一种流行的模型可解释性方法，因为它拥有多种理想的特性，即全局一致的解释，这是其他事后方法所不能提供的，在这些方法中，局部定义的预测可能与全局模型的预测不一致。SHAP 建立在使用博弈论中的 Shapley 值的基础上，在博弈论中，通过将不同的特征视为联盟中的不同玩家来计算特定特征值对选定预测的影响。这些特征中的每一个都可以被看作是对预测的相对贡献，这些贡献可以通过计算可能的联盟中的边际贡献的平均值而被计算为 Shapley 值。

Shapley 值（表示为φ_ij），可以理解为每个特征值 x_ij 对每个样本 i 和特征 j 的预测偏离数据集的平均预测的程度。在本研究中，每个医疗变量的 Shapley 值是针对病史中的每个时间点计算的，以解释每个医疗变量对预测的影响是如何高于或低于基于背景数据集的预测平均值的。

递归神经网络（RNN）是前馈神经网络模型的概括，用于处理连续的数据，拥有一个持续的内部状态 h_t，由 j 个隐藏单元 h_j 组成，作为处理连续状态之间的依赖关系的记忆机制，在本文案例中具体是指跨时间点的病人诊疗信息。

本文希望采用一个基本的 RNN architechure 与 SHAP 相结合，它应该能够达到与 RETAIN 相当的性能水平，以帮助直接比较有效性解释方法，而不会因为过度追求可解释性而影响了模型本身的性能。具体的，本文基本 RNN 模型的内部状态由门控递归单元（GRU）组成，通过迭代以下方程定义：

其中，r_j 为复位门，它决定了一个状态中的每一个第 j 个隐藏单元的前一个状态被忽略的程度；h_t-1 是上一个隐藏的内部状态；W 和 U 是包含由网络学习的参数权重的矩阵；z_j 是一个更新门，决定了隐藏状态应该如何被更新为新的状态 h_new；(h_j)^t 表示隐藏单元 h_j 的激活函数；sigm( )表示 sigmoid 函数；◦是 Hadamard 积。

本文采用与 SHAP 相结合的 GRU 架构，包括两个 128 个单元的堆叠的 GRU 隐藏层，然后是 dropout 层，最后是一个全连接层，通过一个 softmax 函数产生输出分类概率ˆy。

为了收集基于注意力的时间解释，本文采用了 RETAIN 的 RNN 架构，在预测阶段，基于注意力的贡献分数可以在单个医学变量层面上确定。这个 RNN 首先由输入向量 x_i 的线性嵌入组成：

v_i∈R^m 是二进制输入向量 x_i∈R^V 的嵌入，W_emb∈R^(m xV)是嵌入的权重向量，m 是 V 个医疗变量的嵌入维度。使用两个 RNNs，RNNa 和 RNNb 分别用于生成访问和可变水平的注意力向量α和β。注意力向量是通过在时间上向后运行 RNN 来生成的，这意味着 RNNα和 RNNβ都以相反的顺序考虑访问嵌入。最后，我们得到每个病人在第 i 次就诊前的情况向量 c_i：

然后，最终预测结果的计算方法如下：

基于注意力的贡献得分可以确定对某一预测贡献最大的访问和医疗变量。分数可以用下式计算：

在本文研究中，根据 RNN-GRU 模型修改了 SHAP，使用的是原始 SHAP 实现的修改代码库。作者采用了深度学习模型的梯度解释方法，该方法基于预期梯度，使用 1000 个随机样本的背景数据，为每个预测提供 Shapley 值的近似值。作者表示，这种特殊的近似处理并不保证 SHAP 的每一个属性，但对于本文的目标来说是合适的。

2.2 验证方法介绍

本研究使用的数据库由 1,314,646 名患者的诊断、药物和文本记录组成，这些记录来自斯德哥尔摩大学的瑞典健康记录研究银行（HealthBank）；这是一个匿名的患者记录数据库，最初来自瑞典斯德哥尔摩卡罗林斯卡大学医院的 TakeCare CGM 患者记录系统。诊断由《国际疾病和相关健康问题统计分类》第十版（ICD-10）中的标准化代码组成。药物是根据解剖学治疗化学分类系统（ATC）进行编码的。为了减少问题的复杂性，并增加病人的匿名性，非 ADEICD-10 和 ATC 代码被减少到其更高层次的等级类别，通过选择每个代码的前三个字符获得。此外，就诊是以月为单位定义的，这意味着在一个日历月内分配给病人的所有代码和药物的组合构成了一次就诊记录。患者需要拥有至少三次这样的记录，相当于至少三个月的数据。与 ADE 相关的词袋特征也被提取为二元医学变量。本研究使用了 1813 个医疗变量，包括 1692 个 ICD-10 编码，109 个 ATC 编码和 12 个关键词特征。

评估实验将数据随机划分为训练集、验证集和测试集，比例分别为 0.7、0.1 和 0.2。在验证集上呈现最佳 AUC 的训练 epoch 所对应的模型配置部署在测试集上。为每位患者分配了一个二进制标签，以表示在他们最后一次就诊时是否有 ADE。每个病人样本都是由包含医疗变量的就诊序列组成的，删除最后一次就诊记录。为了适应因 ADE 相对罕见而导致的类别不平衡问题，作者通过对多数类别的低度取样创建了一个平衡的训练集，其中利用了整个训练集的一个随机分区。为了说明模型行为的可变性，作者使用 3 个随机模型和数据分区配置的平均值生成最终结果。在直接性能比较中，RNN-GRU 被配置成与 RETAIN 相同的多对一格式，并使用跨熵损失函数进行训练。默认情况下，模型输出大于 0.5 就会映射出一个正向 ADE 预测结果。

为了建立一个用于评估所研究的可解释方法的临床基本事实，本文实验过程中总共招募了 5 位医学专家，他们拥有医学学位和丰富的临床药理学经验。在第一阶段的结构化调查中，这些专家被要求对通过 SHAP 和注意力方法确定的全局医学变量进行打分，最终收录了每种方法的前 20 个变量。评分包括从 - 5 到 5 的整数，0 不包括在内，其中 - 5 代表该变量与不发生 ADE 的可能性有非常高的关联，而 5 代表变量与发生 ADE 的可能性有非常高的关联。然后计算出临床医生变量得分的平均值。其次，实验要求医学专家对 10 个有代表性的个体病人记录中的医疗变量进行同样的评分，这些记录包含了直接发生在两个 RNN 都正确预测的 ADE 之前的医疗变量的历史。这是一个案例研究任务，受试者对与过敏相关的 ADEs T78.4、T78.3 和 T78.2 的发生有关的变量进行评分。此外，受试者还被要求考虑变量本身的重要性、与其他变量的相互作用，以及过敏性疾病发生前的时间段。考虑时间的方法是将相同医疗变量的历史记录作为月度窗口输入 RNN 模型。临床医生提供的平均分数被用作评估可解释方法对同一批（10 份）病人记录所提供的解释的基本事实。

本文使用 Top-k Jaccard 指数比较两种可解释方法与临床专家得分的相似性，该指数定义为交集大小除以原始集合中排名最高的前 k 个子集的联合大小。排名是根据从临床专家反应的平均值或从可解释性方法返回的 Shapley 值或注意力贡献分数分别计算出的降序绝对分数来定义的。最后，向医学专家展示了如何将解释方法可视化的示例，并要求他们思考这些解释是否适用于现实生活中的临床情况。

2.3 验证结果

表 1 给出了 RETAIN 与 RNN-GRU 配置在 AUC 和 F1-Score 方面的性能比较，由表 1 中的结果可看出，用于生成解释的模型在两个模型中的性能相似，RETAIN 的性能略胜一筹。

表 1. 在多对一预测配置中为所选架构指定的 ADE 预测的 ROC 曲线下的经验测试集面积和微型 F1 分数

2.3.1 全局特征重要性

图 1 和图 2 是两种方法对医学变量的前 20 个全局重要性排名，显示了平均绝对 SHAP 值，以及数据测试集中顶级特征的平均绝对关注值。图 3 显示的是所述的利益相关者参与方法产生的临床专家平均绝对分数，用于对医学变量进行评分。为清晰起见，作者通过计算所有病人就诊中出现特定医疗变量的每个例子的贡献系数分数的平均绝对值，来报告注意力贡献分数的全局重要性。

图 1. 根据 RETAIN 模型的平均注意力贡献得分，排名最前的医学变量。ATC 代码前缀为 "M"

图 2. 根据平均 SHAP 值对 RNN-GRU 模型输出的影响，排名靠前的医疗变量。ATC 代码前缀为 "M"。标记为 KWord * 的关键词特征

图 3. 根据临床专家定义的分数，排名靠前的医疗变量。ATC 代码前缀为'M'

表 2 给出了 SHAP 和注意力排名与医学专家排名的 top-k Jaccard 指数比较结果，由表 2 可看出与注意力排名相比，SHAP 在每个 k 值上都提供了与医学专家更相似的总体解释。

表 2. 可解释性方法和临床专家对最重要的医疗变量的排名之间的 Top-k Jaccard 相似性比较

2.3.2 过敏症 ADEs 的个别解释的案例研究

表 3 给出了过敏症 ADEs 案例研究的结果，将 10 个有代表性的案例的平均临床专家得分排名与注意力和 SHAP 提供的同等解释得分排名进行比较。对于每个 Jaccard 指数，所选的前 k% 基于注意力的得分与临床得分最相似。

表 3. 可解释性方法和临床专家对单个病人记录中最重要的医疗变量的平均 Top-k% Jaccard 相似度比较

2.3.3 对临床遇到的问题进行可视化解释的反馈

图 4 展示了 SHAP 的时间解释，表 4 给出了注意力机制的对应时间解释。SHAP 解释是通过 SHAP 的特征相加的性质来提供的，以便直观地看到医疗特征的存在或不存在是如何通过它们在每个时间点的 Shapley 值的总和来定义预测的。对于注意力的解释，这种可视化是不可能的，因为贡献值只反映相对重要性。

受试者得到了两种方法的描述，并被要求回答：他们更喜欢哪种解释，他们在理解解释时面临哪些挑战，以及对改进解释的建议。首先，5 位专家中的 4 位更喜欢 SHAP 提供的解释，原因是它是一个更简单的解释，能够比注意力解释更有效地理解 ADE 风险的完整观点。其次，受试者的主要顾虑是，解释中提供的信息太多，在大多数临床上无法使用，而且解释一个变量的缺失是如何导致风险的也不直观。改进的建议是，在可能的情况下显示更少的医疗变量，以提高理解解释的效率；其次，确保使用这种解释的临床医生得到详细的培训。

图 4. 向临床专家展示 SHAP 的解释。ADE 真正阳性预测的示例，显示用 SHAP 评估的 7 个病人就诊时间的 ADE 风险的发展，最后一次就诊提示有 ADE。赋值 = 0 和 = 1 分别表示没有或存在导致风险的变数

表 4. 与图 4 相对应的真阳性 ADE 解释的示例，使用 RETAIN 模型与药物、诊断和文本数据。访问得分和预测得分指的是相应的 ADE 代码的 softmax 概率

2.4 文章讨论

首先，本文实验表明 RETAIN 和 RNN-GRU 模型的预测性能结果相似。这一发现对于临床有效性评估很重要，因为我们不希望诱发一种偏见，即某一方法产生的解释在临床上的有效性较差，这是由于模型的性能较差，而不是解释方法本身的原因。此外，考察图 1 和图 2 中的全局特征解释，根据与图 3 中的临床专家排名的比较，这两个排名都是独特的，在医学上基本符合 ADE。

SHAP 为每个 top-k Jaccard 指数提供了更多的临床验证的全局解释，这在很大程度上受到了它对没有出现在注意力排名中的文本特征的高排名的影响。就单个解释而言，注意力为每个 top-k Jaccard 指数提供了最具有临床有效性的解释，这表明，由于注意力具有捕捉和利用相关领域知识的明显能力，不应该将其作为一种可解释的方法加以否定。

最后，从图 4 和表 4 中医学专家对解释的反馈中得到的重要启示是，由于 SHAP 在可视化特征对预测的贡献方面具有加法特性，因此它能提供更紧凑和高效的解释。这种紧凑性对于效率优先的实时临床会诊是至关重要的。另一方面，注意力机制不能提供同样的紧凑性或加法性，因此对于详细的离线解释或不受时间限制的临床会诊可能更可取。

3、总结

由 ICO 和 The Alan-Turing Institute 共同发起的 "解释用人工智能做出的决定（Explanation decisions made with AI）"（2020 年）是对使用人工智能系统的组织中的问责制和透明度要求的实际转化的一次广泛探索。

在过去的十几年中，AI 算法 / 模型获得了巨大的发展，从 “白盒” 不断改进为“黑盒”，不管是产业界还是学术界，都可以看到大量追求 AI 决策性能提升的工作，将识别率提升 1%、将预测准确度提升 0.5%、在复杂背景环境下提升输出准确度、提高推荐排序的准确性等等。随着数字经济的发展，国内外都越来越重视算法 / 模型的公平性、透明性、可解释性和问责制。为了让技术更好的服务于人类，而不是让人类越来越被算法所奴役，解释用 AI 做出的决策相信是未来大家都会越来越关注的问题，我们也期待更多更有效、更可行的可解释性方法、工具的出现。

本文参考引用的文献

[1] Information Commissioner’s Office （ICO）& The Alan-Turing Institute，Explanation decisions made with AI，2020 May 2020 - 1.0.47

[2] E. Choi, M. T. Bahadori, J. Sun, J. Kulas, A. Schuetz, and W. Stewart, “Retain: An interpretable predictive model for healthcare using reverse time attention mechanism,” in Advances in Neural Information Processing Systems, 2016, pp. 3504–3512.

[3]S. M. Lundberg and S.-I. Lee, “A unified approach to interpreting model predictions,” in Advances in neural information processing systems, 2017, pp. 4765–4774.