EMNLP 2017 System Demonstrations

NeuroNER：一个基于神经网络的简单易用的命名实体识别程序

NeuroNER: an easy-to-use program for named-entity recognition based on neural networks

麻省理工学院

MIT

【摘要】命名实体识别（NER）旨在识别一篇文本中的感兴趣实体。近期研究表明，人工神经网络ANN的性能显著优于现有的NER系统性能。然而，对于非专业用户而言，使用ANN仍具有一定的挑战性。在这篇论文中，我们提出了NeuroNER,一个基于人工神经网络的简单易用的命名实体识别工具。用户可以使用一个基于web的图形界面（BRAT）来标注实体，然后，这些标注可用于训练ANN，ANN又反过来可以用于预测新文本中实体的位置和类别。NeuroNER使得这个标注训练预测流程变得平滑，且可为任何人所用。

1 引言

命名实体识别（NER）旨在识别文本中的感兴趣实体，如位置、组织和时间表达式。识别的实体可被用于各类下游应用，如病人病例去标注和信息提取系统。它们还可以被用作其他自然语言处理任务的机器学习系统特征。

早期的NER系统依赖于人工制定的规则。基于规则的系统开发非常耗时，且难以将其转移到新型文本或实体当中。为了解决这些问题，研究人员开发了多种基于机器学习的NER算法，他们使用了各类学习方法，如：全监督学习，半监督学习，无监督学习和主动学习。NeuroNER是一个基于全监督学习的算法，也备受研究与瞩目。(Nadeau and Sekine, 2007)

关于NER的全监督方法包括：支持向量机（SVM）、最大熵模型、决策树、以及诸如隐含马尔可夫模型的连续标签方法和马尔可夫最大熵模型、条件随机场（CRFs）。与基于规则的系统类似，这些方法是基于人工选择的特征，这对于开发而言是耗时且具有挑战性的，同时它难以被运用到新的数据集中。

近期，人工神经网络（ANN）已被证明其性能优于其他的NER监督算法。(Collobert et al., 2011; Lample et al., 2016; Lee et al., 2016; Labeau et al., 2015; Dernoncourt et al., 2016) ANN的有效可以归因于它们直接从训练集中结合模型参数学习有效特征，而非依赖于基于特定数据集开发的人工特征。然而，ANN对于非专业用户而言仍具有一定的挑战性。

贡献：NeuroNER通过聚焦易用性，使得最先进的基于ANN的命名实体识别可为任何人所用。为了使用户可以对新的或现存的语料库标注进行创建和修改，NeuroNER结合了基于web的标注程序BRAT。NeuroNER使得这个标注训练预测流程更加流畅且为任何人可用，同时还利用了人工神经网络的最先进的预测能力。NeuroNER是开源和在线免费的【NeuroNER可以在上获得】。

2 相关工作

现有的面向非专家的公开可用的NER系统不适用于ANN。例如：斯坦福NER，ABNER，MITRE识别洗涤工具包（MIST），BANNER和基于CRFs的NERsuite。GAPSCORE使用SVM，阿帕奇Ctakes和Gate’s ANNIE大多数使用规则。NeuroNER是第一个面向非专家的基于ANN的NER系统，由于ANN具有与模型参数联合学习有效特征的能力，所以NeuroNER更容易被推广到新的语料库。

此外，在大多数情况下，NER系统会假定用户已经有了一个特定数据格式的标注语料库。因此，用户通常需要将语料库进行格式变换，以使得标注工具和语料库能成功连接，但是这个过程非常耗时，且容易发生错误。此外，如果用户想要手动改进NER系统预测的标注（例如：用户想使用NER系统来加速人工注释），他们必须进行额外的数据转换。NeuroNER通过整合BRAT(一个应用广泛且易于使用的标注工具)对此过程进行了简化。

3 系统描述

NeuroNER包含了两个主要组成部分：一个NER引擎和一个带有BRAT的接口。NeuroNER还提供了用于训练的实时监测工具，以及可以加载到NER引擎的预训练模型，以防用户无法访问标注的训练集。图1 展示了整个系统概述。

图1 NeuroNER系统概述。在NeuroNER引擎中，训练集用于训练ANN的参数，验证集用于决定何时停止训练。用户可以通过学习曲线和Tensor实时监测训练过程。为了评估ANN训练，这些标签将被用于测试集，可以通过将预测标签和gold标签进行比较来计算和绘制性能指标。如果同时提供测试集，训练集和验证集，评估则可以同步进行。或者可以在训练后或使用预训练模型后单独进行。最后，NeuroNER引擎可以标注部署集，例如所有没有gold标签的新文本。

3.1 NER引擎

NER引擎输入了三组带有gold标签的数据：训练集、验证集和测试集。另外，它还可以作为部署集的输入，部署集是指任何不带有用户希望标注的gold标签的新文本。组成每组数据的文件应与标注工具BRAT或CoNLL-2003 NER共享任务数据集（Tjong Kim Sang和De Meulder，2003）使用的格式相同，并组织在相应的文件夹中。

NER引擎的ANN包含三层：

字符增强令牌嵌入层标签预测层标签序列优化层

字符增强嵌入层将每一个令牌映射到一个向量表示。然后，将对应于令牌序列的向量表示序列输入到标签预测层。标签预测层再输出包含每个相应令牌的每个标签的概率向量序列。最后，基于上一层的概率向量序列，标签序列优化层再输出最可能的预测标签序列。所有的层都是同时学习的，模型结构细节详见(Dernoncourt et al., 2016)

人工神经网络ANN以及训练过程中有几个超参数，如：字符嵌入维度，基于字符的令牌嵌入LSTM维度，令牌嵌入维度和丢弃（Droupout）率。所有的超参数可以指定在一个可读的配置文件中，这样用户就无需去钻研代码了。表1显示了一个配置文件的部分节选。

表1 配置文件的节选部分是在定义ANN和训练过程。用户只需更改dataset_folder参数。其他参数拥有合理的默认值，用户可以选择性进行调整。

3.2 实时监测训练

由于训练一个ANN可能会花费数个小时，甚至数据集很大时会花费数天。基于监测目的，NeuroNER为用户提供了训练期间的实时反馈。反馈是通过两种方式给出：NeuroNER的生成图和TensorBoard。

图：NeuroNER生成了数个显示每个时期训练进度和结果的曲线图。曲线包括：随着时间变化的整体F1测度，每个类的正确预测数和错误预测数的可视化混淆矩阵，以及显示了每个类的F1测度，准确度和召回率的分类报告。

TensorBoard：由于NeuroNER是基于TensorFlow的，它利用了TensorBoard的功能。TensorBoard是一套用于检查和理解TensorFlow运行的web应用程序和图像，它允许实时查看被训练的ANN性能。此外，由于它是基于网站的，这些性能还可以与很方便地与其他用户进行远程共享。最后，由于TensorBoard产生的图像是交互性的，用户还可以进一步了解ANN的性能。

3.3 预训练模型

由于时间限制和一些不可用gold标签，一些用户可能不喜欢训练任何ANN模型。例如：如果用户想要标记受保护的健康信息，他们可能无法访问已标记的可标识数据集。为了解决这种需求，NeuroNER提供了一个预先训练模型的数据集，鼓励用户上传自己的训练模型。NeuroNER还带有数个预先训练的令牌嵌入，如word2vec,GloVe。NeuroNER可以在配置文件中指定这些嵌入，而后就可以轻松加载了。

3.4 标注

NeuroNER旨在与免费提供的基于web的标注工具BRAT平滑整合，以使得非专业用户也可以创建或改善标注。特别的，NER解决了两个主要用例：

从头开始创建新的标注，例如：如果目标是标注一个没有可用gold标签的数据集。改善一个已标记的数据集标注：标注可能已经由另一个人或前一次的NeuroNER完成。

在后一个用例中，用户可以通过在手动改进标注和使用新的标注运行NeuroNER引擎之间迭代，来交互使用NeuroNER以获得更加准确的标注。

NeuroNER可以作为BART格式的输入数据集，并输出BRAT格式的预测值，这样就可以轻松地从标注直接开始训练和可视化分析预测。我们选择BRAT是由于以下两个原因：一是它简单易用，二是它可以被部署为一个允许众包的web应用程序，这样，用户就可以通过诸如亚马逊土耳其机器人（AMT）和矢车菊的众包市场来快速收集到大量标注。

NeuroNER的一大限制是它不允许有重复的BRAT格式的标注。然而，NeuroNER并不仅限于命名实体识别：它还可以用于任意序列标签，比如词性标签和分块。

3.5 系统需求

NeuroNER可以运行在Linux,Mac OS X和Windows上。需要配置Python3.5，Tensor Flow1.0，机器学习算法库和BRAT。提供安装脚本是为了让安装更加简洁明了。如果条件允许的话，可以配备GPU，GPU的数目和CPU的线程数都应当在配置文件中指定。

3.6 性能

为了分析NeuroNER的预测性能，我们使用了两种公开且免费的数据集以进行命名实体识别：分别是CoNLL 2003和i2b2 2014。 CoNLL 2003是一个广泛研究的数据集，具有四种常用的实体类型：个人，组织，位置和各种各样的名字。这里，我们使用了英版的。

i2b2 2014数据集(Stubbs et al., 2015) 是作为2014 i2b2 / UTHealth共享任务Track 1的一部分发布的。它是用于去身份识别的最大的公开数据集，去身份识别也是一种命名实体识别形式，其中实体是诸如患者姓名和电话号码的受保护的患者健康信息。

表1将NeuroNER和CoNLL2003以及i2b2 2014的系统状态进行了比较。尽管NeuroNER的超参数未针对这些数据集进行优化（使用默认超参数），但其性能却与这些最先进的系统不相上下。

4 总结

在这篇文章中，我们提出了NeuroNER，一个基于人工神经网络ANN的命名实体识别（NER）工具，它可为非专业人员所用，且能产生最先进的结果。为了满足许多用户想要创建或改善标注的需求，NeuroNER还与基于web的标注工具BRAT进行了顺利整合。

后台回复“链接”获取最新论文下载链接