澎湃新闻记者 邵文

当下，深度神经网络应用越来越广泛，帮助设计微芯片，预测蛋白质折叠，并在复杂游戏中胜过人类，性能越来越强大。但也有大量证据证明，它们通常是不稳定的。一个非常明显的表现是，深度神经网络接收到的数据的微小变化，就可能会导致结果的巨大变化。

例如《One pixel attack for fooling deep neural networks》研究中所揭示的，改变图像上的一个像素，AI就把马识别成青蛙。哈佛医学院计算机科学家和生物医学信息学家Samuel Finlayson也曾发现，医学影像可以以人眼无法察觉的方式进行修改，然后导致人工智能100%地误诊癌症。

在以前的研究中，有数学证据表明，存在用于解决各种问题的稳定、准确的神经网络。然而最近剑桥大学和奥斯陆大学的研究人员发现，这些人工智能系统可能仅在有限的情况下是稳定和准确的。理论上存在的兼具稳定性和准确性的神经网络，可能无法准确描述现实中可能发生的事情。

“从理论上讲，神经网络的限制很少。”英国剑桥大学的数学家Matthew Colbrook 说。然而当试图计算这些神经网络时，问题就出现了。

“数字计算机只能计算某些特定的神经网络，”挪威奥斯陆大学的数学家Vegard Antun认为，“有时计算一个理想的神经网络是不可能的。”

这样的表述可能听起来令人困惑，《IEEE Spectrum》在谈论这项研究时以蛋糕做比喻，“好像有人说可能存在一种蛋糕，但不存在制作它的配方。”

“我们会说问题不在于配方。相反，问题在于制作蛋糕所必须的工具。”剑桥大学的数学家Anders Hansen说，“我们说可能有蛋糕的配方，但无论你有什么搅拌机，你都可能无法制作出想要的蛋糕。此外，当你尝试在厨房用搅拌机制作蛋糕时，你会得到一个完全不同的蛋糕。”

依此，继续进行类比，“甚至在你尝试之前无法判断蛋糕是否不正确，然后为时已晚。”Colbrook 说，“然而，在某些情况下，你的搅拌机足以制作你想要的蛋糕，或者至少可以很好地近似于该蛋糕。”

这些关于神经网络局限性的新发现与数学家Kurt Gödel和计算机科学家Alan Turing关于计算局限性的先前研究相呼应。粗略地说，他们揭示了“有些数学陈述永远无法被证明或反驳，还有一些基本的计算问题是计算机无法解决的。”Antun表示。

此项研究以《计算稳定准确的神经网络的难点：关于深度学习的障碍和Smale的第18个问题》（The difficulty of computing stable and accurate neural networks: On the barriers of deep learning and Smale’s 18th problem）为题，于3月16日发布在《美国国家科学院院刊》上。

在人工神经网络中，被称为“神经元”的组件被输入数据并协作解决问题，例如识别图像。神经网络反复调整各个神经元之间的联系，并查看由此产生的行为模式是否能更好地找到解决方案。随着时间推移，网络会发现哪些模式最适合计算结果。然后它采用这些作为默认值，模仿人脑中的学习过程。如果一个神经网络拥有多层神经元，它就被称为“深度”。

在以前的研究中，有数学证据表明，存在用于解决各种问题的稳定、准确的神经网络。然而，在这项新的研究中，研究人员现在发现，尽管理论上可能存在稳定、准确的神经网络来解决许多问题，但矛盾的是，实际上可能没有算法能够成功地计算它们。

这项新研究发现，无论算法可以访问多少数据或该数据的准确性，算法都可能无法针对给定问题计算出稳定、准确的神经网络。Hansen表示，这类似于图灵的论点，即无论计算能力和运行时间如何，计算机都可能无法解决一些问题。

“计算机可以实现的功能存在固有的限制，这些限制也会出现在AI中，”Colbrook 表示，“这意味着理论上存在的具有良好特性的神经网络，可能无法准确描述现实中可能发生的事情。”

这些新发现并不表明所有神经网络都存在完全缺陷，但它们可能仅在有限的情况下是稳定和准确的。“在某些情况下，可以计算出稳定且准确的神经网络，”Antun说道，“关键问题是‘在某些情况下’的部分，最大的问题是找到这些案例。目前，人们对如何做到这一点知之甚少。”

研究人员发现，神经网络的稳定性和准确性之间经常需要权衡。“问题是我们同时想要稳定性和准确性，”Hansen说道，“在实践中，对于安全相关的关键应用，人们可能不得不牺牲一些准确性来确保稳定性。”

作为新研究的一部分，研究人员开发了他们“快速迭代重启网络”（FIRENET），以期在涉及分析医学图像等任务时实现，神经网络可以提供稳定性和准确性的结果。

研究人员认为，这些关于神经网络局限性的新发现并不是为了抑制人工智能研究，“从长远来看，弄清楚什么可以做和什么不可以做什么对人工智能研究来说是健康的。请注意，图灵和Gödel的负面结果引发了数学基础和计算机科学方面的巨大变化，这分别导致了现代计算机科学和现代逻辑的大部分发展。”Colbrook说，

具体而言在这项研究中，研究人员认为，这些新发现意味着存在一种分类理论，其可以描述哪些具有给定精度的稳定神经网络可以通过算法进行计算。用之前谈到的蛋糕类比，“这将是一个分类理论，描述了哪些蛋糕可以用物理上可能设计的搅拌机烘烤。如果无法烘烤蛋糕，我们也想知道与想要的蛋糕类型有多接近。”Antun 说道。

责任编辑：李跃群

校对：张亮亮