编辑 | 萝卜皮

神经形态计算旨在在合成硬件中复制大脑的计算结构和架构，通常专注于人工智能应用。较少探索的是这种受大脑启发的硬件是否可以提供超出认知任务的价值。

在这里，桑迪亚国家实验室的研究人员展示了尖峰神经形态架构的高度并行性和可配置性，使其非常适合通过离散时间马尔可夫链实现随机游走。这些随机游走在蒙特卡洛方法中很有用，蒙特卡洛方法代表了解决各种数值计算任务的基本计算工具。

使用 IBM 的 TrueNorth 和英特尔的 Loihi 神经形态计算平台，研究人员表明，与传统方法相比，用于生成随机游走近似扩散的神经形态计算算法在节能计算方面具有优势。同时，他们的神经形态计算算法可以扩展到更复杂的跳跃扩散过程，这些过程可用于一系列应用，包括金融经济学、粒子物理学和机器学习。

该研究以「Neuromorphic scaling advantages for energy-efficient random walk computations」为题，于 2022 年 2 月 14 日发布在《Nature Electronics》。

在过去十年左右的时间里，世界各地的许多研究人员一直在尝试开发受大脑启发的计算机系统，也称为神经形态计算工具。这些系统中的大多数目前用于运行深度学习算法和其他人工智能 (AI) 工具。

「过去与神经形态计算相关的大多数研究都集中在认知应用上，例如深度学习。」进行这项研究的研究人员之一 James Bradley Aimone 说，「虽然我们也对这个方向感到兴奋，但我们想提出一个不同且互补的问题：神经形态计算能否在我们的大脑无法真正解决的复杂数学任务中表现出色？」

到目前为止，计算机科学界已经排除了类脑计算机系统在复杂的数学任务中表现良好的可能性。Aimone 和他的同事最近的研究表明，出乎意料的是，情况可能确实如此。更具体地说，该团队发现这些芯片也可能有望使用随机游走计算来模拟离散时间马尔可夫链（即著名的物理模型）。

「我们基本上认识到大脑（以及神经形态计算）具有与传统计算机不同类型的并行计算架构。」Aimone 解释说，「当我们查看多种类型的科学计算问题时，我们认识到蒙特卡洛随机游走是一类特殊的问题，如果我们巧妙地重新构建随机游走数学以适应这些平台，它可以自然地适应神经形态架构。」

最近研究背后的团队包括数学家、计算机工程师和理论神经科学家 Aimone。结合他们的专业知识，研究人员能够在神经形态计算的背景下检查蒙特卡罗模拟，迄今为止，这些模拟主要是使用传统计算工具实现的。这使他们能够展示神经形态架构在完成一项可能具有「神经形态优势」的著名复杂数学任务方面的潜力。

Aimone 和他的同事表明，神经形态硬件比其他系统更节能，因为它可以执行比传统 CPU 和 GPU 更多的每焦耳随机游走计算。此外，虽然神经形态芯片仍然比现有的 CPU 和 GPU 慢，但该团队发现，随着问题变得更大和更复杂，这种速度差异会减小。

「鉴于神经形态硬件继续快速改进并且更大的系统将很快推出，我们预计这种优势将继续增长，以解决更大的问题，」Aimone 说。「有许多现实世界的应用程序使用蒙特卡罗随机游走模型作为其计算工作量的一部分，包括计算生物学、材料科学、金融建模和人工智能。然而，这些模型通常在计算上运行起来很昂贵，这会带来巨大的精力、时间和财务成本。」

具体来说

研究人员已经证明，脉冲神经形态硬件技术适用于实施可扩展的节能方法来解决一组重要的数值计算问题。特别是，他们展示的神经随机游走算法与并行 CPU 方法相当，显示出巨大的能量优势。通过简单的扩展，这种方法可以应用于广泛的复杂应用领域。

值得注意的是，这里采用的方法并没有利用许多新兴神经形态硬件技术（例如学习）中存在的所有受大脑启发的特征。然而，研究人员预计随机过程的神经公式可能会使它们更适合根据实验观察进行模型校准，并且原位神经形态学习可能会使该过程更有效。

研究人员将演示集中在大型数字尖峰平台——Loihi 和 TrueNorth——因为它们具有新算法所需的神经尺度。他们预计其他大型神经形态计算平台，如基于 ARM 的 SpiNNaker 和类似的互补金属氧化物半导体 BrainScaleS，将具有类似的扩展性。特别是，由混合信号数字和模拟处理产生的 BrainScaleS-2 的高时钟速度可能会将其置于速度和能源成本的帕累托前沿的不同部分。

图示：神经形态硬件可以有效地实现随机游走。（来源：论文）

人们对利用新兴的非互补金属氧化物半导体模拟设备的神经形态方法也有相当大的兴趣，包括那些利用忆阻设备用于突触和神经元的方法，尽管研究人员必须考虑模拟设备的精度影响以及其他近似考虑。

图示：随机游走过程非常适合神经形态计算，并且在随机过程中包含不同的项会产生具有不同行为的随机游走。（来源：论文）

他们的结果为神经形态计算硬件设计的未来考虑提供了见解。该算法大量利用了神经形态计算硬件的几个特性。首先，该算法需要仔细考虑随机数是如何并行生成的。大多数当前的神经形态计算方法利用了许多神经元共享的传统 PRNG；然而，随着物理噪声模拟组件被探索用作神经元和突触，这可能会发生很大变化。因此，这些结果为利用设备随机性提供了一个数学上可解释的用例。

此外，此处描述的方法将受益于标记尖峰的事件驱动通信，这将使路径相关的蒙特卡罗策略更有效。同样，该算法中使用的神经元比生物神经元简单得多，并且专门用于该随机游走方法的架构，可以通过使用更简单的神经元实现，比现有神经形态计算平台拥有更高的密度。

图示：神经形态硬件上的粒子传输模拟。（来源：论文）

神经形态计算还可能提供了该随机游走算法尚未利用的功能。最值得注意的是，BrainScaleS 和 Loihi 等平台上的学习能力可用于直接解释建模域内的变化，或作为一种工具来推断最能解释实验观察的随机过程的未知参数。

类似地，尽管该算法利用了尖峰计时和延迟来获得优势，但他们当前的算法要求 TrueNorth 和 Loihi 的尖峰计时精度远远高于大脑使用的水平，这表明可以通过使用大脑启发的计时策略来获得进一步的改进，这些策略允许较低的时间精度。这种高时间精度特定于神经形态实现，并不是 DTMC 神经算法的基础：DTMC 的唯一关键时间是所有步行者都在相同的模型时间步长上，即使对于稳态问题，也可以绕过这一要求。

图示：基于神经形态计算的随机游走算法可以在非欧几里得几何上实现随机游走。（来源：论文）

该方法避免了与许多 AI 算法相关的近似陷阱，其中数值精度和可解释性的含义仍然是一个悬而未决的问题。尽管理解和考虑这些近似误差对于任何应用程序都至关重要，但此处采用的基于图形的方法提供了几个易于理解的设计选择，以便在考虑精度问题的情况下适当地定制算法和硬件解决方案。

如今，大规模解决 PIDE 通常需要高性能计算系统，研究人员希望这种神经方法能够类似地扩展到单芯片系统之外。早期迹象表明，由于其轻量级的尖峰通信，神经形态计算可以有效地扩展到多个芯片和电路板。研究人员预计神经形态硬件最终将主要与 CPU、GPU 和其他加速器一起存在于异构系统架构中。

尽管它具有低功耗和并行计算的内在优势，以及它对新的脑衍生能力的隐含承诺，但神经形态计算的最终用例仍然是一个悬而未决的问题。目前尚不清楚神经形态系统的最佳长期机会是否会成为类似 GPU 的协处理器，为一系列任务提供改进的功能，或者其最大影响是否将出现在专门的低功耗传感器和加速器中。

研究人员相信他们的结果支持更灵活的神经形态系统的潜力，因为这里描述的解决 PIDE 的算法补充了人工智能作为类脑硬件的应用，并且它们加强了未来计算系统中神经形态硬件的长期价值主张。与神经网络应用相比，在神经网络应用中，神经形态硬件难以与GPU和线性代数加速器的速度相匹配，该研究表明，在数值计算领域，神经形态硬件可以提供具体的能量优势，并且能够在处理时间和总体效率方面有效地扩展。

结语

神经形态硬件仍处于早期开发阶段，但它们将逐渐变得易于使用且更易于编程。一旦发生这种情况，这组研究人员最近的研究可能会激发使用受大脑启发的系统来更有效地解决数学问题。

「我们希望我们的发现将使随机游走计算任务比现在更便宜、更节能地执行，」Aimone 说。「这反过来将使计算变得更便宜和更气候友好。」

Aimone 团队最近的研究主要集中在简单的随机游走模拟，例如那些代表扩散过程的模拟。然而，在未来，该团队还希望测试神经形态芯片在运行更复杂的随机游走模拟方面的潜力。

「我们假设我们看到的神经形态计算的优势将随着更复杂的随机游走而变得更加明显，但我们需要探索如何用神经元模拟更复杂的物理。」Aimone 补充道，「此外，现在我们认识到，神经形态硬件非常适合概率计算应用，例如蒙特卡罗随机游动，我们正在回顾大脑可能在其固有架构中使用概率计算的地方，以寻找大脑启发的人工智能新算法的潜在想法。」

论文链接：

相关报道：