作者 | 维克多编辑 | 青暮4月12日，一篇题为“Large-scale neuromorphic optoelectronic computing with a reconfigurable diffractive processing unit”的论文登上Nature子刊《Nature Photonics》。论文是由中国工程院院士戴琼海教授团队撰写，第一作者是清华大学博士研究生周天贶。该工作的主要研究内容是：提出了一种光电可重构计算模式，通过构造一个衍射处理器(DPU)，它可以有效地支持不同的神经网络，并实现数百万个神经元的高模型复杂度。在论文中，作者展示了如何对DPU的重新配置，从而实现各种衍射前馈和循环神经网络，并设计了一种新型的自适应训练方法，能够规避系统缺陷。作者将训练后的神经网络进行测试，测试结果是：在手写数字图像和人类动作视频分类基准数据集上，其精度与电子计算方法相当。对此，有人评价，这篇论文所提出的可重构DPU，是向高性能神经形态光电计算处理器迈出的重要一步。 1

主要思想

在过去的十年中，由电子驱动的计算处理器产生了巨大影响，在通用CPU“身上”我们见证了各种神经计算体系结构的应用，例如卷积神经网络(CNNs)、递归神经网络(RNNs）。然而，由于摩尔定律的限制，电子硬件的性能即将触摸到“天花板”。因此，开发下一代计算方式势在必行。光学计算的原理是使用光子代替电子进行计算，并能克服电子学的固有限制，将能效、处理速度和计算吞吐量提高几个数量级。已经有研究员利用光学计算的特性，构建专用光学处理器，并在基本数学和信号处理方面，所表现出的性能远远超过现在的电子处理器。而在人工智能领域，人工神经网络(ANN)是最有前途的光计算模型之一，利用光电子器件和光传播的性质可以有效地实现神经元的功能。但是，现有的光学AI加速器只能为特定神经网络体系结构或特定任务定制单一功能。换句话说，对于不同任务的不同AI算法，现在的“设备”无能为力。此外，目前光神经网络的模型复杂度和实验性能都较低，导致网络性能(如分类精度)与最先进的电子神经网络相比存在较大差距。究其原因，主要是由于光学网络设计空间的灵活性有限，难以集成理想的非线性运算，难以灵活控制复杂的数据流。所以，作者提出了一种用于大规模神经形态光电计算的可重构DPU，可以通过编程改变功能，从而构建不同类型的人工神经网络架构。此外，还配备了极高数据吞吐量的光学调制器和光电探测器。在用光电器件实际实现所设计的模型的过程中，为了解决不同误差源(如对准误差和非理想器件特性)造成的模型偏差，作者开发了一种自适应训练方法。

2

主要方法与实验结果

DPU的原理和光电实现如上图所示。DPU是一个由大规模衍射神经元和加权光学互连（weighted optical interconnections）组成的光电神经形态处理器。它是一个基本的构建块，可以编程，建立各种类型的人工神经网络，具有很高的模型复杂性和准确性。利用信息编码模块将单位输入数据量化并电光转换为复值光场，在幅度或相位分量上进行编码。不同的输入节点通过光衍射连接物理地连接到各个输出神经元，其中控制连接强度的突触权重由波前的衍射调制决定。每个衍射光电神经元执行其加权输入的光场求和，并通过在光电转换期间自然出现的计算光场上应用复激活函数来生成单位输出。作者采用具有高数据吞吐量（每秒千兆位）的可编程光电器件，来支撑DPU实现高速神经网络配置和视频率推断能力。图注：系统的原理图和实验设置在这项工作中，系统被设计用于处理馈入图像和视频的大规模视觉信号。因此，采用数字微镜器件(DMD)和空间光调制器(SLM)作为光调制器实现输入节点，采用互补金属氧化物半导体(CMOS)传感器作为光电探测器实现光电神经元。通过控制和缓冲单元的大规模并行光电数据流，DPU可以被暂时多路复用和编程，从而定制不同类型的ANN结构(如上图所示)。由于几乎所有的计算操作都是光学完成的，因此与前沿的GPU处理器相比，光电AI架构显著提高了计算速度和系统能效。

图注：自适应训练方法此外，作者通过构建一个三层光电衍射深度神经网络(D2NN)来验证所提出的自适应训练方法，并用MNIST数据集进行测试。模型在MNIST训练集上训练之后，测试集中的10,000个数字图像上获得了97.6%的盲测正确率。另外，在没有自适应训练的情况下，由于系统误差的层层累积，将预先训练好的模型直接迁移到我们的光电系统中，识别率急剧下降到63.9%。另外一个测试是，通过在两个基准数据库（Weizmann41和KTH42数据库）上使用序列精度和动作精度的度量来评估所构建的D-RNN，目的是用于人类动作识别任务。在消融和性能分析之后，对于具有147万个光电神经元的Weizmann和KTH数据库，网络序列长度分别被设置为3和5。通过配置DPU读出层对D-RNN结构进行了评估，然后对D-RNN结构进行了Silico预训练。实验结果是，这两个数据库的盲测序准确率分别为88.9%和90.5%，对应于两个模型的动作准确率分别为100%和96.3%。为了在实验上实现该模型，由于D-RNN的循环连接特性，作者通过微调输出层的调制系数来执行自适应训练。上图展示了自适应训练后的存储器、读入和读出DPU层的设计调制系数，其中上行和下行分别对应于Weizmann和第k个数据库的模型。与未进行自适应训练的实验结果相比，自适应训练使Weizmann数据库的实验序列准确率从51.0%提高到82.9%，实验动作准确率从56.7%提高到96.7%。同样，经过自适应训练后，实验序列准确率从52.6%提高到85.4%，动作准确率从53.7%提高到94.4%。

图注：展开的D-RNN的体系结构综上，通过传输经训练的D-RNN隐藏层并使用低复杂度的电子读出层来代替DPU读出层，可以进一步提高D-RNN的识别准确性和稳健性，形成D-RNN++体系结构。作者评估了D-RNN++相对于读出节点数量的实验序列和动作精度，如上图所示。实验结果表明，D-RNN++在Weizmann和KTH(First Scene)数据库的最优电子读出节点数（electronic read-out nodes ）分别为2500和96.3%的情况下，实验动作准确率分别达到100%和96.3%。此外，D-RNN++对Weizmann和KTH(First Scene)数据库进行分类的实验动作准确率达到了与最先进的电子计算方法相当的性能，甚至超过了这两种方法的准确率，后者的准确率分别为100%和96.0%。综上所述，研究员在实验中展示了一种可重构的光电计算处理器，即DPU，它可以编程以适应不同类型的人工神经网络，以实现大规模高性能的光学神经信息处理。通过有效地设计光电计算系统来融合光学和电子的互补优势。戴海琼团队预计，其所提出的方法将加速开发更强大的光学AI处理器，并作为现代计算的关键支持，迈向人工智能的新时代。由于微信公众号试行乱序推送，您可能不再能准时收到AI科技评论的推送。为了第一时间收到AI科技评论的报道， 请将“AI科技评论”设为星标账号在看”。