“我们提出了一种基于超构表面全光衍射神经网络的多任务智能感知芯片，它能在可见光下执行多个通道的低功耗、极速的智能图像识别任务。可以认为，只要有光电探测识别的领域，此类极速片内计算的器件都有望实现应用。”湖南大学机械与运载工程学院副教授胡跃强表示。

图 | 胡跃强（来源：胡跃强）

近日，他和团队研发出一款多任务智能感知探测芯片。论文投稿时，有两位审稿人都提到“这是第一次在实验上实现了片上衍射神经网络”，并认为这是光学神经网络走向实际应用的重要一步。

近日，相关论文以《基于超构表面的可见光波段片上复用衍射神经网络》（Metasurface-enabled on-chip multiplexed diffractive neural networks in the visible）为题发表在 Light: Science & Applications（IF 20.3）。湖南大学硕士毕业生罗栩豪和胡跃强担任共同一作，通讯作者为胡跃强和该校机械与运载工程学院的段辉高教授[1]。

图 | 相关论文（来源：Light: Science & Applications）

故事要从 AGI 说起，它的中文名是下一代类人脑的通用人工智能（AGI，Artificial general intelligence），其需要在一个人工智能系统中复用不同的能力，以便形成多技能AI。

这在智能家居、自动驾驶和体感交互中具有广泛的应用潜力。多技能 AI 也在 2021 年被评为 MIT Technology Review “十大突破性技术”。同时，复用的人工智能系统也可大大增加计算规模和并行维度。

而当下集成电子电路的算力慢慢接近其物理极限。用光子代替电子，是实现高速、大规模并行和低功耗人工智能计算的一个非常有潜力的途径。光学神经网络（ONN，Optical neural network）也因此备受关注。

（来源：Light: Science & Applications）

2018 年，加州大学洛杉矶分校（UCLA）Samueli 工程学院埃道甘·奥兹坎（Aydogan Ozcan）教授提出一种新型的全光衍射深度神经网络架构，论文发在 Science 上[2]。

作为 ONN 的一种，全光衍射神经网络可通过训练衍射相位面，构成级联的物理网络，从而执行特定功能。它是一种 3D 光学传输变换的方案，可以实现的面到面的并行。

在研究中，该团队一直在思考全光衍射神经网络到底有场景应用。因为，之前实现的全光衍射神经网络，一般用在非光学波段比如太赫兹、微波段等，多数装置都比较大，想做成通用的计算器件非常困难。

另外，由于全光衍射网络输入的信号是二维矩阵，其优势应该是在图像识别上，而图像识别最成熟的还是在光学波段。而且，可见光波段的器件成本更低且体积更小。

故此，课题组认为以光传感为前端的应用，比如工业视觉、安防监控、人脸识别和自动驾驶等，是很好的应用场景。

在此前应用里，目标物体的光信息被降维至二维强度信息，经过图像传感器变成电信号后，经过大量软件、或硬件算法进行处理，得到最后的结果。那么，大面阵探测器光电转换以及软硬件算法执行的功耗和时效，将是很大的问题。

另一方面，光电探测器的发展将会向片上智能化的方向发展，在片内实现信息获取、信号处理、智能决策，即类神经视觉的探测器。目前的方案是通过三维堆叠一些硬件电路，虽然可以实现片内计算，但还是存在固有电子电路的时效和功耗问题。

超构表面，是由亚波长结构组成的新型平面光学元件。鉴于其强大的多参量调控能力，使超构表面成为在单一元件中实现多功能复用的强大平台。当超平超薄的超构表面器件与互补金属氧化物半导体（Complementary Metal Oxide Semiconductor，CMOS）图像传感器 3D 集成，即可形成一个芯片级的多任务智能传感新架构，从而直接在物理层处理光学信息，进而有望用于机器视觉、自动驾驶和精准医疗中的低功耗和快速的图像处理。

（来源：Light: Science & Applications）

具体来说，其具备以下优势：

1、减少大量的算法消耗，降低功耗；

2、计算部分光速执行，大大增加时效性；

3、无需大面阵图像探测器就可以处理高分辨图像，进一步减少传感器的光电转换消耗的能量和时间；

4、超构表面制备与半导体工艺兼容，有望和探测器芯片一起大规模制造。

这些优势对于下一代光电探测器发展非常重要。该团队希望在学界的共同努力下不断完善，真正让这类器件成为“机器之眼”，助力光电探测器跨代发展。

（来源：Light: Science & Applications）

一场研讨会启发的研究灵感

此次工作萌芽要追溯到 2018 年。那时，胡跃强刚加入湖南大学段辉高教授团队，正在做 3D 集成超构表面的工作，即将超构表面和单片集成的滤色片集成，以实现高质量的全彩全息。

当时的目的是为了把超构表面的超平超薄的优势发挥出来，与一些平面的无源、或有源器件进行三维集成，从而形成超紧凑的光电系统，相关论文已发表在 Light: Science & Applications 上[3]，并引起较为广泛的关注（目前被 MIT 等科研机构在 Nature 等期刊引用超过 130 次，连续入选 ESI 高被引论文）。

但是，当时该团队做的还只是超构表面和无源器件的集成。2018年10月，胡跃强和段辉高教授去武汉参加中科院院士徐红星组织的研讨会。

会上，南京大学现代工程与应用科学学院教授李涛做了关于超构透镜的报告，报告中提到的两个展望让胡跃强印象非常深刻，也启发了本次工作。

其中，第一个展望是超构表面集成度问题。李涛团队提出把超构透镜和探测器芯片集成做便携式显微成像[4]。这和胡跃强提出的集成超构表面的想法不谋而合，所以他非常认同超构表面的优势需要通过提高系统集成度来体现，尤其和有源器件的集成比如光发射端的激光器、显示器或探测端的光电探测器。

第二个展望，李涛提到了人工智能光子学的发展。该领域目前基本可以分为两类：第一类是用人工智能来辅助光子学的设计，从简单参数设计到复杂形貌的设计，目前已经有非常多的优秀工作；第二类是用光子来执行人工智能算法，因为其高速、并行、低功耗被寄予厚望，基于介质波导的片上集成光学方案是主流方案。

如前所述，2018 年 UCLA 的埃道甘·奥兹坎（Aydogan Ozcan）教授团队，在 Science论文里提出了全新的衍射神经网络的架构[2]，即利用训练多个相位衍射面来执行人工神经网络算法，这是一种三维自由空间光学传输变换的方案，相比于片上波导可以实现面到面的并行计算，计算规模直接提升一个维度。

因为该工作是通过光波的衍射原理实现的计算，那么超构表面作为一种衍射型元件，应该可以有所作为。听完讲座回去后，胡跃强仔细研读了这篇论文。随后，便开启了本次研究。

具体来说，第一步是实现衍射神经网络的模型搭建和算法编写。期间，课题组一直在思考如何充分发挥超构表面的优势，以实现衍射神经网络性能或功能的提升，首先他们想到的就是超构表面多参量调控的能力，如复振幅的调控提高准确率、偏振多通道或者波长多通道实现多通道的计算。

对于超构表面的设计，该团队当时已经比较熟悉，所以很快就将超构表面的设计融入进去，并在仿真上实现了复振幅和偏振多通道的超构表面全光衍射神经网络。此外，其还利用矢量仿真验证了网络的性能。

（来源：Light: Science & Applications）

2020 年 8 月，课题组第一次在实验上验证了可见光波段的多通道超构表面衍射神经网络。但是，他们还是不满足于此，觉得只是多通道的超构表面全光衍射网络，并不能开发它的应用潜力，而且也没把超构表面的轻薄特性体现出来。

该团队进一步思考后认为，衍射网络架构短期内很难直接对标通用电子芯片，而是要在某些专用领域发光发热。如果把超构表面和 CMOS 探测器芯片，直接片上三维集成应用于图像识别。那么，全光网络在时效性和功耗上的优势，就能非常好地体现出来，超构表面的超平超薄特性也能被很好地利用。

胡跃强说：“当时想到这个概念的时候我们都很兴奋，因为如果实现的话，这应该是第一次用超构表面实现的片上全光网络，有可能为智能图像探测提供新的一个架构。”

但是，理想有多丰满，现实就有多骨感，光是 CMOS 芯片他们就拆坏了好多个，因为商用的 CMOS 芯片上都会有盖板玻璃，需要拆除才能让超构表面和探测器之间保持设定的距离。

而如何控制距离也是非常大的挑战，中间也尝试了各种办法。最终，他们开发出基于电子束套刻、以及对准贴合的混合集成封装方案之后，才完成整个器件的制备，并进行了片上探测。

（来源：Light: Science & Applications）

将开发更贴近实际应用的场景

据悉，本次工作只是提供了一个架构，在网络架构上还比较简单，处理的信息也相对简单。所以，还有很多工作可以继续展开。

未来，该团队的计划如下：

第一，超构表面的多参量调控的能力还需要充分挖掘。此次工作利用超构表面多参量调控的能力，实现了物理参量的复用以及多个通道并行的任务处理。但是，还只是利用物理参量维度提升了并行的能力，其实还有诸多可遐想的空间。

比如，当前正在发展的第四代光电探测器是要实现多维光信息的探测（偏振、光谱、三维等），即得到更高维的光学信息来辅助图像探测和识别，一般是通过光学元件配合探测器获取二维图像信息的组合，再通过后端算法恢复并识别。

那么，既然超构表面在物理层能够调控更高维度的光学信息，也许有望在物理层直接计算这些信息得到高维度信息的智能识别结果。关于后者，该团队已经在光谱成像上有了初步结果。

第二，网络处理复杂任务的能力和准确性需要进一步提升。首先，网络架构上目前还是全连接网络，可以通过引入不同的架构比如卷积神经网络，来提高网络复杂性。其次，目前网络还只是线性的网络，如何引入光学非线性激活函数在网络架构中，还是业界的难题。另外，多层衍射神经网络也有助于提供识别准确性的，所以要在实验上开发实现多层的衍射网络的工艺方法。

第三，网络需要可编程实现网络训练和功能更新。目前的网络还是被动元件，也就是一旦制备完成，网络只能执行特定任务，无法进行网络训练和功能更新。这对于有一些固定场景是适用的，比如特定工业产品的识别分类。

但是，为了提高网络的适用性，该团队还是希望网络可以被训练和更新。所以，需要引入可调谐的超构表面，结合外部激励实现衍射面参数的更新。实际上，可调谐超构表面的工作已有不少，比如利用液晶、相变材料等，这些方案都可引入到该系统中。

第四，需要开发更贴近实际应用的场景。目前的工作演示，只是数字和时尚物品的识别，并且输入是通过掩模来实现的。下一步，该团队首先要构建更加贴近实际场景的数据库来训练网络，另外要通过和光学系统的配合实现实际场景的应用，当然该光学系统也可通过超构表面实现，以便形成一个超紧凑化的智能光电系统。

-End-

参考：

1、Luo, X., Hu, Y., Ou, X. et al. Metasurface-enabled on-chip multiplexed diffractive neural networks in the visible. Light Sci Appl 11, 158 (2022). <a href="; h"="">

2、Science, 2018, 6406(361): 1004-1008

3、Light Sci. Appl., 2019, 1(8): 86

4、Adv. Photonics, 2020, 6(2): 066004-066004