你好读者朋友：希望您能在阅读之前可以点一下“关注”，方便今后的分享和讨论，在下会持续更新让您有不一样的参与感，谢谢您的支持。

文案 |名锤青史

编辑 |名锤青史

近年来，随着深度学习理论与方法的飞速进步，对脑电信号进行精准识别并将脑机接口系统应用于现实场景成为现实。然而，由于不同个体的脑电信号特征存在显著差异，并且长序列脑电信号识别模型的训练容易出现梯度爆炸和梯度消失问题，现有算法的泛化能力和识别准确率面临着挑战。

传统脑机接口系统需要使用显示屏来呈现视觉刺激，并依赖计算机进行数据处理。但这些设备庞大笨重，不方便携带，并且无法与现实场景进行交互。这些限制妨碍了脑机接口系统在更多场景中的应用。

因此，我们通过使用泛化训练方法和长短时记忆网络，研究出一种能准确计算出脑电信号的识别方法，可以提供更加便捷、高效的脑机接口体验。

脑电信号基础和分析识别方法

脑机接口系统是一种创新技术，通过对人体脑电信号进行分类处理，实现了人脑与计算机之间的数据通信。典型的BCI系统由三个基本单元构成，包括脑电信号采集单元、脑电信号特征提取单元和脑电信号识别单元。

该系统的运作原理是通过采集脑电信号，然后从中提取有用的特征，并最终将其用于有效地识别用户的意图或指令。在脑机接口系统中，脑电信号采集单元扮演着至关重要的角色，它是系统的首要支撑。它的任务主要是采集大脑活动产生的非线性且不平稳的电信号，并将这些采集到的脑电信号传递给后续的脑电信号预处理及特征提取单元。

脑机接口系统的数据采集方法主要可分为两种：侵入式方法（将电极放置在大脑皮层内进行采集）和非侵入式方法（将电极放置在大脑皮层外进行采集）。由于侵入式方法需要对被试者进行开颅手术，并且成本较高，因此在大多数脑机接口的研究中，首选更易实现且成本较低的非侵入式方法。

本次实验主要采用的脑电信号采集设备是一种非侵入式的脑电采集设备。接下来是脑电信号特征提取单元。在进行预处理和特征提取之前，需要进行脑电信号中伪迹的检测和去除。伪迹指的是脑电信号中的噪声污染或不需要的信号。由于多种因素的干扰，采集到的原始脑电信号中都会存在伪迹，这些伪迹可能来自被试者本身或周围环境。

伪迹的存在会对脑电信号的准确性和可靠性造成负面影响，因此在进行后续分析之前，必须对其进行检测和去除。

对于脑电信号的预处理和特征提取，常用的方法包括独立成分分析和自回归建模。在预处理方面，常见的方法有公共平均参考、拉普拉斯变换、主成分分析等。

最后是脑电信号识别单元。在脑机接口系统中，对经过特征提取的信号进行分类并正确输出是一个非常重要的步骤。除了使用准确率来评估脑电信号分类算法的性能外，还可以通过信息传输速率（Information Transfer Rate, ITR）来进行评判。

其中，N代表分类目标数（即不同待分类的目标类别数），P代表分类准确率（正确分类的百分比），T代表时间窗长度（通常以分钟为单位）。ITR的值越高，表明脑电信号识别的效率越高，即系统在单位时间内能够传输更多的信息。因此，ITR是一个重要的评估指标，可以帮助我们优化脑机接口系统的分类算法，提高脑电信号识别的性能和应用效果。

增强现实的脑机接口在线识别系统

通过了解脑电信号的基础以及分析识别方法，为面增强现实的脑机接口提供了研究基础。目前，基于个人计算机PC显示器的脑机接口已经取得了高水平的信息传输速率和精度。然而，仍然存在一些问题，比如难以融入日常生活和在现实世界中进行便捷交互等挑战。通过将增强现实（AR）技术与脑机接口相结合，有望提升系统的便携性和实用性。AR-BCI和PC-BCI之间的主要区别在于视觉刺激的表现形式。

传统的PC端脑机接口系统通常在计算机屏幕上呈现视觉刺激，而视觉刺激的背景通常是纯黑色。而基于增强现实的脑机接口系统使用增强现实显示器来呈现视觉刺激，其背景是真实世界的场景。与传统的PC端脑机接口系相比，增强现实的系统具有诸多优点。

基于这些问题，研究设计和实现一种增强现实下的脑机接口在线系统，主要用于在线识别采集到的SSVEP脑电信号。

在线识别系统框架结构

该系统的主要组件包括以下四个部分：第二代Microsoft HoloLens系统；脑电信号采集系统；NVIDIA Jetson TX2开发板；支持WiFi的路由器。这些组件通过局域网（LAN）进行连接。

Microsoft HoloLens 2是通过WiFi连接到路由器的增强现实设备。在HoloLens 2中，使用Unity 3D中的C#编写的程序生成SSVEP视觉刺激。刺激程序通过用户数据报协议（UDP）从HoloLens 2的WiFi模块发送到脑电信号采集系统，这些刺激用于精确同步脑电信号。

脑电信号采集系统包括脑电放大器和记录设备，它与NVIDIA Jetson TX2开发板通过有线局域网（LAN）连接。脑电放大器记录系统收集到的SSVEP脑电信号数据和触发信号通过传输控制协议/互联网协议（TCP/IP）实时传输到NVIDIA Jetson TX2开发板。

利用采集受试者头皮SSVEP脑电信号，我们构建了一个在线的AR-SSVEP系统，用于实时分析和处理脑电信号，并判断被试者当前注视的是AR眼镜中的哪个红色方块。该系统主要由硬件组件、SSVEP范式设计、采集数据过程、在线结果分析四部分组成。

AR-BCI系统的硬件包括Microsoft的增强现实设备Hololens 2、脑电放大器、NVIDIA Jetson TX2以及设备间的通信组件。Hololens 2被用于向用户展示SSVEP视觉刺激，并通过无线局域网向脑电放大器发送时间同步信号。脑电放大器负责采集受试者的SSVEP脑电信号数据，并通过无线网络传输给NVIDIA Jetson TX2进行分析处理。TX2负责存储脑电信号数据，并进行实时处理、识别和反馈输出等操作。

在线识别系统软件方面，基于增强现实的脑机接口在线识别系统中，使用SSVEP范式来诱发被试者的脑电信号。通过呈现特定频率的视觉刺激，例如闪烁的红色方块，刺激被试者的视觉系统，进而触发他们的脑电活动。

为了确保SSVEP范式和脑电信号采集系统两部分之间的同步，Trigger信号同步是必须要解决的关键问题，尤其在前期进行理论分析与数据验证阶段。脑电信号采集设备能够实时获取大脑皮层的脑电信号，但是如果在SSVEP范式开始闪烁时没有特殊标记的Trigger信号，就无法从TX 2存储的数据中准确地提取由SSVEP范式引发的脑电波形。

因此，在设计AR-BCI系统时，必须确保SSVEP范式刺激和脑电信号采集的完美同步，以保证脑电信号的准确性和可靠性。

为了验证该系统，选取30名不同在校大学生进行实验。在每次实验中进行24组试验，每组试验持续1分钟。在一组试验结束后，受试者将得到30秒的休息和放松时间，然后再进行下一组试验。为了确保试验的准确性，受试者在试验过程中需要保持头部尽量不动，并且试验室中要保持无噪声干扰。试验采用特定的视觉刺激模板，受试者需要按照所示的试验时间序列图进行实验。

在AR-BCI在线系统中，所选用的电极位置遵循国际导联10-20标准系统。本次实验任务中，我们选择了枕部视觉区域的6个电极通道用于脑电信号采集，它们分别是O1、Oz、O2、PO3、POz、PO4。这六个电极的位置如图所示。

目前，在PC-SSVEP和AR-SSVEP下，我们对已经采集到了两个数据集，其中正样本数量均为5700个样本。这些样本包括了长期被试的数据量约为3900个样本，以及短期被试（仅进行了两三次实验）的数据量约为1800个样本。在本次研究中，我们将使用CCA、FBCCA、TRCA、CNN、Compact-CNN、MCM、SG-CNN-LSTM和WG-CNN-LSTM算法分别计算在AR-SSVEP和PC-SSVEP条件下进行六分类的准确率。

通过对28名被试在Hololens 2下进行SSVEP分类实验，我们在AR端采用了不同时间窗长度（1.0秒至2.5秒，间隔为0.5秒）来测试分类正确率，并对比了CCA、FBCCA、TRCA、CNN、Compact-CNN、MCM、SG-CNN-LSTM、WG-CNN-LSTM这八种算法在不同时间窗长度下的准确率。

通过结果显示，在PC平台和AR平台上，SG-CNN-LSTM和WG-CNN-LSTM算法表现出最高的准确率。随着时间窗长度的增加，准确率逐渐提高。当时间窗长度为2.5秒时，WG-CNN-LSTM算法在PC-SSVEP下的准确率达到了98.2%，在AR-SSVEP下的准确率达到了93.1%。

并且我们在对对AR-SSVEP脑电信号数据集和PC-SSVEP脑电信号数据集进行分类时，使用了不同的分类方法，并将时间窗长度设为2.5秒。从图中的结果可以观察到，当时间窗长度为2.5秒时，WG-CNN-LSTM和SG-CNN-LSTM在AR端和PC端的准确率非常接近。

在实验过程中，对AR-SSVEP和PC-SSVEP数据集进行分类时，进行了八种不同算法的对比实验。实验发现，这八种分类算法的准确率和信息传输速率都随着数据长度的增加而增加。

其中，CNN-LSTM算法在分类准确率和信息传输速率方面优于其他四种算法。这意味着在AR-SSVEP和PC-SSVEP的分类任务中，CNN-LSTM算法能够更准确地识别目标，同时以更高的速率传输信息。

结论：

在实验中，建立了一套面向增强现实的脑机接口在线识别系统，该系统利用增强现实设备作为诱发特定脑电信号的呈现工具，借助NVIDIA Jetson TX2进行脑电信号的处理。通过解决软硬件匹配、设备间通信和增强现实部署等问题，实现了面向增强现实的脑机接口在线识别系统的成功搭建。

通过这套面向增强现实的脑机接口在线识别系统的搭建，实现了脑机接口技术与增强现实技术的有机结合。该系统为用户提供了一种新颖、便捷的交互体验，拓展了脑机接口技术在现实世界中的应用领域，具备了广阔的应用前景。

参考文献：

[1]杨立雄. 中国特色残疾人经济保障研究 [J]. 残疾人研究, 2018, (3): 25-34.

[2] 潘金洪,帅友良,孙唐水,等.中国老年人口失能率及失能规模分析——基于第六次全国人口普查数据[J].南京人口管理干部学院学报,2012,28(04):3-6.

[3] Anderson K D. Targeting recovery: priorities of the spinal cord-injured population[J]. Journal of neurotrauma, 2004, 21(10): 1371-1383.

[4] Lisa A. Simpson, Janice J. Eng, Jane T.C. Hsieh, et al. The health and life priorities of individuals with spinal cord injury: a systematic review[J]. Journal of neurotrauma, 2012, 29(8): 1548-1555.

[5] Dehais F, Lotte F. Brain-computer interface [J]. 2020.