来源：计算机视觉工坊

在公众号「计算机视觉工坊」后台，回复「原论文」可获取论文pdf、代码链接

添加微信：dddvisiona，备注：深度学习，拉你入群。文末附行业细分群

本研究针对室内机器人活动识别问题，通过利用WiFi信号的信道状态信息（CSI），开发了一个基于注意力的网络来分类机械臂的活动。所提出的方法名为双向视觉变换器串联（BiVTC），旨在准确预测机械臂的活动，无需依赖视觉或其他传感器，并可以适应不同速度的训练活动。考虑到CSI数据对环境的依赖性，研究还涉及嗅探器位置选择的问题，并通过收集不同数据集来解决。最后，研究还发布了八种不同机械臂活动的CSI数据集，名为RoboFiSense，旨在为研究社区提供基准数据集，推动机器人感知领域的进展。

读者理解：

注意力机制的使用是这篇文章的亮点之一。注意力机制可以让模型更加关注重要的特征，从而提高识别准确率。

数据集的质量对模型的性能有很大影响。该文章提出的基准数据集包含了丰富的样本，这将有助于模型更好地学习特征。

该文章的结果表明，WiFi 感知可以用于机器人手臂活动识别，具有一定的应用前景。

总体而言，这篇文章是一篇有意义的研究，为 WiFi 感知在机器人手臂活动识别领域的应用提供了新的思路。

1 引言

本文主要针对WiFi感知技术在机器人臂上的应用进行了研究，提出了基于视觉变换器的模型用于识别机器人臂执行的八种不同活动。研究还涉及嗅探器位置对WiFi感知的影响、活动速度对数据集的影响以及发布了名为RoboFiSense的公开可用CSI数据集。这些贡献有助于推动基于WiFi的机器人活动识别领域的发展，并为研究社区提供了宝贵的数据资源。

2 方法

这篇文章主要围绕WiFi信号的Channel State Information（CSI）数据和图像进行了研究，旨在利用视觉方法对机器人活动进行识别和分类。其中提出了两种主要方法：卷积神经网络（CNN）和视觉变换器（ViT）。

卷积神经网络（CNN）：

CNN被应用于处理CSI数据，其架构包括卷积、池化和全连接层，以及相应的正则化技术。

通过CNN，有效地从CSI样本中捕获层次化特征，并在不同数据集上表现良好。

视觉变换器（ViT）：

ViT与传统的CNN不同，利用自注意力机制来处理CSI数据。

ViT将CSI数据转换为类似图像数据中图块的序列，通过自注意力机制捕捉不同片段之间的复杂关系。

BiVTC模型:

BiVTC模型是一种结合了ViT和CNN的算法，通过ViT模型处理每个嗅探器的CSI数据，并将其输出进行融合，形成用于机器人活动分类的特征集。

ROBOFISENSE数据集:

数据集包括Franka Emika机器人执行的八种不同活动，每个活动的路径通过红色虚线在图中显示。

数据集的收集过程包括在房间内放置两个嗅探器以获取CSI数据，经过预处理后，得到了适用于机器学习算法的CSI矩阵数据。

数据集提供了不同机器人活动速度和嗅探器放置对机器学习算法有效性的影响研究。为此，包括了不同速度水平和嗅探器位置的多个实验场景。

数据收集和设置:

采用了双Raspberry Pi 4的配置，并使用Nexmon项目获取嗅探器设备的CSI数据。

为了实现多嗅探器数据同步，设计了一种回环数据包重定向到监视器的解决方案，以确保时间戳的同步性。

数据收集过程还涉及WiFi信号的80MHz带宽传输和数据预处理步骤，包括CSI值振幅的计算和矩阵尺寸的处理。

这些方法和数据集的研究为基于WiFi的机器人活动识别提供了全面的探索和资源，旨在提高机器人在多种环境下的活动识别能力，为相关研究和实际应用提供了重要的参考和数据支持。

3 总结

本研究通过利用WiFi信号的CSI数据来预测室内机器人活动，摆脱了对传统传感器的依赖，展示了高效分类机器人手臂不同活动的能力。同时，发布了包含机器人活动数据的CSI数据集，促进了未来研究和全球研究人员之间的合作。这一研究为解决室内环境中自主机器人活动预测的挑战性问题带来了创新性的解决方案，为未来该领域的发展奠定了基础。

下载

在公众号「计算机视觉工坊」后台，回复「3dcv」,即可获取工业3D视觉、SLAM、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文；巴塞罗那自治大学和慕尼黑工业大学3D视觉和视觉导航精品课件；相机标定、结构光、三维重建、SLAM，深度估计、模型部署、3D目标检测等学习资料。

3D视觉方向交流群成立啦

目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：

[工业3D视觉]相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

[SLAM]视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

[无人机]四旋翼建模、无人机飞控等

除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

大家可以添加小助理微信: dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。