空间感知的概念

空间感知是指获取人、物在空间中状态的能力，包括位置、方向、速度等，且可以建立周围环境的几何和语义模型，是AR导航、AR多人协作及多种空间应用的基础。通常来说，空间感知是通过一系列传感器之间的数据校准进行确认的。以智能手机为核心，GPS、光通信、蓝牙、计算机视觉识别等不同的技术路线，可以带来不同的空间感知系统，其对应的精度、适应性也不相同。智能手机、机器人、汽车等不同类型的智能设备要在在复杂空间中的开启定位，并提供与位置相关的服务，都离不开空间感知。

空间感知的关键技术模块

定位、建图和识别是空间感知的核心技术模块。具体的讲，定位可以分为局部定位和全局定位，传统的SLAM算法通过视觉、IMU、激光雷达等设备实时估算设备在空间中的局部相对位置和姿态，全局定位则尝试将当前设备的观测与离线地图进行匹配，得到设备在空间中的绝对位置和姿态。建图可以分为实时建图和离线建图，实时建图是设备根据当前运行输入实时建立和更新环境的表示，离线建图则是将离线采集的数据进行后处理得到环境的表示，两者应用侧重不同，都是必不可缺部分。

识别包括识别和追踪场景中特定的平面物体或者三维物体，输出其在环境中的六自由度位姿。识别还包括检测环境中特定的平面,比如水平面和竖直面，可以用于虚拟物体的放置和虚实交互等。同步的定位和建图（SLAM）实现设备运行期间，对空间环境的快速构建并提供定位服务，涉及实时地图数据标识、地图信息感知、数据关联、实时构图、图像检索、特征点匹配、反向定位、回环检测、偏移校正、多传感器融合等技术。

图像检索与特征点匹配技术是实现实时空间定位的关键环节，应具备较高的匹配准确率与成功率，同时基于对单次定位时长的实用性考量，图像检索与特征匹配应具备较高效率。反向定位技术依赖图像检索及特征点匹配过程进行本体位姿推导，为保证复杂场景下导航高可用性，反向定位应具备较高定位精度。

为提高定位准确度及定位效率，并兼容大规模、特征点稀缺场景，可引入多传感器融合技术，基于GNSS先验位置或融合其他传感器进行位置估算，在该位置信息邻近图像帧进行局部搜索，提升定位效率及定位成功率。

空间感知技术的应用现状与展望

定位与建图是一个相当古老的问题。前人数十年的研究工作，通过描述物理运动状态以及空间几何关系，设计出了各种复杂的模型和算法来解决这一问题，例如，里程计估算（包括视觉里程计、视觉惯性里程计和激光雷达里程计等），基于图像的全局重定位，位置识别 ，SLAM和三维重建。 在理想条件下，这些传感器和模型能够准确估计系统状态。 但在实际应用中，传感器测量误差、不准确的系统建模、复杂的环境动态影响和一些不符合真实环境的约束条件都会影响传统模型的准确性和可靠性。

由于传统模型的局限性以及近年来在机器学习（尤其是深度学习）领域的一系列进展，促使研究人员考虑将数据驱动（学习）方法视为一种解决问题新方案。描述了输入传感器数据（例如视觉、惯性、LIDAR或其他传感器）与输出目标值（例如位置、方向、场景几何或语义）之间的关系。 传统建模方法通过手动设计来实现特定领域的算法，而基于学习的方法则通过深度学习从大量数据中学到的相关知识来构建这一映射关系。

一些研究人员尝试在已有建图框架内用深度学习方法替换定位和建图的部分模块，如将基于深度学习的特征匹配、回环检测、稠密建图等。另一些研究人员则尝试完全基于深度学习的端到端的系统来解决定位和建图的任务。两种方法近年都取得了较大的发展，已经在不少定位和建图任务上超越了传统算法的效果。近年来随着神经辐射场(NERF)等技术的涌现，展示出深度学习算法在三维视觉领域的巨大潜力和全新应用可能性。

端侧的同步定位和建图(SLAM)的跟踪精度和稳定性方面在近年也已经取得长足的进展。依赖视觉、惯性测量单元的多传感器融合的方案能够比单传感器方案对重复纹理、动态场景有更好的鲁棒性，在长距离追踪上的漂移可以做到低于1%。当前，基于端的空间感知环境重建方案范围受限、难以直接处理多人同步，对于高精度的空间感知所需的深度学习模型算力需求量大，端侧计算往往需要牺牲部分性能，且带来续航和发热的问题。通过云-边-端结合的方式来实现大规模场景的高精度定位与重建已经成为重要趋势，得益于 5G 的高带宽和低时延特性，通过离线采集环境的图像数据并构建高精度的视觉地图，将具有复杂计算量的模块放置在云端，然后通过结合设备本地的SLAM跟踪能力并融合在视觉地图中的定位结果，既可以解决大场景下SLAM跟踪漂移丢失等问题，又可以满足持久化AR内容、多人交互、AR导航等需求。

【来源：虚拟现实与元宇宙产业联盟《5G 空间计算白皮书（2023）》】