机器之心专栏

作者：上海科技大学等

让数字人拥有一双灵巧的双手。

随着元宇宙概念的提出，虚拟数字人等新兴技术的不断发展，人们通过在虚拟世界中分别还原人体的不同部位并加以组合从而实现数字孪生。如何让数字人拥有一双灵巧的双手便成了一大难题。在真实世界中，我们的手有骨骼、肌肉、肌腱等多个解剖学结构。然而传统的手部模型只专注于外表面皮肤建模，骨架结构也是由简单的关节点连线构成。这样的建模方法并不能重现逼真的虚拟手。

针对这个问题，一个虚拟手建模的解决方案——NIMBLE 模型由解剖学的角度提出，NIMBLE 开发团队建立了一个全新的参数化手部模型，模型包含骨骼、肌肉、皮肤和外表面贴图，拥有更精细的皮肤材质纹理，可以轻松完成各式各样的手势，真实还原手部肌肉状态。

NIMBLE 模型是多学科交叉融合的产物，使用 MRI 技术采集数据，作为参与单位之一的上海科技大学 MARS 实验室孵化的数字人底层技术公司影眸科技研发的高精度扫描系统为手部模型提供了更为精细的贴图与纹理，正是这种多方面的协同创新得以让如今的 NIMBLE 模型真正意义上实现了对人手部分的完美模拟。

项目主页：

数据集

要实现这样的解剖学建模，就一定要有对应的医疗数据。考虑到核共振（MRI）在临床上经常被用来诊断和治疗手部疾病，该研究使用临床 3T 核磁设备采集了高质量的 MRI 手部三维影像数据集。该数据集包括 35 个对象的共 200 个核磁图像，共覆盖 50 个不同的手部动作。为了准确地区分骨骼、肌肉和皮肤，该研究在原始 MRI 图像上也做了标注。

MRI 数据地址：

除了 MRI 数据，该研究还用光场设备采集高质量手部 diffuse、normal 和 specular 贴图。通过贴图插值，实现了对皮肤颜色和纹理的建模。

模型定义

仿照人体参数模型 [SMPL] 和手部参数模型[MANO]，NIMBLE 模型也是由模板模型、LBS（linear blend skining）和 blend shape 构成的。

SMPL 地址： 地址：

模板模型分为三部分，分别是骨骼、肌肉和外表面，其中肌肉和外表面模型用四面体建模。

算法流程

训练模型的流程分为模型配准（registration）和参数学习（parameter learning）两个部分。

其中模型配准是为了将数据统一成相同的拓扑结构，参数学习是将同拓扑的数据作为目标函数去优化模型的参数。

为了在模型配准中捕捉到肌肉和皮肤的非刚体形变，该研究用四面体模型来建模肌肉和皮肤。与三角面片的模型不同的是，四面体模型能够更方便地计算模型体积，也常应用于非刚体物理仿真。该研究在模型配准中就利用了 neo-hookean 弹性模型。他们将其作为一个物理约束应用于模型配准当中，借此保证了模型形变时体积不变，达到了更准确的配准结果。

下图展示了将模板肌肉配准到 MRI 分割出的肌肉的结果。注意配准后的肌肉厚度增加，并且排列更加紧密。

从配准误差的直方图可以看出，误差基本在 2mm 以内。

在参数学习的过程中，由于 MRI 数据的数量有限，研究者还借助了 [MANO] 模型的点云数据来扩充运动空间。通过在多个不同模态的数据集上迭代优化，最终构建出 NIMBLE 模型。与仅基于外表面的传统手部模型相比，NIMBLE 以数据驱动的方式实现了对手的内外部解剖结构统一建模。此外，模型还可以作为一个网络层应用于深度学习，以进行逼真虚拟手的生成和手势识别等多种任务。

实验

该研究从 pose、shape 和 appearance 三个维度验证了模型的 compactness 和泛化（generalization）能力。

从几何建模上，该研究和外表面模型 [MANO] 做对比。

(a) NIMBLE 在变形过程中保留了更多皮肤细节，而 MANO 的结果过于平滑。

(b)(c) MANO 在形变时没有考虑内部结构，因此用简单的方法为它加上内部结构后会出现奇怪的肌肉和骨骼形变以及不真实的皮肤凹陷，而 NIMBLE 保持了解剖学上正确的和物理上合理的变形。

从外表建模的角度，该研究和贴图模型 [HTML] 模型进行了对比。

(a)(b)分别是两个模型数据集中的手部纹理贴图，(c)(d)是在两个模型的贴图空间中随机采样的纹理。显然该研究的模型能够保留更多细节，并且法线贴图进一步实现了手背上肌腱凸起的效果。

HTML 地址：