机器之心专栏

作者：David Held、Ben Eisner、Harry Zhang

卡内基梅隆大学机器人学院 （CMU Robotics Institute) 推出物体轨迹预测（FlowBot 3D）算法，可以使机器人去操纵日常家具。该算法泛化性极强，只需一个神经网络模型便能泛化到各种家具物品。

人们在日常生活中接触到的大部分家具都是“关节物品” （articulated objects），比如带有拉出式导轨的抽屉、带有垂直旋转轴的门、带有水平旋转轴的烤箱，因为这些物体的主要零件都是由各种各样的关节连接而成。由于这些关节的存在，被连接的物体的零件的各个部分在运动学上受到关节的约束，因此这些部分只有一个自由度（1 DoF）。这些物品在我们的生活中无处不在，尤其在日常家居中经常看见，是我们日常生活的重要组成部分。作为人类的我们我们看到无论什么样的家具，我们都可以很快弄清楚如何操纵和控制它。好像我们知道这些物体的每个关节是如何移动的。那么机器人可以像人类一样预测家具的移动方式吗？这种预测能力很难获得，如果机器人可以学习这种能力的话，将是对家用机器人是一个巨大的推动。

最近，CMU 机器人学院 David Held 教授 R-PAD 实验室的两名学生 Ben Eisner 和 Harry Zhang 在操纵复杂的关节物体方面取得了突破，并推出了基于 3D 神经网络的 FlowBot 3D，一种有效表达和预测关节物体部分运动轨迹的算法，例如日常家具。该算法包含两个部分。第一个部分是感知部分（perception），这个部分使用 3D 深度神经网络从被操纵家具物体的点云数据（pointcloud data）中预测三维瞬时运动轨迹（3D Articulated Flow）。算法的第二个部分是策略部分（policy），它使用预测得到的 3D Articulated Flow 来选择机器人的下一个动作。两者都在模拟器中完全学习，可以直接在现实世界中实现，无需重新训练或调整。在 FlowBot 3D 算法的帮助下，机器人可以像人类一样随意操纵日常家具等关节物体。

这个论文目前是世界机器人顶级会议 Robotics Science and Systems (RSS) 2022 的最佳论文候选（top 3%)，并将会在 7 月于美国纽约展出，与其他 7 篇优秀文章一同角逐最佳论文的荣誉。

论文地址：项目主页：

FlowBot 3D 只依靠模拟器，在模拟数据中进行监督学习，从而学习日常家具等关节物体零件的瞬时运动轨迹（3D Articulated Flow）。3D Articulated Flow 是一种 可视的点云轨迹表示方法，可大大简化机器人下一步策略的复杂性从而提高泛化性和效率。机器人只需通过紧跟这个瞬间轨迹，并在一个闭环中，重新预测这个轨迹，就能完成操纵关节物体的任务。

此前，学术界常规的操作家具等关节物体的方法，是通过被操作对象的几何特性（例如连接零件的位置和方向）来推算出零件的运动方向，或者是通过模仿专家策略（通常来自人类）来学习特定对象的操作，从而完成关节物体操作的复杂动作。这些学术界的传统方法都没有很好的泛化性，而且利用数据的效率较低，训练需要收集大量的人类演示数据。与这些不同的是，FlowBot 3D 是第一个纯粹基于模拟器学习不需要人类提供任何演示数据，并且该算法允许机器人通过学习每个零件的瞬时运动轨迹来计算最佳的物体操纵路径，因此该算法拥有很大的泛化性。正是此特性可以让 FlowBot 3D 泛化到到模拟器训练期间不可见的对象，直接在现实世界中成功地操纵真实的日常家具物品。

下面几张动图演示了 FlowBot 3D 的操纵过程。左边是操纵的视频，右边是所预测的点云瞬时运动轨迹 3D Articulated Flow。FlowBot 3D 算法先使机器人识别物体上的哪个零件可以被操纵，然后预测该零件运动的方向。

开动冰箱门：

开动马桶盖：

开动抽屉：

此论文的审稿人说：总体来说，这篇论文是对机器人操控学的可观贡献。

那么，FlowBot 3D 是如何学习这个技能的？

人类在见到一个新的家具物品的时候，比如一扇门，我们知道这个门是通过一个门轴来旋转的，并且我们知道门轴的约束使这个门只能向一个方向旋转，于是我们便可以去跟随我们脑里想象的方向去开这个门。所以，想要机器人真正灵巧且有效的预测家具等关节物体的操纵方式和运动轨迹，一个有效的方法是让机器人去理解这些零件的运动学约束（kinematic constraint），从而可以去预测这些物体的运动轨迹。

FlowBot 3D 的具体方法并不复杂，并且只依靠模拟器，无需繁杂的真实人类数据。另外，模拟器的另外一个好处是在模拟器中，这些家用物体的 3D 数据文件 (URDF) 中包含每个零件的运动学约束和约束的具体参数，所以每个零件的运动轨迹在模拟器中可以准确计算出来。

FlowBot 3D 的两个模块。

模拟器训练中，机器人观测到被操纵物体的三维点云数据，作为机器人视觉模块的输入数据。视觉模块（perception module）利用 PointNet++ 来预测在外力作用下，输入点云中的每个点的瞬时（比如抽屉拉开 1cm 之后，门向外开 5 度）运动轨迹 3D articulated flow，用三维坐标向量差的形式表达出来。这个运动轨迹的实际数据可以通过正向运动学准确计算出来。通过下一步三维向量坐标减去当前的三维向量坐标，可以得到被操纵物体部分的运动轨迹。因此，在训练时，只需要最小化预测的 3D Articulated flow 的 L2 loss 来进行监督学习。

在这个图里，蓝色的点是被观测的点云数据，红色的箭头就代表预测出门面的运动轨迹 3D Articulated Flow。

通过这种方式学习，FlowBot 3D 可以学习到在运动学约束下每个零件的运动方向以及该零件上每个点在受力相同的情况下运动的相对速度和相对方向（velocity）。常见的家用关节物品为抽动式（prismatic）和旋转式（revolute）两种。对于抽动式零件，比如抽屉，在抽屉面上的每个点收到相同外力下的运动方向和速度是相同的。对于旋转式零件，比如门，在门面上的每个点收到相同外力下的运动方向是相同的，但是速度却是离旋转轴越远越大。研究者用机器人学中的物理定律（screw theory）证明了长度最长的 3D Articulated Flow 可以最大化物体的加速度。根据牛顿第二定律，这一策略是最优解。

基于理论基础，在实际操作中，机器人需要做的，就是通过 FlowBot 3D 的视觉模块预测出每个点的运动轨迹，在每点轨迹中，找到长度最长的 3D articulated flow 方向所对应的点作为操纵点，并闭环预测这个操纵点的运动轨迹。假如被选中的操纵点无法被成功抓取（比如表面不符合机器手的抓取条件），那么 FlowBot 3D 会选择长度第二长并可以符合抓取条件的点。另外，由于 PointNet ++ 的特性，FlowBot 3D 预测每点的运动轨迹，并不依赖于物体本身的几何特性，它对机器人对物体可能的遮挡有较强的鲁棒性。另外，由于此算法是闭环的，机器人可以在下一步的预测中对自己这一步可能的错误进行修正。

FlowBot 3D 在真实世界中的表现

FlowBot 3D 在真实世界中有能力去克服泛化性的挑战。FlowBot 3D 的设计理念在于，只要其可以准确预测出被操纵物体的运动轨迹 3D articulated flow，那么下一步就是跟随这个轨迹来完成任务。另外很重要的一点是，FlowBot 3D 利用单个训练模型去操纵多个类别的物品，包括训练中没有见过的类别。并且在真实世界中，机器人只需要使用这个纯模拟器训练获得的模型就可以操控多种真实物体。因此，在真实世界中，由于家用物品的运动学约束绝大多数与模拟器中无异，FlowBot 3D 可以直接泛化到真实世界中。

FlowBot3D 在真实世界实验所用到的家用物品（包括垃圾桶，冰箱，马桶盖，盒子，保险箱等。

在模拟器中，机器人使用部分类别的家用物品进行训练，包括订书机，垃圾箱，抽屉，窗户，冰箱等。在模拟器和真实世界的测试中，测试数据来自于训练类别的新物体和训练时并没有见过的类别。

FlowBot 3D 在模拟器中的操纵任务。

相比较而言，学术界中常见的基于模仿学习的方法需要人工指导才会学习新型物体的操控方式，使得这些机器人在现实世界中，尤其是家用机器人场景中落地不现实。另外，3D 点云数据强于其他方法所使用的 2D RGB 数据，因为点云可以允许机器人去理解每个关节和关节之间的关系，从而能够更高层的理解和预测零件的运动轨迹，极大增强泛化性。

实验结果显示，FlowBot 3D 在操作多数物体（无论是训练时见过还是没见过的类别）时都能将对 “全开” 的距离达到 10% 以下，成功岭可以达到 90% 以上。相比之下，其他基于模仿学习(DAgger) 或者强化学习 (SAC) 的方法差了很远，并且缺少泛化性。

总之，FlowBot 3D 是一个潜力很大的工作。它可以在无需微调的前提下完成现实世界中高效部署。这项工作还表明，计算机视觉的进步可以改变机器人领域，尤其是这种可视的运动轨迹表达方式 3D articulated flow，它将可以被应用到多个任务中，来简化机器人策略选择和决策过程。有了这种可泛化的表达方式，模拟器学习的方法将有潜力去在直接部署到真实世界里，这将大大降低未来家用机器人训练和学习的成本。

FlowBot 3D 的下一步计划

目前，课题组正在尝试将 flow 这种理解预测方式应用到关节物体以外的物体上面，比如如何用 flow 预测 6 自由度的物体轨迹。同时，作者在尝试将 flow 作为一种通用视觉表达方式，从而应用到其他机器人学习任务中，比如强化学习，从而增加学习效率，鲁棒性，以及可泛化性。

David Held 副教授的主页：

Ben Eisner 的主页：

Harry Zhang 的主页：