一、摘要

如今，机器人已被广泛应用于各种工业装配环境中。然而，在手机柔性印刷电路（FPC）装配任务中，机器人在装配速度和精度上还远远达不到要求，这是因为FPC的连接端和接收端尺寸非常小，同时在操作中机器手末端会遮挡它们，这使得FPC的连接器和接收器之间的空间关系难以准确获得。

本工作提出了一种数字孪生驱动的机器人柔性印刷电路组件测量方法，由于与真实空间完全对称一致的虚拟空间提供了一种从不同比例和多个视角查看操作环境的方式，使得数字孪生中的观察可用来分析机器人末端操作器和FPC连接器在物理和数字孪生中的关系。另外，在传统深度架构的基础上，设计了基于数字孪生驱动奖励函数，该函数由机械手引导的FPC运动部分与数字孪生中FPC的目标位置之间的距离和旋转差来度量，这有助于更精确地测量末端机械臂末端和FPC的位置误差，从未获得更高的装配效率。

二、工作介绍

近期中科院自动化所、北京航空航天大学、清华大学机器人团队在IEEE Transactions on Instrumentation and Measurement联合发表的一项工作，采用下列策略来提升手机软排线的装配精度：

（1）采用基于单应性的策略来校准数字孪生中的FPC放置面板及其虚拟放置面板，使得物理空间中的部分遮挡视图在可容忍的误差范围内在数字孪生中可见，这有助于消除物理空间中存在的遮挡；

（2）建立了数字孪生驱动的奖励函数，该奖励函数根据FPC连接器与其在数字孪生中的理想位置之间的距离和旋转差来测量，这使得深度学习模型可以同时学习物理空间和数字孪生空间中FPC位置测量所引导的动作。实验是在红米 Note 11手机的模拟组装平台上进行。在故障轨迹数量有限的情况下，所提出的方法明显优于纯视觉测量和非数字孪生驱动的策略。

三、方法

3.1 方法整体框架

图1给出了我们所提方法的结构，主要由两个模块组成：基于卷积网络的特征编码器（CNN AutoEncoder）和以及基于长短时记忆模型（LSTM）的机械臂动作预测。卷积网络的特征编码器用于将输入图像（图1A列的内容）编码为时间特征（图1 D列的内容），长短时记忆模型从特征组合（图1 E列的内容）中获得适当的动作。

图1：数字孪生驱动的机器人柔性印刷电路装配框图

图1中黑色箭头线连接的工作流是在物理空间中计算的过程，蓝色箭头线展示的是数字孪生中计算流程。图1从右向左指回红色虚线箭头线展示的是孪生空间中的机械臂的移动，主要用于产生训练数据。从右向左指回的黑色箭头表示物理世界中机械臂的移动，同时用于训练流程和真实操作中。图1整体架构借用了马尔可夫决策过程(MDP)状态表示（SR）的逆模式，从数字孪生和物理空间的组合观测中恢复动作。

3.2 数字孪生驱动的观测增强

数字孪生驱动的观测增强用于在一定程度上消除末端对观测遮挡的影响。对应图2（a2）和图2（b2）图像中红色矩形的四个角点，其中图2（a2）表示物理FPC组装环境，红色矩形中的区域用于对齐FPC的位置和方向。图2（b2）显示了图2（a2）的数字孪生环境中俯视视图。图2（a3）中图像中红色矩形的四个角点，其中图2（a3）显示了图2（a2）中所示红色矩形的详细视图。在位置计算过程中，FPC位于P面板中，并且FPC连接器的z值不变。因此，被视为一个常数。在这项工作中，校准通过单应矩阵进行变换处理，使得机械臂末端对观测的遮挡被消除。

图2：物理空间和数字孪生中的观测样本。（a1）手机软排线；（b1）所述手机软排线的虚拟模型；（a2）所述物理FPC组装环境；（b2）数字孪生中的FPC组装环境的视图；（a3）安装在机械手上的摄像机中的平台；（b3）在数字孪生中从垂直视图渲染和观察到的增强视图；（a4）当机械臂末端在物理空间中拾取手机软排线时发生遮挡；（b4）FPC连接器的增强位置及其在数字孪生中的理想位置之间的关系。

3.3 数字孪生驱动的奖励计算

图2（a4）和图2（b4）显示了当机械臂末端拾取手机软排线时，在第t帧的数字孪生中的相机视图和垂直视图的情况。从图2（a4）中可以看出，手机软排线被机械手遮挡得情况下，手机软排线在物理空间和数字孪生中的位置可以通过公式(1)获得，它们的位置如图3所示。这样，FPC连接器的位置及其理想位置在数字孪生中是可见的，并且它们的距离比物理空间中的遮挡情况更容易测量。

(1)

图3：数字孪生环境中FPC的连接器需要从其当前位置平移到理想位置（Q）的奖励计算

假设FPC连接器的理想位置是Q，因为它能够预先分配在组装平台中。Q由图2（b4）中的红色小矩形标记，在绿色小矩形中标记。

3.4 机械臂动作规划

通过将手机软排线的移动部分（或）对准其理想位置（Q）来引导动作。由于手机软排线的初始位置和最终位置在同一平面内。因此，这些动作只与水平面内的运动和旋转有关。图3显示了一种情况，其中手机软排线需要从（绿色实线中的矩形）转换到手机软排线固定部分的理想位置（红色实线矩形）。

四、实验

实验在FPC连接器及其接收器的200次成功组装尝试中，总共收集了24000张真实场景图像、24000张数字孪生场景图像和24000张由校准的图像。所有数据按照6:2:2的比例分为训练、验证和测试数据。图5显示了所提出的网络结构（CNN+LSTM+DT）在验证和测试数据上的性能，其中蓝色和绿色条分别显示了在没有DT支持的情况下CNN+LSTM的结果[50]和所提出的方法。

图4 所提出的方法CNN+LSTM+DT 和CNN+LST[50]在评估和测试数据上的性能比较. 对比文献[50]: C. C. Rodrigo Pérez-Dattari, Giovanni Franzese, et. Al. "Interactive Learning of Temporal Features for Control - Shaping Policies and State Representations From Human Feedback," IEEE Rob. Autom Mag, 27(2), pp. 46-54, 2020.

图5显示CNN+LSTM+DT在验证数据上分别达到99.7%和99.8%的准确率，在测试数据上分别获得97.0%和98.5%的准确率。所提出的方法在验证和测试数据上都优于CNN+LSTM[50]，尤其是在测试数据上提高了1.5%。

图5 沿X、Y轴和的作用步骤的统计误差曲线

图6显示了CNN+LSTM[50]和所提出的CNN+LSTM+DT在实际FPC装配环境中的性能比较。我们使用了圆形螺旋轨迹的伺服策略来按压FPC连接器及其接收器。从图8可以看出，在允许5、10和15次按压的的情况下，所提出的CNN+LSTM+DT装配方法的装配成功率分别为85.3%、92.1%和97.4%，其性能优于文献[50]中提出的方法。值得注意的是，在最多5次按压条件下，CNN+LSTM+DT方法获得了85.3%的成功率，甚至优于CNN+LSTM[50]在允许15次伺服的成功率。这表明，CNN+LSTM+DT比[50]中介绍的方法在实际装配场景中获得明显更好的装配成功率。

图6 所提出的CNN+LSTM+DT和CNN+LST[50]在实际FPC装配环境中的性能比较

五、总结

在这项工作中，我们提出了一种数字孪生环境驱动的手机手机软排线组件装配策略。采用基于单应性的策略来校准数字孪生中的FPC放置面板及其虚拟放置面板，使得物理空间中的部分遮挡视图在可容忍的误差范围内在数字孪生中可见，这有助于消除物理空间中存在的遮挡；建立了数字孪生驱动的奖励函数，该奖励函数根据FPC连接器与其在数字孪生中的理想位置之间的距离和旋转差来测量，这使得深度学习模型可以同时学习物理空间和数字孪生空间中FPC位置测量所引导的动作。实验是在红米 Note 11手机的模拟组装平台上进行。在故障轨迹数量有限的情况下，所提出的方法明显优于纯视觉测量和非数字孪生驱动的策略。我们期待在不久的将来，将本方法进一步改进，应用于真实的手机装配线上，减轻装配流水线上的劳动力负担。

文献：Minghao Yang*, Zhenping Huang*, Yangchang Sun, Yongjia Zhao, Ruize Sun, Fuchun Sun etal, Digital-Twin Driven Measurement in Robotic Flexible Printed Circuit Assembly, IEEE Transactions on Instrumentation & Measurement, DOI: 10.1109/TIM.2023.3246509, Feb 20 2023.（欢迎交流合作: mhyang@nlpr.ia.ac.cn）

本文由CAAI认知系统与信息处理专委会供稿