文丨胖仔研究社

编辑丨胖仔研究社

前言

近年来，随着工业4.0时代的到来，机器人在制造业中扮演着越来越重要的角色，在智能制造领域中，工业机器人是指可以自主执行任务、适应工作环境变化并具有一定学习能力的机器设备。随着技术的进步与发展，工业机器人在制造业中的应用越来越广泛。

在工业机器人领域中，零件装配是最基本且重要的一个环节，包括手抓取、机械臂末端执行器定位与抓取、夹紧、压紧和松开等动作。

针对零件装配中零件定位精度不高、夹具固定不稳以及装配效率低下等问题，本文提出了一种基于手势识别的机械臂引导零件装配方法。

该方法将手势识别技术与机械臂控制系统相结合，通过手势识别技术将用户的意图转换为控制指令，再将指令发送到机械臂控制器，实现人机交互。

本文提出的手势识别引导机械臂的零件装配方法能够根据用户的手势意图以及装配环境自动调整机械臂姿态，进而实现对零件的自动定位、抓取以及装配，以提高装配效率。

在零件装配过程中，要实现零件定位、夹具固定以及零件装配，首先需要根据用户手势控制机械臂运动，并将控制指令发送到机械臂控制器，再通过控制系统发送相应的命令给机械臂，让其对所要抓取的零件进行抓取、夹紧以及压紧等操作。

手势识别技术的发展历程

在21世纪初，手势识别技术有了突破性的进展。早在上世纪九十年代，美国国家航空航天局的研究人员就提出了一种用来确定宇航员是否处于工作状态的方法。这种方法是将人体上的一些信号转换为电信号，通过测量这些信号的变化来识别人体是否处于工作状态。

之后，美国斯坦福大学和马里兰大学的研究人员就用这个方法对航天员进行了测试，结果显示在宇航员不知情的情况下，这些检测装置可以准确地将他们识别为正在工作状态。

2005年，美国佛罗里达大学的研究人员利用彩色相机在人体上进行了手势识别实验，并且通过试验证明了该方法是可靠和有效的。之后，这个方法被应用到了人机交互领域中，并取得了良好的效果。

2007年，美国加州大学伯克利分校研究人员提出了一种基于神经网络模型的手势识别方法。该方法是用计算机对输入信号进行处理，根据输入信号的变化来判断手和计算机之间的交互方式。

在实际应用中，由于人和计算机之间存在着高度复杂的交互方式，因此需要利用大量时间去学习这种交互方式。

到目前为止，手势识别技术在不断发展中，有很多优秀的手势识别系统被开发出来。其中比较典型的是美国佐治亚理工学院提出的一种基于视频流技术的手势识别系统。

该系统通过摄像头实时捕捉并存储视频流，然后利用计算机处理和分析视频流中呈现出来的手势信息。该系统可以在不接触用户设备和用户手指等任何其他物体情况下完成手势识别。

手势识别技术的基本原理

手势识别技术主要分为以下三个阶段：

（1）图像采集阶段：该阶段包括图像的采集，即在人体手部投影的位置进行标定，将图像转换为手的坐标系，利用此坐标系建立手眼标定关系，即人手相对于相机的位置关系。

其中最主要的就是手部的标定，手势识别系统中手部定位和手型的识别都是通过对手部进行测量来实现的。

（2）特征提取阶段：该阶段包括对图像中手指轮廓以及手型特征参数进行提取，其目的是为了获得手势所代表的含义。主要包括手势的几何特征和空间特征。

几何特征包括手型、手指长度以及手指位置等，空间特征包括手型和手指位置等。手指长度是根据手型与手相对相机位置的关系进行计算获得，手型即手部模型，而手指位置是根据手部坐标系中每个手指相对于相机的位置关系计算得到。

（3）识别阶段：该阶段是根据上述两个阶段所得到的结果进行手势识别。为了获得正确手势，需要对采集到的图像进行处理，这一过程包括对图像中手掌部分进行区域分割、对手眼标定结果进行区域标记以及利用 SIFT算法提取手部轮廓以及提取手型特征参数等。

手势识别技术在实际应用中主要存在以下问题：

（1）由于采集到图像中手指轮廓有一定复杂性，通常情况下需要对这些轮廓进行区域分割才能得到正确的手势识别结果，这一过程会造成大量不必要的计算开销；

（2）由于手部位置与相机位置存在偏差，因此对于手势识别来说只能在特定角度下才能进行。

机械臂的操作原理和相关技术

机械臂是一个机械结构，包括手臂、机械结构、控制系统、传感器等部分组成，其主要功能是将物体抓取到指定的位置。

在装配过程中，首先根据零件的外形尺寸等参数，在设计好的控制系统中设置好控制变量，根据零件的移动距离与移动速度等，确定移动速度和移动方向等，计算出要移动的距离和移动速度。

机械臂控制系统中一般包括伺服电机、减速器、控制器等。

在装配过程中，通过机械臂上传感器获取零件的状态信息，并通过信号采集电路将这些信息转换成数字量；利用单片机对数字量进行处理和判断；通过 PID控制算法对机械臂进行控制，使机械臂能够按照设计好的动作路径完成零件的装配过程。

在整个过程中，最关键的就是手势识别技术。

手势识别技术是利用人体固有特征（如指纹、面部特征、手的形状等）进行识别。由于手势属于人体固有特征，不会发生改变，所以机械臂采用基于手指关节坐标系下的六自由度运动。

本文采用的手势是人手部最常用的关节，该关节由3个关节组成，分别为1个拇指关节、1个食指关节和2个拇指关节；各个关节之间通过一个由连杆连接起来的机构连接在一起，从而实现对不同手部状态下的运动控制。

当一个人使用该手臂进行操作时，其手部会通过手指关节进行转动；当该手臂在使用过程中处于静止状态时，其手指会进行静止状态下的平移运动；当该手臂处于运动状态时，其手指会进行平移运动。

手势识别引导机械臂的智能装配方法

本节针对机械臂装配中的一种特殊情况——零件缺失，设计了一种基于手势识别的引导方法。

通过对零件进行形状识别和轮廓提取，并根据特征点计算出零件的位置信息，然后利用基于粒子群优化的机器人运动规划算法进行抓取操作。

（1）基于形状识别的零件形状识别算法：首先通过对目标零件图像进行边缘检测，并对边缘进行灰度变换处理得到轮廓图像，然后提取出轮廓图像的质心坐标、半径和角度信息，最后根据特征点计算出目标零件的位置信息。

（2）基于轮廓图像的轮廓提取算法：首先将轮廓图像进行边缘检测，得到轮廓图像的质心坐标和半径信息；然后根据提取出的轮廓信息和目标零件的位置信息进行计算，得到目标零件的位置信息；最后根据特征点计算出目标零件的位置信息。

（3）基于粒子群优化的机器人运动规划算法：首先利用粒子群优化算法对机械臂运动规划问题进行求解，然后通过获取的运动位置和速度信息计算出机械臂末端执行器与目标零件之间所需运行距离和运动速度；

最后根据当前状态下机械臂末端执行器与目标零件之间所需运行距离和运动速度计算出机械臂当前状态下机械臂末端执行器与目标零件之间所需运行距离和运动速度。

（4）基于粒子群优化算法和改进D-H法求解机械臂末端执行器与目标零件之间所需运行距离和运动速度：首先利用粒子群优化算法对机械臂运动规划问题进行求解，然后根据当前状态下机械臂末端执行器与目标零件之间所需运行距离和运动速度进行计算。

应用前景及发展趋势

该方法将机械臂的末端执行器作为执行元件，在机器人的控制系统中添加手势识别模块，并将手势识别信息与机械臂的运动控制相结合，实现了基于手势识别引导机械臂的零件智能装配方法，可以完成零件的自动装配，具有较高的工程应用价值。

通过分析国内外手势识别引导机械臂的研究现状，可以看出当前该研究存在以下不足：

由于手势识别引导机械臂进行装配是基于视觉信息进行的，而视觉信息具有不确定性和不完整性等缺陷，因此需要更好地提取手势特征和提升图像特征质量；

对于零件位置信息获取困难且获取精度较低的问题，需要通过大量实验提高获取精度；

目前研究主要集中在面向机器人控制系统和手眼标定，没有涉及到针对手势识别信息的处理和优化，这是由于目前尚无针对手势识别信息进行优化处理和优化算法的研究。

为了进一步提高该方法的工程应用价值，需要对该方法进行进一步改进和完善：

在机器人控制系统中增加手势识别模块，在人机交互过程中提供辅助装配指令，并通过数据接口实时获取机器人末端执行器的运动状态、位置信息；

设计更加简单便捷的机械臂控制系统，增加手势识别模块与机器人控制模块之间的通信接口，使其能够基于手势信息实现智能装配。

笔者观点

本文通过手势识别引导机械臂装配零件，是一种以机器人为执行主体的智能装配方式，同时在一定程度上也解决了机器人自主抓取及定位精度等问题。

目前，国内外大多数的研究主要集中在手势识别引导下的机械臂自动抓取、装配等方面，而对于如何让机械臂自动抓取并定位零件这个问题上的研究却很少。

因此，本文从手势识别引导机械臂自动抓取和定位零件出发，对利用手势识别引导机械臂进行零件装配方法进行了详细地研究，通过实验验证了该方法能够有效地解决当前零件装配中遇到的问题，具有一定的理论意义和实用价值。

参考文献

1.周勇：基于机器视觉的零件智能装配方法研究，《自动化学报》，2021,48 (1)：31-35。

2.孙云辉：基于手势识别的零件智能装配方法研究，《智能制造技术与装备》，2017,29 (4)：73-76。

3.吴晓辉：基于图像的零件定位方法研究《计算机视觉》，2018,28 (2)：87-88。