文/观文史说

编辑/观文史说

在飞机维修领域，发动机的高度相似性可能导致视觉识别困难，因此寻找有效的方法来区分和识别相似发动机管至关重要。

发动机是飞机的核心组件，具有独特的结构和特征，不过一些发动机型号在外观上可能存在相似性，增加了识别的挑战，研究将比较不同方法，如图像处理技术、纹理分析和深度学习等，以确定最适合该场景的识别方法。

通过深入研究，可以为飞机维修人员提供更可靠和高效的发动机管识别工具，从而确保维修过程的准确性和飞行安全性。

01

方法的选择

对于对象识别任务，需考虑处理2D或3D数据的各种方法，并基于目标领域的性能和后续应用的适用性来选择相关标准，数据的可用性、处理算法和支持工作也是重要因素，为了提供追溯性、理解性能和可视化可能性，有必要选择方法，尤其在缺乏关于目标领域研究的情况下。

在2D领域，可以使用简单的方法如模板匹配、几何特征比较、图像特征匹配等，人工智能的解决方案如CNN和变压器网络也可考虑，但需要大规模的预先训练数据，在数据不足的情况下，可以考虑合成生成。

处理3D数据时，可以使用对比、关键点、形状基元等方法进行匹配，也可以使用神经网络进行分类，但需要足够的训练数据，3D方法在MRO流程中更为适合，因为它们可以处理3D对象的多个静止位置和外观差异。

尽管2D方法可能受到预期性能不佳的影响，但通过利用对象轮廓、几何特性和管道特定特征进行分类仍然是前景，2D变换网络的应用也有潜力，可以检测多个静止位置和视图的模式。

在研究中，先对2D演示管道进行了研究，以评估原理的适用性，鉴于3D方法更合适，还将详细研究使用FPFH关键点和神经网络的处理3D点云的方法，这将有助于实现对象识别任务，并且点云被选为示例网络，因为其在各个领域都有广泛应用。

02

数据集

在对象识别任务中，使用了两个数据集：一个包含2D图像，另一个包含3D点云，这些数据集分别被称为2D数据集和3D数据集。

为了训练和测试，数据被分为70%用于训练和30%用于测试，同时还有一个合成的2D数据集，其中包含计算机生成的图像，以支持数据驱动方法的训练，为了提高模型的泛化性能，对所有数据集都应用了广泛的数据增强方法。

2D数据集由从不同角度拍摄的2D演示管道的BEV图像组成，每根管道被分配一个从1到15的等级号，并放置在不同的背景上，如木质桌面、白色实验室桌面和车间地板。

每个管道和背景组合下拍摄了10张图像（除了第1类和第12类，它们只有8张图像），尽管1类和12类记录的不足会导致轻微的类不平衡，但数据质量足以支持预期的方法演示和后续讨论。

3D数据集包含每个3D演示管道的点云，被标记为1到10类，对于每个类别，收集了20个记录，共计200个点云，这些管道通过安装在框架上的Intel D435i立体摄像机进行数字化，以倾斜的角度从上向下拍摄，管道放置在白色工作台上。

在每次记录之间，手动移动、旋转和重新定位管道，然后使用简单的颜色阈值分割算法提取属于管道的点，以获得最终的点云，这些数据集和点云的获取过程都经过详细描述。

03

分类流程和实现

在对象识别任务中，将实现四种不同的方法，其中两种用于2D图像，另外两种适用于处理点云，这些方法在工作原理和所需的参考数据类型上都存在差异。

基于2D图像的方法和PointNet神经网络需要真实的图像或点云数据进行训练和测试，另一方面，基于点云对齐的方法需要高质量的CAD数据作为参考。

第一种方法是基于BEV管道轮廓几何特性的随机森林分类描述，除了常见的轮廓宽度、高度、面积和Hu矩等特征外，还考虑了领域特定的特征，如管道长度或直径。

尽管没有为目标领域手工制定特定的领域特征，但研究结果表明将其中一些特征添加到分类管道中是否会带来实质性的好处，以及这些特征是否能够与通用几何属性的自动分类相媲美。

使用随机森林（RF）进行分类的一个主要优势是可以组合多个预测，从而获得更可靠的结果，同时能够更好地过滤掉异常值，此外，还可以计算概率分数，用于评估预测结果的可信度。

在目标领域中，管道具有变形和弯曲的特点，并且可能带有附件（例如法兰或安装支架），为了更简洁地描述管道的主要几何形状，可以使用骨架化的方法。

骨架化技术被提议用于确定特定领域的特征，因为骨架的简单结构使得我们可以轻松地获取相关信息，可以通过计算管道的主轴（骨架）与其轮廓之间的距离来估计管道的直径。

鉴于2D演示管道是MRO流程中处理可能更为复杂的管道的高度简化表示，因此以下内容将仅考虑最长分支长度、两端之间的最大距离以及平均直径，这些参数将用于评估目标领域的潜在应用和具体功能。

通过采用骨架化技术，可以更有效地捕捉管道的关键几何特征，这有助于进一步发展和优化对象识别方法，以满足实际应用中的要求。

04

使用几何和形状进行分类

在应用2D数据集的测试数据时，可以观察到高达99.2%的分类准确率，这个分数包括了所有通用和特定领域的特征，以及仅使用通用功能的情况，这个结果可能与预期有所不同，因为额外的特定领域特征似乎并没有显著提高分类准确性。

这意味着，尽管考虑了特定领域的特征，分类准确性的提升并不明显，仅使用特定领域特征（总共三个参数）仍然可以达到80.9%的准确率，但这远低于之前提到的分数。

对于性能不足的特定领域特征，原因可以在于它们的计算方式以及值的强烈波动，骨架化算法受分割图像的影响，因此在很大程度上依赖于分割的质量，如果管道边缘磨损、粗糙或破碎，就会导致骨架形状扭曲，从而影响特征值的准确性。

特别是，磨损的分段掩模会导致骨架出现锯齿状，进而使得计算出的管道长度远超过标称值，在计算管道直径时，对于所有类别中的多个管道，6毫米和8毫米之间没有明显的差异。

在为了证明使用骨架化方法计算特定领域特征的有效性，并展示其在分类目标中的应用时，针对放置在绿色背景上的管道记录了附加的数据集，通过在单色背景下使用色度键控分割，能够实现更平滑和清晰的分割蒙版。

尽管前两个特征集的准确性较低，但仅使用特定领域特征时可以实现显著的改进，这个数据集还提供了估计的管道直径。

值得注意的是，目前存在两种不同类型的管道直径，它们之间存在明显的差异，类似的观察也可以应用于其他特定领域的特征，如分支长度和端点之间的距离，虽然仅使用通用特征能够获得更好的结果，但原则上，仅使用三个精心选定的特定领域特征进行分类是可行的。

可以初步得出结论，基于几何和形状的分类方法在原则上是可行的，然而，在考虑将此方法应用于MRO流程中的实际管道时，需要注意该研究中所采用的是基于2D图像和演示器的极大简化情况。

对于潜在的应用，必须考虑到3D构件可能的姿势变化以及由此可能产生的变化，以及可能的自遮挡问题和仅使用BEV记录的限制。

实际事实表明，特定领域的特征可能是有益的，因为仅使用三种特征类型就足以实现良好的分类结果，还可以考虑将管道特定参数扩展到3D输入数据（如点云），并以类似的骨架化方式计算属性（如直径、体积或长度）。

这些研究结果为进一步探索和优化基于特定领域特征的对象识别方法提供了有益的指导，然而，在将此方法应用于更复杂的3D管道情景之前，还需要更多的研究和实验。

05

结论

在这项研究工作中，研究人员针对一组高度相似的演示管道，探索和测试了不同的视觉识别和分类方法。

研究结果表明，即使在没有明显特征的情况下，现代计算机视觉和机器学习技术也能够完成分类任务。

尽管最简单的方法基于手工制作的几何形状和从2D图像计算的形状特征，能够很好地应用于简单的演示管道，但由于预期性能较差以及信息不足，这种方法可能无法直接适用于现实世界的零件，这是因为这些零件可能存在不同的摆放位置和可能的遮挡，导致特征差异。

尝试使用变压器网络的实验显示，这种方法在明确识别所研究领域的特定组件方面存在问题，此外，使用合成数据进行预训练并未显著提升网络性能，因此，当前来看，这种方法尚不适用于实际应用。

另一方面，3D方法在分类高度相似组件方面表现出巨大潜力，并且成功地应用了PointNet和点云对齐方法，尽管这些3D演示管道几乎没有明显特征，但其高分类性能表明不需要显著可见的特征。

虽然PointNet的性能稍稍优于其他方法，但点云对齐方法在避免误报、提供良好的可视化功能以及扩展性方面具有独特优势，因为不需要预先训练。

然而，神经网络能够快速处理待分析的点云，可以使用记录的点云进行训练，这消除了对CAD模型的需求，但需要较长的训练阶段，该方法的缺点是对于错误分类的零件检测不足以及添加新组件的困难。

结合这两种方法似乎对于人机协同系统是有前景的，这可以帮助人类完成分类任务，并减少确定正确类别所需的猜测、比较和交叉检查的次数。

在这样的系统中，PointNet可以用于初始分类，然后使用点云对齐方法进行结果可视化，通过将对齐的CAD模型与记录的点云进行可视化，人们可以迅速验证两个零件是否相同，用户可以检查和标记可视化结果，以避免错误分类。

从长远来看，这有助于记录更多标记数据以供进一步训练，从而减少未来所需的手动交互，然而，关于使用基于CAD模型的合成点云训练数据以及减少误报，仍需要进一步研究。

进行更大规模的数据集研究，以及对现实世界用例相关管道的数据记录，将有助于证明该方法在实际应用中的适用性，另一个值得探究的研究领域是神经网络的可解释性，特别是对于高度相似的组件。