在阅读此文之前，麻烦您点击一下“关注”，既方便您加入讨论和分享，又能给您带来不一样的阅读体验，感谢您的支持

文|墨卿烟

编辑|墨卿烟

前言

当今世界上，由于数字化的自动化系统比较稀少，所以有许多行业的工程文档还是纸质格式，而在这些文档中，单线图的理解和解释，成了人们最痛疼的问题。

但是这些技术文档又在电气系统、配电系统等多个领域，都发挥着至关重要的作用，所以不得不依靠许多高技能工程师和专业人员，花费大量的时间来破译这些图纸。

近年来工程图纸的数字化变得越来越重要，设备监控、风险分析、安全检查和其他操作的发展，全部都依赖于这一技术，并且它们还受到计算机视觉和图像理解的影响。

随着卷积神经网络的发展，并广泛用于各种与图像相关的任务中，其中就包括基于生物特征的身份验证、图像分类、手写识别和对象识别。

在卷神经网络出现之前，图像的分割、分类和对象识别技术几乎可以说是在原地踏步，然而，卷神经网络的引入彻底改变了这一领域。

并且为了解决工程图纸数字化的难题，一位外国的科学家于2014年首次提出GANs，用来解决数据集不平衡的问题，图纸中的几类符号，而在数据集中被过度表示或是服务不足，则是人们要面临的第二个难题。

用于对象识别的 YOLO V5 模型，是一款特别关注单线符号的模型，是科学家们用来克服第二个难题的一大助力，那么他是如何工作的呢？

相关作品

科研界在该领域最近又取得了新的突破，使得用于数字化工程图的不同深度学习技术有了新的发展，GAN就是科学家们的新产物。

工程文档的数字化

工程图纸中的内容繁多，通常包含各式各样的符号、实线或虚线以及文本，以浓缩和全面的方式描绘复杂的工程过程，这些技术图纸在多个学科中得到了广泛的应用。

为了将这些草图数字化，人们开始在机器视觉上倾注更多的心血，随着计算机视觉和机器学习的显著进步，再加上许多还没有进行数字化的数据，能够将图纸数字化的全自动框架成了人们最为迫切的需求。

严重依赖广泛的特征提取，是学习方法的一个主要限制，这高度依赖于提取的特征的质量，该领域的现有文献主要集中在解决数字化工程图的特定方面，而不是提供全面且完全自动化的框架。

一些研究集中在工程图纸中常见符号的识别和分类，以及图表中文本与其他图形元素的分离，采用图像处理技术进行线识别和深度学习方法进行符号检测。

或者在其他研究中也采用了启发式策略，使用特定方法对图纸中的组件进行定位和分类，来达到一个较高的精度水平。

然而当原理图或符号表示发生变化时，这些方法可能需要修改启发式规则，或开发新的启发式规则，此外，这些方法的有效性，在很大程度上取决于数据集中数据的平衡分布。

近年来人们尝试将基于深度学习的技术，应用于类似于工程图纸数字化的任务，一些研究利用基于单阶段检测的技术来识别平面图中的门、窗和家具物体，并产生了较好的结果。

但是这些研究使用的是小数据集，每张图纸中的家具物品数量不足，这也导致了导致性能的下降。

过程和仪表图中的符号识别是一个非常重要的领域，仪表图的复杂性给符号识别带来了各种挑战，包括相邻线、符号重叠、区域不明确以及符号之间的相似性。

一项研究使用合成和原始绘图表数据集，评估了四种分类工具，其中表现出最佳性能的模型，也存在着明显的弊端，它都依靠在分类之前对符号进行分组，并删除线以获得更清晰的观察。

基于启发式方法与深度学习技术的结合，工程图纸的组件检测有了突破壁垒的希望，采用两阶段过程，涉及用于连接管道标签和符号的欧几里得度量，以及用于管道检测的概率霍夫变换，用以本地化符号和文本。

另一种方法利用完全链接的卷积神经网络，来开发符号定位及技术，包含 672 个工艺流程图的数据集用于自动化工程图，与传统方法相比，该方法的性能有所提高，但是，却没有实现对所有组件进行准确检测。

为了捕获单线手绘电路图草图过程中，笔运动产生的时变信号，科学家们使用了隐马尔可夫模型，为此，检查了包含100张手绘草图的数据集，在正确分类与连接线和符号类别相关的点方面，它达到了一个较高的准确率。

后来，科学家们开发了一种新的电路图识别系统，将草图识别作为一个动态编程问题来解决，并结合了一种新技术，这项技术能成功识别草图中穿插的符号，证明该方法在识别自由形式草图方面是有效的。

先进的深度学习方法，被人们率先采用在音乐方面，并且取得了显著改善，多项技术已成功应用于识别手写音乐符号，与传统的符号识别和检测结构化图像处理方法相比，具有更高的性能。

总之，现有的研究强调了机器学习的现状和技术图像理解之间的显著差距，这种差异源于该领域的快速发展，以及关键应用领域的不平衡和渐进式进展。

广阔网

2014年，生成对抗网络于由一位美国科学家首次提出，该网络被认为是可以创建独特而新鲜内容的生成模型，生成器和鉴别器是构成GAN的两个竞争模型。

鉴别器用作从生成器和训练集接收输入的分类器，并且它将学习如何区分训练过程中的真实输入样本和虚假输入样本，但是，生成器则被教导如何创建准确反映原始内容基本属性的样本。

那么生成器和鉴别器分别是怎么工作的呢？

生成器其实是一个使用当前数据生成新的逼真图片的网络，使用随机噪声创建图像，生成器的目标是欺骗鉴别者，使其相信它产生的虚假图像是真实的，当生成器产生的样本被判别时，它会尝试尽可能降低鉴别器的精度。

与生成器不同，鉴别器是用于区分图像的网络，它确定输入图像是生成器创建的假图像还是已经存在的真实图像，鉴别器的工作是突出显示已经存在的实际图像，与生成器生成的虚假图像之间的差异。

最小化真实数据分布和人工数据分布之间的差异是该模型训练的主要目标，在区分真实样本时，鉴别器寻求优化精度，当将假样本与真实样本分开时，它寻求最大化。

该模型中的生成器负责生成虚构的图片，为了确定哪个图片是真实的，哪个是假的，鉴别器使用生成器创建的假图像或已经存在的真实图像，生成器和鉴别器将在数千次迭代后，以对抗的方式发展。

建议的方法

科学家们提出了直线图中的符号识别方法，并且提供了有关用于测试的数据集的信息，包括数据探索和预处理技术，为了解决这些图纸中的类不平衡问题，科学家们还提出了解决方案。

SLD符号识别方法

实验分为两部分：1、通过两个子模型来生成合成图像;2、检测原始和增强图像中的符号。

这些图表可以在许多部门中找到纸质文档或扫描图像，解释和分析这些文件需要大量的时间、精力和专业知识，准确理解这些图纸至关重要，一旦误读这些论文，就可能会导致非常严重的后果。

作为数据准备过程的一部分，科学家们使用该模型来创建人工符号图片，数据集还分为两类，第一组集合仅包含实际图像。

第二组数据集，则是由两个子模型创建的实际图像和生成的图像组成，第一组数据集仅包括原始图片，而另一组数据集将原始图像与该模型生成的合成图像相结合。

SLD数据分析

在原始数据中，该数据表的尺寸为7000×5000像素，科学家们将工作表分成6*4网格以加快训练速度，创建了24个子图像块，与原始图片相比来说相对较小。

为了训练深度学习模型，图像和原理图必须进行完全注释，因此科学家们使用一种工具对该图像集进行注释，注释图表的过程非常简单，只需要使用这种工具来记录相关符号的类及其位置即可。

注释产生的数据保存在表示多个唯一类的文件中，近两千种不同符号的多个样本，但是这样的原始样品是非常不平衡的。

对此进行研究的科学家们表示，在某些情况下，符号之间的差异可能非常大，但由于代表性异常不足，这些符号被排除在原始数据集之外。

GANs的数据生成

为了确保该模型的卷神经网络、骨干网络可以正常使用，有人提供了一组要求，使用其原始设置，将鉴别器和生成器上的池化层替换为扼杀卷积。

卷神经网络经常用于识别特征，其次为了解决梯度消失问题，科学家们采用批量归一化方法，将每一层都内置了一个梯度传播器，以此来保证梯度到达每一层。

同时防止生成器模型在相应点收集所有实例，在这种情况下，一个主要问题是各种神经网络使用了各种激活函数，用于激活和亚当优化，结果表明，该模型具有更高的效率，并通常被认为是黄金标准。

在这项研究中，科学家们使用该模型来创建单线图的合成图片，然后将合成图像与另一模型所生成的图像和实际图像相结合，以此来增加数据集并改进符号识别算法。

看样子，解决工程图数据化的难题指日可待。

结论

这项研究的主要目标是比较两个模型生成的合成图像的质量，该研究将实际的SLD图像与合成图像相结合，各种类型和数量的图像被用于培训目的。

该模型能够成功检测来自多个不同类别的符号，尽管某些组件的差异很小，但这些结果表明了检测技术在具有挑战性的任务中的准确性。

科学家们的研究表明，在训练过程中混合使用真实和合成图像，可以增强识别符号的能力，根据这一发现，科学家们发现，YOLO模型是有希望能够解决工程图数据化困难的。

在阅读此文后，烦请您关注+评论，方便剩下后续事件有新的进展能够让您迅速关注到