视频加载中...

【新课上线】tensorflow+目标检测：龙哥教你学视觉—LabVIEW深度学习教程（强推）

课程目标：

1、让没有任何python，tensorflow基础的学员学习到如何搭建深度学习训练平台。

2、学会使用imglabel软件标注图片，弄清楚怎么样标注目标

3、学会利用labview调用tensorflow进行ssd/faster-rcnn模型的训练

4、学会利用labview实现观察模型训练过程loss曲线

5、学会利用labview调用tensorflow进行ssd/faster-rcnn模型的评估

6、学会利用labview实现观察模型评估结果图像

7、学会利用labview实现导出tensorflow冻结图模型文件pb

8、学会利用labview实现导出tensorflow冻结图模型文件pb转为openvino模型文件IR

9、学会利用labview实现tensorflow/openvino 模型pb/IR文件的加载

10、学会利用labview实现tensorflow/openvino 模型pb/IR文件的图像测试目标检测

11、案例：猫狗数据集，引脚缺陷检测数据集，金属切削缺陷检测数据集，涂胶缺陷检测数据集，元件缺陷检测数据集，开关缺陷检测数据集，药丸缺陷检测数据集，

12、动态检测案例：五金件缺陷检测

一、知识背景：

随着自动化技术的快速发展，在工业生产中很多需要人工操作的环节逐渐转由机器完成，工业生产自动化也将越来越多的工人们从枯燥乏味的工作中解放出来，让他们去发挥更大的价值。

产品表面缺陷检测是工业生产中的重要环节，是产品质量把控的关键步骤，借助缺陷检测技术可以有效的提高生产质量和效率。但是由于设备及工艺等因素的影响，产品表面的缺陷类型往往五花八门，比如织物生产中方出现的污点、破损，金属产品上的划痕、裂纹、凹凸不平等各种不同类型的缺陷，如下图所示。

单张图片中的缺陷多样且不同缺陷表现形式的也不相同，给缺陷的自动化检测带来了困难。

二、传统算法；

传统的表面缺陷检测算法结构通过图像预处理得到便于检测的图像，随后借助统计机器学习方法来提取图像特征，进而实现缺陷检测的目标。

图像预处理通常包括直方图均衡化、滤波去噪、灰度二值化、再次滤波几部分，以得到前后景分离的简单化图像信息；随后利用数学形态学、傅里叶变换、Gabor 变换等算法以及机器学习模型完成缺陷的标记与检测。

上述传统算法在某些特定的应用中已经取得了较好的效果，但仍然存在许多不足。例如：图像预处理步骤繁多且具有强烈的针对性，鲁棒性差；多种算法计算量惊人且无法精确的检测缺陷的大小和形状。而深度学习可以直接通过学习数据更新参数，避免了人工设计复杂的算法流程，并且有着极高的鲁棒性和精度。

三、深度学习

目前，基于深度学习的缺陷检测已经应用于金属固件、布匹丝织物、建筑裂纹、钢筋裂纹等多个领域，并取得了不错的成果。下面将结合具体案例介绍其实现方法。

3.1裂纹缺陷检测[1]

建筑材料（如磁瓦等）的外观变化（如裂纹或腐蚀等）与其建筑结构的安全性密不可分，而依靠检察员视觉检查的效果局限性大，相比之下，基于计算机视觉的结构损伤检测更为可靠便捷。

Fast RCNN的作用为对图像中的缺陷位置进行定位和分类，其结构流程如上图所示。

从输入图像中提取特征图并获得感兴趣区域（ROI）；

在ROI池中，预先计算的兴趣区域覆盖在特征图上，提取固定大小的特征向量；

将所得向量输入全连接层，计算边界框的位置并对框内对象进行分类。

3.2破损缺陷检测在电气化铁路等工业中，有许多关系着安全的重要固件，这些固件的缺陷检测十分重要。

利用深度卷积神经网络SSD等网络方法构建了一个从粗到细的级联检测网络，包括固件的定位、缺陷检测与分类，其实现流程如下图所示。

（1） 紧固件提取

借助在速度和精度方面都表现良好的SSD框架，对图像中的悬臂节点进行定位；

（2） 固件缺陷检测与分类

根据第二阶段对紧固件的检测来判断缺陷；具有良好的鲁棒性和自适应性，有利于检测的快速进行，因此本方法在紧固件的缺陷检测和分类中具有良好的应用前景。

3.3斑点缺陷检测

斑点缺陷检测在纺织、木材、瓷砖等许多行业中都很常见，通常利用其纹理的一致性实现检测的目的。近年来，利用深度学习视觉检测技术对相关产业的表面缺陷检测引起了广泛关注。

3.4划痕缺陷检测

划痕缺陷检测通常用于金属类产品的表面缺陷检测中，随着生活质量的提高，人们对产品的外观完整性与美观程度的要求也越来越高，因此精准地检测到产品外观的划痕等缺陷在生产环节十分重要。

四、总结；

总的来说，使用基于深度学习的算法可快速准确地实现的缺陷检测，且适用范围广能够灵活地应用于建筑、金属固件以及布匹丝织物等众多行业的生产过程中。

深度学习的发展

随着机器学习， 深度学习的发展，很多人眼很难去直接量化的特征， 深度学习可以搞定， 这就是深度学习带给我们的优点和前所未有的吸引力。很多特征我们通过传统算法无法量化，或者说很难去做到的， 深度学习可以搞定。特别是在图像分类， 目标检测这些问题上取得了显著的提升。下图是近几年来深度学习在图像分类问题上取得的成绩。

之所以提出上面的算法， 是因为这些算法给其他领域提供了很多参考和借鉴意义。比如本文讨论的缺陷检测， 上面的很多网络的特点，以及方法都给了我们很多的启发，我们在设计网络结构的时候，配合自己在产线部署的硬件性能，设计适合项目的网络结构。

当然，深度学习的方法用来检测，也有自己的很多缺点。例如：数据量要求大，工业数据收集成本高。但是随着数据增强技术，无监督学习的不断进步，在某些应用场景上，这些缺点渐渐被隐藏了。例如学术界正在研究的，自动网络结构设计，自动数据标注等等。所以作者认为随着技术的发展，这个领域将会得到很大的提升，人工检测终将会被机器检测替代。然后你看到的无人工厂更加会无人化～

视觉软件工程师目前现状

目前深度学习从业人员薪资处于高位，且属于人才紧缺的行业，就业前景广阔。

为什么做这次众筹？

● 机器视觉缺陷检测的痛点

● 仍存在下面主要的问题和难点

1） 受环境、光照、生产工艺和噪声等多重因素影响，检测系统的信噪比一般较低，微弱信号难以检出或不能与噪声有效区分。如何构建稳定、可靠、鲁棒的检测系统，以适应光照变化、噪声以及其他外界不良环境的干扰，是要解决的问题之一。

2） 由于检测对象多样、表面缺陷种类繁多、形态多样、复杂背景，对于众多缺陷类型产生的机理以及其外在表现形式之间的关系尚不明确，致使对缺陷的描述不充分，缺陷的特征提取有效性不高，缺陷目标分割困难；同时，很难找到“标准”图像作为参照，这给缺陷的检测和分类带来困难，造成识别率尚有待提高。

3） 机器视觉表面缺陷检测，特别是在线检测，其特点是数据量庞大、冗余信息多、特征空间维度高，同时考虑到真正的机器视觉面对的对象和问题的多样性，从海量数据中提取有限缺陷信息的算法能力不足，实时性不高。

4） 与机器视觉表面检测密切相关的人工智能理论虽然得到了很大的发展，但如何模拟人类大脑的信息处理功能去构建智能机器视觉系统还需要理论上的进一步研究，如何更好的基于生物视觉认识、指导机器视觉得检测也是研究人员的难点之一。

5） 从机器视觉表面检测的准确性方面来看，尽管一系列优秀的算法不断出现，但在实际应用中准确率仍然与满足实际应用的需求尚有一定差距，如何解决准确识别与模糊特征之间、实时性与准确性之间的矛盾仍然是目前的难点。

传统算法在某些特定的应用中已经取得了较好的效果，但仍然存在许多不足。例如：图像预处理步骤繁多且具有强烈的针对性，鲁棒性差；多种算法计算量惊人且无法精确的检测缺陷的大小和形状。而深度学习可以直接通过学习数据更新参数，避免了人工设计复杂的算法流程，并且有着极高的鲁棒性和精度。

这次众筹能帮到大家什么？

课程目标：

1、让没有任何python，tensorflow基础的学员学习到如何搭建深度学习训练平台。

2、学会使用imglabel软件标注图片，弄清楚怎么样标注目标

3、学会利用labview调用tensorflow进行ssd/faster-rcnn模型的训练

4、学会利用labview实现观察模型训练过程loss曲线

5、学会利用labview调用tensorflow进行ssd/faster-rcnn模型的评估

6、学会利用labview实现观察模型评估结果图像

7、学会利用labview实现导出tensorflow冻结图模型文件pb

8、学会利用labview实现导出tensorflow冻结图模型文件pb转为openvino模型文件IR

9、学会利用labview实现tensorflow/openvino 模型pb/IR文件的加载

10、学会利用labview实现tensorflow/openvino 模型pb/IR文件的图像测试目标检测

11、案例：猫狗数据集，引脚缺陷检测数据集，金属切削缺陷检测数据集，涂胶缺陷检测数据集，元件缺陷检测数据集，开关缺陷检测数据集，药丸缺陷检测数据集，

12、动态检测案例：五金件缺陷检测

主要知识点：

1Tensorflow-GPU环境的搭建

Tensorflow object环境搭建

学会如何标注图片

如何labview快速通过迁移学习训练自己的模型

如何利用labview生成优化后的OPENVINO模型IR

如何利用labview调用训练后的PB模型和IR模型进行目标检测

众筹课程介绍

针对很多学员不了解labview中如何调用tensorflow进行深度学习模型的训练和调用，推出一整套完整的简洁易学的视频课程，使学员能在没有任何深度学习理论基础，不懂python编程语言的前提下，使用labview训练和部署深度学习模型，并配备相关案例视频。

课程目录：

Tensorflow环境搭建

Object_detection api安装

相关py文件编译测试

测试tensorflow目标检测

学习如何使用labimg标注

如何生成label文件

如何生成tfrecord文件

如何使用SSD模型训练train数据

如何观察tensorboard的训练过程

如何分析loss变化

如何评估训练好的ckpt文件

观察评估图像的检测结果

生成冻结图模型pb文件

Labview将Pb文件优化生成openvino模型IR文件

Labview调用冻结图pb文件进行目标检测

Labview调用openvino模型IR文件进行目标检测

案例分析

案例：猫狗数据集，引脚缺陷检测数据集，金属切削缺陷检测数据集，涂胶缺陷检测数据集，元件缺陷检测数据集，开关缺陷检测数据集，药丸缺陷检测数据集

动态案例分析：五金件外观缺陷实时检测案例

1、 本期众筹课程有哪些亮点？

1、全网第一套labview进行深度学习训练和模型部署的完整教程，满足从业人员使用labview完成相关编程的需求。

2、该套课程不需要有很强的labview视觉编程基础，小白学员即可进行学习

3、该套课程不需要有很强的python语言编程基础，小白学员即可进行学习

4、labview对cpu上推理深度学习模型进行了优化，其运行速度和效率优于python平台

5、课程不仅讲授了环境配置，labview训练和调用的编程方法，还讲解了大量的案例，手把手帮助学员学会如何在labview中应用深度学习

6、课程赠送相关工业图像数据集，其价值远远大于课程本身。

2、用户购买后，将会获得哪些收益？

1、全网唯一完整labview调用深度学习视频教程，极大提高学员技术水平。

2、掌握最有前景的深度学习技术，使自身技术在未来5-10年处于高端水平。

3、目前深度学习缺陷检测职位薪资水平处于高位，学习后找到更高薪资的职位。

4、800分钟视频教程，4年观看期

5、500M深度学习数据样本

6、全网唯一完整的labview调用深度学习训练和部署的源码，比NI官网更全面。

课程适合哪些人群？

1、适用于labview行业从业者利用labview进行深度学习应用；

2、适用于plc电气工程师利用labview进行深度学习应用编程；

3、适用于机械工程师利用labview进行深度学习应用编程；

4、适用于在校大学生/研究生利用labview实现课程设计和课题研究；

5、适用于IT互联网行业人群快速掌握tensorflow训练的流程；

学生或新手能不能学会？

学生或新手可以直接学习，课程不涉及python编程，不需要python基础，不涉及到理论的理解，课程手把手教学员如何一步步进行环境配置和训练调用，让学员直接掌握深度学习动手实践的能力，只要跟着视频做就能学会应用。

老手有没有必要入手？

老手必须入手，深度学习一定是未来5-10年的高端技术，为自动化或互联网行业提供的新的有效的解决方案，针对传统视觉算法需要手动设计特征提取方法的弊端，深度学习模拟人的大脑神经网络运行模型，通过计算机强大的运算能力，能拟合出比传统算法适用性更强的模型，解决了行业内的难题。国内外大型自动化公司都在积极研发深度学习技术，作为老手一定要尽快更新技术，不被时代所抛弃，保持竞争力。

课程目录：

1.安装anaconda3软件环境配置python3

2.添加国内镜像源建立tf_gpu虚拟环境

3.tf_gpu虚拟环境下安装vscode以及配置

4.安装tensorflow并测试是否安装成功

5.安装GIT工具tensorflow object detection api-matplotlib pillow lxml contextlib2 cython

6.设置tensorflow环境变量安装cocoapi测试安装是否成功

7.编译测试proto文件下载modelzoom中的ssd模型

8.测试SSD_inception_v2模型目标检测效果验证环境安装是否正常

9.tensorflow模型训练所需配置分析labelimag如何标记图像

10.映射文件pbtxt文件构建安装pandas生成label_csv文件

11.生成train_tfrecord和eval_tfrecord文件

12.修改训练配置文件config调用train指令训练猫狗数据集

13.观察训练过程中loss的变化tensorboard查看训练的详细曲线

14.利用训练好的ckpt文件评估eval数据集的准率度tensorboard观察数据集测试效果labview调用模型

15.labview编写深度学习训练平台思路编写获取目录子vi

16.labview深度学习训练平台-创建目录子vi

17.labview深度学习训练平台-生成csv和生成bat文件

18.labview深度学习训练平台-read_pbtxt子vi

19.labview深度学习训练平台-生成generate_tfrecord

20.labview深度学习训练平台-生成tfrecord

21.labview深度学习训练平台-生成config文件1

22.labview深度学习训练平台-生成config文件2

23.labview深度学习训练平台-生成config文件3

24.labview深度学习训练平台-生成train

25.labview深度学习训练平台-生成eval

26.labview深度学习训练平台-生成导出冻结图

27.labview深度学习训练平台-labview-tensorflow-AI-前面板设计刷新目录

28.labview-tensorflow-AI-生成csv-生成tfrecord

29.labview-tensorflow-AI-导出冻结图pb模型文件

30.labview-tensorflow-AI-开始训练-观察训练-评估模型-观察评估

31.labview-tensorflow-AI-labview导入pb模型-运行pb模型显示检测结果

32.labview-tensorflow-AI-pb模型转化为openvino模型

33.labview-tensorflow-AI-测试openvino模型速度-导出IR模型

34.labview-tensorflow-AI-labview导入IR模型-运行IR模型显示检测结果

35.labview-tensorflow-AI-下载SSD-faster-rcnn等多种模型测试训练样本

36.labview-tensorflow-AI-引脚缺陷检测案例SSDv2模型训练

37.labview-tensorflow-AI-引脚缺陷检测案例SSDvsFasterRCNN模型效果

38.labview-tensorflow-AI-labview调用引脚缺陷检测SSDvsFasterRCNN模型

39.labview-tensorflow-AI-涂胶检测案例SSD训练模型评估模型

40.labview-tensorflow-AI-涂胶检测案例faster-rcnn训练模型评估模型

41.labview-tensorflow-AI-金属缺陷检测案例SSD_lite训练模型评估模型

42.labview-tensorflow-AI-金属缺陷检测案例faster-rcnn-inception训练模型评估模型labview调用

43.labview-tensorflow-AI-金属缺陷检测案例faster-rcnn-resnet50训练模型评估模型labview调用

44.labview-tensorflow-AI-开关缺陷检测案例SSD_inception训练模型评估模型Labview调用

45.labview-tensorflow-AI-药丸缺陷检测案例SSD_inception训练模型评估模型

46.labview-tensorflow-AI-药丸缺陷检测案例faster-rcnn-inception训练模型评估模型labview调用

47.labview-tensorflow-AI-材料缺陷检测案例faster-rcnn训练模型评估模型

48.labview-tensorflow-AI-摄像头动态检测U盘案例ssd-inception训练模型评估模型labview调用

49.labview-tensorflow-AI-摄像头动态检测金属裂纹缺陷案例ssd-inception训练模型评估模型labview调用

50.labview-tensorflow-AI-摄像头动态检测金属裂纹缺陷案例ssd-inception训练模型评估模型实际效果