使用Unity合成数据集增强计算机视觉模型

在AI训练中你是否经常遇到被数据集限制而无法更好的训练计算机视觉模型呢？

关于这一问题，现在Unity计算机视觉感知包会帮到你。Unity将根据的用户需求为他们量身定做一个数据集，从而帮助用户进一步开发他们计算机视觉模型的潜能。目前Unity计算机视觉数据集已经开始为世界各地的用户提供服务。

构建高质量的合成数据集是一门艺术也是一门科学。在之前的文章中我们已经向大家展示过合成数据的概念，在本篇文章中将更加详尽的为大家展示为什么使用合成数据进行训练能大幅提升计算机视觉模型的性能，有效减少模型训练的总时长以及降低训练成本。

Unity的计算机视觉专家团队正在不断扩展合成数据的策略组合，来解决各种来自工业中的计算机视觉问题。

通过与用户合作，Unity计算机视觉团队能够快速了解用户手中模型的性能指标，并根据这些性能指标为用户定制特定的数据集，以满足用户的需要。

对各种物品进行标记

合成数据具有无数的优点，但是上手却比较困难，生成合成数据甚至对于一些机器学习专家来说都是一个全新的概念。另外，为项目需要识别的物品开发一组具有代表性的3D资产既复杂又耗时，而且会阻碍整体进度。

并非所有的3D资产都是平等创建的，所以当Unity为用户创建数据组时，他们会确保所有导入到Unity中的3D资产符合用户训练模型的需求。Unity能够兼容用户现有的3D资产和CAD模型。如果用户没有3D虚拟资产，Unity也能够通过用户拍摄的真实物体照片对物体进行抓取，除此之外用户还能够通过与Unity团队专业的3D艺术家合作创建出真实物体的3D数字孪生数据。

图像标注的可视化示例

当用户拥有了这些3D资产之后，就可以为其进行标记并逐帧运行。

域随机化是一种以编程的方式改变数据集中的参数以此来构建强有力模型的技术。在每一帧中，特定的对象、定位、遮挡等都能够发生变化，即使是相差较小的一组对象也会得到完全不同的图像。对象可以用简单的2D或3D边界框或更复杂的标记形式（如分割）进行标记。如果用户的项目需要自定义标签方法，Unity专业的工作人员也可以为他们定制标记的方式。

动态环境中的随机化

应用于环境中的随机化

在Unity计算机视觉数据集项目中，关于环境的一切都可以随机化。照明、纹理、相机位置、镜头属性、信号噪声等等都可以随机化，以确保数据集能够覆盖足够广泛的用例广度。

对于合成数据，为计算机视觉提供背景的环境不一定是类似于真实世界的环境。一些计算机视觉任务的数据集可能只需要高度随机的背景，而一些其他任务可能需要更多的结构，如建筑或内部家装环境等。

非结构化和结构化的合成环境

Unity团队目前已经开发出了为一系列计算机视觉任务生成非结构化和结构化合成环境的方法。基于用户计算机视觉问题，Unity的专业人员将针对用户的需求选取最适合的合成场景，并相应地确定数据集的范围。

未来的方向

由于用户的需求具有多样性，因此数据集要求的差异很大。训练所需的图像数量取决于场景的复杂性、使用的对象的多样性以及解决方案的准确性。

在未来，Unity计划提供一个简单的自助服务界面，这样用户就可以通过自助服务界面生成他们所需的数据，而不必依赖Unity团队，这也进一步增强了合成数据集的灵活性。