作为计算机视觉的核心应用之一，物体检测在机器人和无人驾驶等需要高精度但计算资源有限的场景中变得越来越重要汽车。不幸的是，许多当前的高精度检测器不符合这些限制。更重要的是，对象检测的实际应用程序运行在各种平台上，这些平台通常需要不同的资源。那么，一个自然而然的问题是，如何设计准确高效的物体检测器，同时还能适应广泛的资源限制？

在 ”EfficientDet: Scalable and Efficient Object Detection ”，在CVPR 2020 上被接受，我们推出了一个新的可扩展和高效的对象检测器系列。基于我们之前在扩展神经网络 ( EfficientNet ) 方面的工作，并结合了一种新颖的双向特征网络 (BiFPN) 和新的扩展规则，EfficientDet实现了最先进的准确性，同时体积缩小了 9 倍，使用量也大大减少了计算与先前最先进的检测器相比。下图显示了我们模型的整体网络架构。

模型架构优化

EfficientDet 背后的想法源于我们通过对先前最先进的检测模型进行系统研究来寻找提高计算效率的解决方案的努力。通常，目标检测器具有三个主要组件：从给定图像中提取特征的主干；一个特征网络，它将主干中的多级特征作为输入，并输出代表图像显着特征的融合特征列表；以及使用融合特征来预测每个对象的类别和位置的最终类/框网络。通过检查这些组件的设计选择，我们确定了几个关键的优化来提高性能和效率：

以前的检测器主要依靠ResNets、ResNeXt或AmoebaNet作为骨干网络，它们要么不那么强大，要么效率低于 EfficientNets。通过首先实现EfficientNet主干，可以实现更高的效率。例如，从使用 ResNet-50 骨干网的 RetinaNet 基线开始，我们的消融研究表明，简单地用 EfficientNet-B3 替换 ResNet-50 可以将准确度提高 3%，同时减少 20% 的计算量。

另一个优化是提高特征网络的效率。虽然以前的大多数检测器只是采用自上而下的特征金字塔网络 ( FPN)，我们发现自上而下的 FPN 本质上受到单向信息流的限制。替代FPN，例如PANet，以更多计算为代价添加了额外的自下而上的流程。最近利用神经架构搜索 (NAS) 的努力发现了更复杂的NAS-FPN架构。但是，这种网络结构在有效的同时，也具有不规则性，并且针对特定任务高度优化，难以适应其他任务。

为了解决这些问题，我们提出了一种新的双向特征网络 BiFPN，它结合了FPN / PANet / NAS-FPN的多级特征融合思想 这使信息能够在自上而下和自下而上的方向上流动，同时使用常规和高效的连接。

为了进一步提高效率，我们提出了一种新的快速归一化融合技术。传统方法通常平等地对待输入到 FPN 的所有特征，即使是那些具有不同分辨率的特征。然而，我们观察到不同分辨率的输入特征通常对输出特征的贡献不等。因此，我们为每个输入特征添加一个额外的权重，并允许网络学习每个特征的重要性。我们还用更便宜的深度可分离卷积替换了所有常规卷积。通过这些优化，我们的 BiFPN 进一步将准确度提高了 4%，同时将计算成本降低了 50%。

第三个优化涉及在不同资源约束下实现更好的准确性和效率权衡。我们之前的工作已经表明，联合缩放网络的深度、宽度和分辨率可以显着提高图像识别的效率。受这个想法的启发，我们提出了一种新的用于目标检测器的复合缩放方法，该方法联合缩放分辨率/深度/宽度。每个网络组件，即主干、特征和框/类预测网络，将有一个单一的复合缩放因子，使用基于启发式的规则控制所有缩放维度。这种方法使人们能够通过计算给定目标资源约束的缩放因子来轻松确定如何缩放模型。

结合新的主干和 BiFPN，我们首先开发了一个小尺寸的 EfficientDet-D0 基线，然后应用复合缩放以获得 EfficientDet-D1 到 D7。每个连续模型都有更高的计算成本，涵盖了从 30 亿到 3000 亿 FLOPS 的广泛资源约束，并提供了更高的准确性。

模型性能

我们在COCO 数据集上评估 EfficientDet，COCO 数据集是一种广泛使用的对象检测基准数据集。EfficientDet-D7 实现了52.2 的平均精度(mAP)，比之前的最先进模型高出 1.5 个百分点，同时使用的参数减少了 4 倍，计算量减少了 9.4 倍。

我们还比较了 EfficientDet 和之前模型之间的参数大小和 CPU/GPU 延迟。在类似的精度限制下，EfficientDet 模型在 GPU 上比其他检测器快 2-4 倍，在 CPU 上快 5-11 倍。

虽然 EfficientDet 模型主要用于对象检测，但我们也检查了它们在其他任务上的性能，例如语义分割。为了执行分割任务，我们通过用分割头和损失替换检测头和损失函数来稍微修改 EfficientDet-D4，同时保持相同的缩放主干和 BiFPN。我们将此模型与Pascal VOC 2012 的先前最先进的分割模型进行比较，Pascal VOC 2012是一种广泛使用的分割基准数据集。

开源

鉴于其卓越的性能，我们预计 EfficientDet 可以作为未来对象检测相关研究的新基础，并有可能使高精度对象检测模型在许多实际应用中变得实用。