摘要

最近,利用单目图像进行3D目标检测已成为研究热点。但深度预测作为其中的关键环节,仍面临困难。本文通过分析不同的样本挖掘策略,发现主观挖掘方式存在局限,无法取得显著提升。为此,作者提出了**模型感知挖掘(MPM)和梯度感知挖掘(GAM)**两种新颖的深度样本挖掘策略。MPM通过额外预测深度质量,实现对预测深度的自我评估,有效减弱离群点的影响。GAM进一步将MPM集成到单一损失函数中,无需额外预测 branch。在nuScenes数据集上,所提方法取得单目3D检测的最优结果,较主观挖掘提升1.8% mAP 和 1.9% NDS。

方法介绍主观挖掘策略 根据主观设定的深度质量(如IoU),对不同样本赋予不同权重。但由于单目深度预测本质上易受离群点影响,主观挖掘反而可能加剧模型对离群点的关注,效果有限。模型感知挖掘(MPM) 通过新增分支预测深度质量,实现模型对自身深度预测的质量评估,对损失函数重新加权,有效减弱离群点影响。梯度感知挖掘(GAM) 将 MPM 集成到单一 BCE 损失中,通过深度质量的梯度反向传播实现样本挖掘。避免了 MPM 中新增分支的计算量。通过深度质量衡量与分类分数、中心度分数结合,用于去重后的 NMS,可显著提升性能。实验结果在 nuScenes 数据集上,GMM 方法达到单目 3D 检测的最优结果,较 FCOS3D 基准提升 1.8% mAP 和 1.9% NDS。相较其他样本挖掘策略,GMM 提升更显著。证明了模型自我感知方式的效果。GMM 对不同车辆类别的平均位移误差(ATE)均有不同程度的降低,尤其是对大型车辆的定位提升更大。GMM 对不同 backbone 网络都具有卓越的迁移能力。

主要特性支持多种3D表示形式,包括点云、图像、稠密深度图等实现了最先进的单阶段和两阶段3D检测算法模块化设计,组件可复用支持多种backbone网络,如ResNet、ResNeXt等支持各种任务,包括3D目标检测、语义分割、运动预测等提供完整的实验 pipeline 和基准使用方法安装克隆仓库:git clone 安装依赖:pip install -r requirements.txt编译:mmcv-full安装:pip install -v -e .测试Demo准备测试数据:sh tests/data/kitti/download_kitti_3d.sh测试图像3D检测模型:python tools/test.py configs/pixor/hv_pixor_x101_d8_kitti-3d-3class.py checkpoints/hv_pixor_x101_d8_kitti-3d-3class_20210401_103808-2661de6e.pth --eval bbox训练自定义模型修改配置文件:configs/my_config.py训练:python tools/train.py configs/my_config.py --work-dir work_dirs/my_config测试:python tools/test.py configs/my_config.py checkpoints/latest.pth --eval bbox总结

本文通过探索样本挖掘在单目 3D 检测深度学习中的应用,发现主观方式的局限性,并提出 MPM 和 GAM 方法有效解决。GMM 使单目 3D 检测在 nuScenes 数据集上达到最优水平,为进一步研究提供了思路。其自适应的离群点感知机制,可望推广到其他任务中。

mmdetection3d提供了灵活易用的3D检测框架和定制化功能,可以加速研究人员开发新模型。它支持各种主流的3D表示方式和检测任务,模块化设计可复用代码。使用简单明了,提供完整的示例方便快速上手

【引用】

Github链接:

​Arxiv链接: