利用深度采样挖掘提升单目3D目标检测性能

Ai团张 07-04 67

前言：

目前姐妹们对“数据挖掘实验总结报告”都比较注重，大家都需要分析一些“数据挖掘实验总结报告”的相关内容。那么小编同时在网络上收集了一些有关“数据挖掘实验总结报告””的相关知识，希望大家能喜欢，小伙伴们一起来了解一下吧！

摘要

最近,利用单目图像进行3D目标检测已成为研究热点。但深度预测作为其中的关键环节,仍面临困难。本文通过分析不同的样本挖掘策略,发现主观挖掘方式存在局限,无法取得显著提升。为此,作者提出了**模型感知挖掘(MPM)和梯度感知挖掘(GAM)**两种新颖的深度样本挖掘策略。MPM通过额外预测深度质量,实现对预测深度的自我评估,有效减弱离群点的影响。GAM进一步将MPM集成到单一损失函数中,无需额外预测 branch。在nuScenes数据集上,所提方法取得单目3D检测的最优结果,较主观挖掘提升1.8% mAP 和 1.9% NDS。

方法介绍主观挖掘策略根据主观设定的深度质量(如IoU),对不同样本赋予不同权重。但由于单目深度预测本质上易受离群点影响,主观挖掘反而可能加剧模型对离群点的关注,效果有限。模型感知挖掘(MPM) 通过新增分支预测深度质量,实现模型对自身深度预测的质量评估,对损失函数重新加权,有效减弱离群点影响。梯度感知挖掘(GAM) 将 MPM 集成到单一 BCE 损失中,通过深度质量的梯度反向传播实现样本挖掘。避免了 MPM 中新增分支的计算量。通过深度质量衡量与分类分数、中心度分数结合,用于去重后的 NMS,可显著提升性能。实验结果在 nuScenes 数据集上,GMM 方法达到单目 3D 检测的最优结果,较 FCOS3D 基准提升 1.8% mAP 和 1.9% NDS。相较其他样本挖掘策略,GMM 提升更显著。证明了模型自我感知方式的效果。GMM 对不同车辆类别的平均位移误差(ATE)均有不同程度的降低,尤其是对大型车辆的定位提升更大。GMM 对不同 backbone 网络都具有卓越的迁移能力。

主要特性支持多种3D表示形式,包括点云、图像、稠密深度图等实现了最先进的单阶段和两阶段3D检测算法模块化设计,组件可复用支持多种backbone网络,如ResNet、ResNeXt等支持各种任务,包括3D目标检测、语义分割、运动预测等提供完整的实验 pipeline 和基准使用方法安装克隆仓库:git clone 安装依赖:pip install -r requirements.txt编译:mmcv-full安装:pip install -v -e .测试Demo准备测试数据:sh tests/data/kitti/download_kitti_3d.sh测试图像3D检测模型:python tools/test.py configs/pixor/hv_pixor_x101_d8_kitti-3d-3class.py checkpoints/hv_pixor_x101_d8_kitti-3d-3class_20210401_103808-2661de6e.pth --eval bbox训练自定义模型修改配置文件:configs/my_config.py训练:python tools/train.py configs/my_config.py --work-dir work_dirs/my_config测试:python tools/test.py configs/my_config.py checkpoints/latest.pth --eval bbox总结