环境感知作为自动驾驶车辆实现自主行驶的基础和前提，通过对环境信息和车内信息的采集、处理与分析，最终得到车辆周边三维空间中全景分割结果。

行人检测技术作为环境感知中的重要组成部分，在路径规划和智能避障方面发挥着重要作用。

一、什么是自动驾驶行人检测技术

行人检测技术是利用计算机视觉技术判断图像或者视频序列中是否存在行人并给予精确定位。

二、行人检测的难点

l 外观差异大。包括视觉、姿态、服饰和附着物、光照、成像距离等。行人不同的运动姿态、角度，都会显示出不同的外观，而且成像距离远近不一，也会造成外观大小不同。

l 会出现遮挡问题，在行人密集的地方，会发生行人被遮挡的问题，或者是被周围的建筑物遮挡住。

l 背景复杂，有些物体的外观、造型、颜色、纹理等会比较接近人体，例如雕塑或人像广告牌、假人等。

l 检测速度，行人检测一般使用了比较复杂的模型，运算量相当大，要达到实时非常困难，需要进行大量的优化。

三、行人数据标注的主要类型和标注规则

行人检测是监督学习任务，模型训练需要行人在图像中的分类和位置信息，首先对行人信息进行标注，然后用标注信息训练目标检测模型。

1. 主要类型

l Pedestrian：行人（站立），路边的人，坐着的人，蹲着的人或弯腰的人。

l Rider：二轮车骑行者，骑摩托⻋/大电动⻋的人，骑自行⻋的人。

l PersonSitting：坐着的人，蹲着的人或弯腰的人。

l MotorCyclist：骑摩托⻋/大电动⻋的人。

l BiCyclist：骑自行⻋的人。

2. 标注规则

2D拉框：

l 物体大小要求：标注短边大于10像素且长边大于20像素的物体。

l 遮挡截断要求：标注遮挡小于75%的物体。

l 对于行人头部以下被遮挡、不完整的行人，要预测其真实大小。由于行人行走于地面，则边框从头部延伸至地面。

3D拉框：

l 3D框内需要包含目标主体所有点云，不可漏点，但不应包含噪点。

l 若目标物体边界清晰，则3D框边界距离目标主体真实边界最多不能大于10cm。

l 如目标因扫描不全而导致点云缺失，需根据标尺功能辅助与图像中主体的实际关系来脑补缺失面边界。

l 行人距离过近时，行人框可能有一定程度的重叠，此时正常标注即可。

l 行人若携带小物体，比如雨伞、背包等情况，行人的3D框需要包含这些小物体。

l 要注意三视图是否贴合；注意正前方方向是否正确。

l 所有地面上的目标物体其3D标注框底部须贴合地面，不能高于地面或低于地面。

l 当目标距离过远导致目标所在区域点云稀疏、没有地面点或者难以确定3D框下底面高度的情况时，可参考最近的地面点云线的高度和点云中距离最近的3D框来确定大致高度。

l 对于不能准确估计旋转⻆度的行人，旋转⻆度误差标准适当放宽。

3. 注意事项

l 不遗漏框，不误标框，不多标框

l 车上的人需要单独标注，如二轮车三轮车骑手、四轮车的司机、站在货车车厢上的人等都需要单独标注；但点云中若车内人的框完全在车的点云框内，车内人的框不用单独框出来。

l 人携带物（人打伞 ，人拉行李箱等）只标人的主体部分；人抱小孩，连小孩一起标一个框；人拉小孩，人和小孩两个框。

l 人坐在轮椅上，只标人，不标轮椅。人坐在轮椅/婴儿车上，能看到明显的人的就标人，不用标车，从轮椅/婴儿车后面看不清人的就标注车为未知车辆。

景联文科技｜AI基础数据服务｜数据采集｜数据标注｜假指纹制作｜指纹防伪算法

助力人工智能技术加速数字经济相关产业质量变革，赋能传统产业智能化转型升级

著作权归景联文科技所有，商业转载请联系景联文科技获得授权，非商业转载请注明出处。