Andrej Karpathy博士说，模型需要数据来驱动，模型决定上限，而数据帮助模型到达这个上限！

有的小伙伴可能会问，不就是标个数据么，有什么好讲的？？？找几个小学生100块一天，点点鼠标也能干！（小学生OS：我不干，我要忙着上王者！）

都已经20231年了，L4的自动驾驶都已经开始讨论量产了，中国的空间站都已经上天了，数据标注当然也不再是点点鼠标就OK的了！！

01

什么是数据标注？

根据《人工智能训练师国家职业技能标准（2021年版）》《生成式人工智能服务管理暂行办法》等政策法规，并结合业界通用定义，数据标注可理解为通过人工或自动化的方式，将原始数据转化为算法可理解的、结构化的数据集，通常是指对文本、图像、音频、视频等进行归类、整理、编辑、纠错、标记和批注等加工操作，构建模型要求且可读的数据编码

根据标注对象数据标注一般可以划分为这几个类别

（1）图片标注具体包括：

图像分类：识别一张图片中是否包含某种物体

物体检测：识别出图片中每个物体的位置及类别

图像分割：根据图片中的物体划分出不同区域

（图像分割）

（2）音频标注具体包括：

声音分类：对声音进行分类

语音内容：对语音的情感倾向等进行标注

语音分割：对语音内容进行分段等

（语音）

（3）文本标注具体包括：

文本分类：对文本的内容按照标签进行分类处理

命名实体：针对文本中的实体片段进行标注，如“时间”、“地点”等

文本三元组：针对文本中的实体片段和实体之间的关系进行标注

文本序列标注：针对文本质量进行排序

多轮对话生成：多轮对话内容的生成、修改和批注

（文本分类－情感分析）

（4）视频标注

视频标注：识别出视频中每个物体的位置及分类

（视频标注）

02

数据标注的工作流程

数据标注的业务不局限于标注这一个类别上，它还包括了数据采集、数据清洗、数据标注、数据质检等几项重要环节

数据采集：在标签前我们要先有数据，因此，数据采集是整个数据标注流程的首要环节，获取的数据可以有多种形式，比如：图像采集、语音采集、视频采集等

数据清洗：并不是所有采集的数据都是有用的，在标注前，要先对所有采集的数据进行筛检，去掉重复的、无关的数据，对于异常值与缺失值进行查缺补漏，同时平滑噪声数据，最大限度纠正数据的不一致性和不完整性，将数据统一成合适于标注且与主题密切相关的标注格式，以帮助训练更为精确的数据模型和算法

数据标注：数据经过清洗，即可进入数据标注的核心环节，将非结构化的数据经过标注处理成为结构化的数据

数据质检：为了提高数据输出的准确率，数据质检成为重要的环节，而最终通过质检环节的数据才算是真正过关

03

数据标注还能走多远

数据标注的起步期可以追溯到2012年

那一年，华裔科学家李飞飞团队组织了第三届ImageNet竞赛，比赛的冠军团队提交了一个卷积神经网络架构（英文简称CNN），这一架构使图像识别准确率大幅提升。也是这一年起，人工智能具备了走出实验室，走向市场的能力

2016年，谷歌研发的深度学习人工智能产品AlphaGo战胜了世界顶级围棋手，数据标注行业迎来了“风口期”。

2018年，百度在山西太原落地了第一座人工智能数据标注产业基地，现在拥有超过5000名数据标注师。

据艾瑞统计预测，2020年我国AI基础数据服务市场规模为37亿元，到2025年相应规模可达107亿元，整体增速呈现稳步提升的趋势，图像、语音类内容也继续在向新兴场景开拓，数据标注需求量将呈井喷式增长

现在数据标注的内容已经从语音、图片拓展到视频、雷达图，数据集中除了自动驾驶，还有医疗CT、人脸等，语音数据除了有普通话、各地方言外还有外语，这些数据集涵盖的范围越来越广，使得行业对数据标注师的需求越来越多，要求也越来越高

最后

随着人工智能技术的不断发展和深入应用，数据标注的重要性将愈加彰显

如何为模型提供高精度和高质量的标注数据，将成为技术在具体场景落地的关键。按照规范化流程开展数据标注工作，制定明确的标注、质检、审核规则，构建高效数据标注体系，组建高效成熟的标注团队，将有效加快人工智能的落地速度，为业务数字化转型打好数据基础