前言:
此时朋友们对“vgg和googlenet”大致比较着重,同学们都想要了解一些“vgg和googlenet”的相关文章。那么小编同时在网上网罗了一些对于“vgg和googlenet””的相关知识,希望我们能喜欢,同学们快快来学习一下吧!在过去一年中,人工智能的新算法不断涌现,深度学习仍是这一时期发展主线,尝试解决更为复杂的应用任务。 人工智能的产业格局与生态体系更为明晰,开源开发框架格局逐步确立,以科技巨头引领的生态系统垂直整合速度不断加快;同时,产业发展重心开始转变,企业比拼重点从单项技术的“理论”准确率转向应用场景白热化的“跑马圈地”。
人工智能的技术应用开始全面覆盖日常生活、 科学研究、社会治理、商业创新和国家安全等经济社会的关键领域, 以空前的广度和深度推动社会发展。然而,由于人工智能技术成熟周期相对较长,产业发展速度不及资本市场预期, 资本热度开始减退。 人工智能产业似乎显现出“陷入困境”与“高速发展”的矛盾现象。
本期的智能内参,我们推荐中国信通院的报告《人工智能核心技术产业白皮书》, 探讨以深度学习技术为主要驱动力的人工智能发展状况、 技术创新重点与产业发展趋势,总结十三五期间我国发展情况, 提出十四五期间的发展方向与机遇。
本期内参来源:中国信通院
原标题:
《人工智能核心技术产业白皮书》
作者:李论 lilun@caict.ac.cn
一、 人工智能核心技术产业发展总体态势1、 深度学习技术进入升级优化阶段
人工智能技术体系与产业体系错位发展,深度学习理论突破速度逐步放缓,产业开始步入高速发展阶段。 目前,本轮深度学习理论突破速度开始放缓,技术红利的持续释放驱动图像分类、机器翻译等多类感知任务准确率大幅增长,步入升级优化期。 人工智能本轮爆发初期主要在探讨算法理论的可能性,聚焦探索强化学习、迁移学习等新的学习方式以及 AlexNet、 VGG、 GoogLeNet 等结构多样的算法模型;算法理论的不确定性和技术的不成熟耗费产业界大量精力和时间,阻碍人工智能大规模应用进程。
目前, 产业开始步入高速发展时期, 2020年技术标志性生产工具 TensorFlow 框架下载量爆发式增长, 仅一个月1超 1000 万次,占发布四年半下载总量( 1 个亿+) 的十分之一;同时,技术成本快速下降,同等算法水平所需计算量每八个月降低一倍,成本降低百倍, 业内涌现出研发平台、技术服务平台等多样化的平台形态, 工程技术正在引领产业快速发展。
2、 寒冬并非低谷,产业生态已现加速构建态势
资本寒冬已经出现。 其中,预期过高是主要原因。 人工智能企业增速明显放缓, 2019、 2020 年全球每年新增人工智能企业数量已不足 100 家, 且投融资的轮次后移趋势不断扩大。 2020 年 B 轮及以上融资笔数占总笔数的 62.3%,较上一年增长 40%以上。同时,曾获大笔融资的知名创新企业由于预期过高、虚假宣传等原因退出产业舞台。曾对标英特尔的芯片企业 Wave Computing,是人工智能计算领域最受关注的独角兽之一, 2020 年 4 月由于数据流处理器性能不达预期而宣告破产;智能会计工具 ScaleFactor 宣称利用人工智能技术自动化生成财务报表, 但实际却部分采用人工外包方式处理, 在融资1 亿美元后于 2020 年 3 月宣告倒闭。
此外, 资本早期对人工智能产业回报周期过于乐观是资本寒冬的另一原因。 移动互联网在偏向工程属性的前提下,资本预期取得成效的时间为二到四年;与之相较,人工智能与传统行业核心业务深度融合,需更高的技术准确率和更深刻的行业理解力。因此,人工智能产业孕育时间更长,资本市场的期望和现实出现较大偏差。
全球融资轮次数量分布
从技术基础理论突破到工程化落地应用,既有技术红利已为产业发展奠定坚实基础。 当前,虽然资本市场的泡沫逐步破裂,但优质企业的估值仍在持续增长,独角兽企业不断出现, 产业呈现良性发展态势。深度学习技术局限性似乎导致人工智能产业发展将遇天花板,然而事实并非如此。虽然,可解释性、理解推理等局限性确已显现,但这是下一时期理论技术突破重点, 不能因此否定图像识别、语音合成、机器翻译等感知类任务上的应用技术成就和产业应用前景。 目前,基 于深度学习理论的优化技术层出不穷, RegNet、 GPT-3 等模型不断提升视觉处理、阅读理解等基础智能任务水平,虚拟助手、多语种翻译等智能应用已开始进入规模化应用阶段,大量的行业应用场景加速深度融合,技术能力和优化速度可见 5 到 8 年的红利。
业各环节逐步明晰,规模化应用突破已现曙光。 人工智能技术在消费互联网领域发展速度较快,智能推荐、视觉识别、语音助手等智能技术能力已深度应用至电商、社交、资讯等消费互联网平台以及手机、无人机等消费终端中,并加速与核心业务进行整合。当前,智能技术正在向更多的行业领域渗透,融合渗透仍需时日孕育。 相较于消费互联网领域,传统行业的知识获取和积累需要较长时间,应用场景碎片化的特点导致低成本、易用、泛化能力较强的能力平台构建需较长周期。
总体来看,人工智能产业正处于 S 曲线中快速发展的临界位置(如下图),现阶段智能技术落地成本较为昂贵,导致智能产品绝对量增加时,其单位成本并未明显下降。目前,人工智能头部企业加速布局, 不断完善技术生产工具(开源开发框架、数据处理、验证分析、部署监测等完备研发工具链), 加速建立全栈智能计算技术体系(形成基础计算理论、 芯片、 软硬协同、 系统协同全栈技术支撑能力), 探索孕育基础和垂直行业技术平台; 产业规模化发展的进程正在不断加速,规模经济有望形成。
人工智能规模经济 S 曲线
3、 人工智能以空前广度与深度推动社会发展,加速产业结构升级进程
工智能已全面覆盖社会运行的基本要素,内生化提升全局运转效率。从社会运行角度,人工智能加速影响日常生活、科学研究、商业创新和国家安全等社会运行的基本要素。一是人工智能与科学研究的结合已开始改变基于传统学术经验的科学研究方式,实现从大量已知论文、实验数据中挖掘未知理论,加速提升化学、材料、物理、药物研发等领域文献获取速度与实验发现效率, 成为下一时期科技竞争的重要动力。
二是人工智能成为商业创新与竞争的下一个主战场, 传统行业巨头加速布局智能供应链、质量检测、商业决策等细分应用,有望显著提升生产流程、质量控制、商业营运等环节效率,改善工作条件;
三是娱乐、消费电子、医疗等生活领域的智能应用不断贴近、细化场景需求, 室内安防无人机、人性化虚拟助手等智能消费产品不断涌现,问诊机器人及智能影像逐步推广使用,医疗资源紧缺、分布不均等一些行业痛点开始缓解; 四是疫情加速教育培训向在线智能化发展,试题 OCR 识别、辅助批改等应用已从试点向规模化发展,推动教学管理向精准管理转变,助力个性化学习体系的建立; 五是全球领先国家已充分意识到人工智能技术与国防安全融合的重要程度, 投入针对性资金推动预测维护、自动驾驶、情报分析、智能飞控等国防智 能应用的发展。
人工智能渗透率的提升有望显著加快全产业链结构的优化速度,牵引产业向高附加值的产品与服务转变。一方面, 人工智能作为众多技术产品创新核心,是下一时期最为关键的高附加值产业。据预测,到 2030 年约 70%的行业企业将使用人工智能技术,预计为全球增加13 万亿美元的附加值。 另一方面, 人工智能加速提升传统行业高附加值产品的比重, 进一步优化产业结构。人工智能技术与核心业务、专家经验深度融合,行业主营产品和运行方式的智能化程度正在不断提升,衍生新产品与新服务。《麻省理工科技评论》全球 50 家聪明企业( TR50)榜单中已显现传统行业企业的身影,如布局医药研发赋能平台的传统药物研发厂商药明康德,利用智能技术提升物流收派效率的顺丰科技等。
二、 人工智能技术创新重点1、 深度学习试图从多角度融合创新,开启认知时代仍在探索
深度学习仍然是人工智能技术发展的主导路线。 当前,基于大量标注数据进行训练是深度学习技术实际应用的主要路线,从 1400 余万幅图片的ImageNet数据集至2020年脸书和卡内基梅隆大学构建的超过 130 万种化合物分子间作用数据集 Open Catalyst,模型训练所需标注数据普遍达十万以上。然而,这种路线在取得良好成效的同时,面临着严重依赖标注数据的问题,带来在更多细分场景中应用落地的局限性。
业内不断拓展深度学习解决问题的边界, 推动人工智能进入感知增强时代。 人工智能纯粹使用有监督学习方式训练深度学习模型的时代基本结束,受限于对大量标注数据依赖与理解能力缺乏,这种路径难以解决更多应用问题。当前, 感知增强时代拉开序幕,这一时期的新算法聚焦提升数据的质量和规模, 通过迁移其他领域训练成果、自主生成或增强数据、依托知识图谱常识关系、利用多源数据等方式侧面弥补深度学习的局限性。 深度强化学习、多模态学习等多元化的学习方式受到产业热捧,深度学习技术与知识工程、传统机器学习等分支的结合成为学界探索的热点新方向。
深度学习加速探索与多元学习方式、多种技术分支的结合, 少量数据训练、弱化人为干预以及多模态学习成为下一时期的发展关键。
一是减少数据量依赖的少样本学习。 少样本学习通过复用其他领域知识结构,使用少量数据对新领域进行训练, 已进入初步应用阶段,如英伟达提出基于少样本学习的视频转化( Few-shot vid2vid)框架,仅借助少量目标示例图像即可合成未出现过的目标或场景视频。
二是弱化人为干预的自监督学习、强化学习。 业内主流的有监督学习方式数据标注成本高昂,以机器翻译任务为例,市场人工翻译每单词平均价格约 7.5 美分, 假设单个句子平均长度为 30 个单词, 1000 万个句子人工翻译标注的成本约为 2200 万美元;若需支持上百种语言的互译,人工标注训练集的成本将达上千亿美元。这种高昂的数据成本促使学产两界加速对深度强化学习、自监督学习等范式的探索。 图灵奖获得者杨立昆( Yann LeCun)加速自监督学习的研究进程,通过从未标记的数据集中学习监督信息, 提升数据无标注下的学习能力;DeepMind、 OpenAI 等机构不断演进深度强化学习算法,试图显著提升智能体的自主决策和多智协同能力。
三是提高应用场景复杂度的多模态学习。 应用场景正从单一视觉、语音的感知向多模态理解侧重,复杂度不断提升, 从多模态信息源中学习模态间关系成为焦点,如菜肴制作视频与菜谱文本步骤对齐、唇动视觉描述与语音信号融合预测单词等。深度学习技术正在不断挑战更为复杂的任务,扩展能够解决问题的边界。
直面推理理解问题的算法路径尚无定论,距离认知时代到来仍需数年。从理论体系角度来看,深度学习的领军专家开始探索深度学习理论体系的新形态,反向传播、经典神经网络模型等已有基础理论受到质疑。目前,杰弗里·辛顿( Geoffrey Hinton)提出替代深度神经网络( DNN)架构的胶囊网络,试图解决小样本问题。 然而,胶囊网络虽连续三年推陈出新,但研究进程并非叠加式的演进,而是完全不同路径的替代。
从学习方式角度来看, 近一年来,强化学习实现通用智能的技术路径不再是业内共识,不依赖大量人工标注数据的自监督学习成为学习方式的新焦点,并在 2020 年 ICML、 ICLR 等全球人工智能学术会议上高频出现,已成为众多专家所关注的关键路径。然而,无论是深度学习体系的颠覆式创新,还是多种学习方式的不断尝试,具备理解能力的算法模型目前未有显现迹象, 真正的认知时代到来仍未可知。
人工智能技术发展阶段
2、 任务场景愈加复杂,倒逼学习方式多元化发展
有监督学习建立在严苛条件之上,已不能完全满足模型学习需求,面对更为复杂的任务场景,业内加速探索强化学习、自监督学习等多元学习方式,试图缩小与通用智能的距离。
深度强化学习不断演进,加速提升自主决策能力。 深度强化学习加速拓展任务边界, 突破性解决多人棋牌、即时战略游戏等多智能体非完全信息博弈任务。目前, OpenAI、谷歌、微软等企业相继攻克即时战略、 德州扑克、麻将等复杂游戏, 并加速向无人机群体飞行等更为实际的应用场景拓展。另一方面, 深度强化学习不断提升处理复杂任务的能力, 逐步拓展芯片设计、音乐编曲等对知识技能要求更高的专业领域,如 2020 年谷歌研究人员利用深度强化学习优化设计芯片布局,达到 PPA(功率、性能、面积)的最佳平衡,显著缩短设计时间;清华大学提出用于在线伴奏生成的深度强化学习算法,能够根据输入音乐实时生成伴奏。
自监督学习成为最为活跃的学习方式。 谷歌、脸书等多家企业先后发布使用自监督学习的算法模型,通过挖掘无标注数据的监督信息,显著减少人为干预,在自然语言理解( NLP)领域取得显著成效,如谷歌 BERT、 脸书 RoBERTa、 OpenAI GPT-3 等。目前,学产两界正在加速自监督学习在计算机视觉( CV)领域的突破创新,已在精细图像处理方面初步取得进展,如华盛顿大学利用自监督学习方式实现图像背景的前后景分离,精度达像素级别,可实现头发丝的精确分离。然而,尽管在自然语言理解、视觉处理等方面取得初步进展,现阶段自监督学习本质上仍依赖规范化、标签化的数据,主要借助预训练模型构造并学习数据特征,而非基于对数据内容和任务对象的深层次认知;真正理解数据内容的自监督学习尚未出现。
3、 深度神经网络理论体系尝试颠覆性创新,多分支融合趋势渐显
深度学习局限性日益凸显,理论体系探索革新。 当前,以杰弗里·辛顿( Geoffrey Hinton)为代表的业内巨头持续推动理论体系的创新,其中,胶囊网络作为革新热点,试图解决数据依赖与不可解释问题;然而,历史上胶囊网络的三个版本更新大相径庭, 尚未形成稳定的新形态架构, 仍处于探索阶段。 此外,以胶囊网络为核心的应用也在不断探索, 2020 年Hinton 团队提出一种用于机器学习安全领域的网络检测机制,显著提升攻击检出率;中佛罗里达大学学者提出胶囊路由方法,可通过输入句子查询视频中符合条件的人物及特定动作,但上述成果仍停留在研究阶段。
深度神经网络与其他技术分支加速融合发展。 人工智能头部企业、高校等开始摸索深度神经网络与知识图谱、传统机器学习等分支的融合创新。
一方面, 知识图谱试图在不颠覆深度学习理论的基础之下,弥补小样本训练与理解推理能力不足的技术天花板。目前,面向垂直领域的专业知识图谱加速发展,已在金融、医疗、司法多个行业初步应用, 显著提升垂直行业应用中知识自动关联、 自动获取的智能化水平。如金融消费领域,蚂蚁金融知识图谱平台已经广泛应用在蚂蚁内部以及合作伙伴的微贷、保险智能理赔和智能理财等业务领域中;药物研发领域,亚马逊开发药物重定位知识图谱( DRKG)预测药物与疾病靶点结合的可能性,缩短药物研发周期并降低成本,已用于新冠病毒药物研发。
另一方面, 深度学习与传统机器学习融合已显现新的算法形态; 贝叶斯深度学习成为热点方向之一,有效利用先验知识解决过拟合、小样本数据等问题,模型性能超越传统深度学习方法,如 DeepMind 提出贝叶斯 RNN 模型,图注释生成任务表现显著优于传统 RNN 模型;纽约大学和三星研究人员提出基于贝叶斯思想的深度学习不确定性表示方法 SWAG, 大幅提高模型泛化能力, 在异常点检测、校准等计算机视觉任务上表现良好。
4、 预训练模型加速演进,试图实现语言处理领域的通用智能
预训练模型参数已至万亿级,训练成本之高几乎成为业内头部玩家的专属技术路径。 2020 年, OpenAI 发布 GPT-3 模型,模型参数多达 1750 亿个,高达 1200 万美元的训练费用为预训练模型的构建构筑壁垒,中小型人工智能企业难以望其项背。 2021 年,谷歌发布 SwitchTransformer 模型,再次将模型参数推至 1.6 万亿新高。此外,微软宣布与 OpenAI 达成合作协议,获得 GPT-3 语言模型源码的独家授权,升级巨型模型的寡头格局形势,预示着未来超大规模预训练模型或将掌握在少数头部企业手中。
预训练模型已进入可直接用于多种自然语言处理任务的“通用”智能阶段。 预训练模型再次升级,头部人工智能企业先后发布通用预训练模型,可直接面向多种自然语言处理任务使用,不再需要针对不同任务进行微调。目前,谷歌 T5、 OpenAI GPT-3 等通用预训练模型进一步提升文本理解能力,在包含阅读理解、问答等任务的基准测试中接近人类水平。另一方面,通用预训练模型加速步入产业应用阶段,OpenAI 公司发布 GPT-3 商用应用程序接口( API) ,提供问答、翻译、文本生成等服务, 搜索服务提供商 Algolia、社交媒体平台 Reddit等多家企业已开始使用。
5、 模型小型化成为提升模型运行效率的关键
深度学习模型效率提升成为应用落地的关键突破点。 目前,深度学习模型的复杂度会随着模型精度的提升而提升,步入通过大幅增加计算量而获取高精度的时期。计算量的增长虽带来性能的提升,但高度复杂模型在硬件能力受限的设备上部署运行难度越来越大,以AlphaGo 为例, 每场比赛仅电费耗费就高达 3000 美元, 模型运行性能与硬件能力的矛盾成为模型效率的关注重点。
模型小型化成为提升模型运行效率的主要方向。 目前,知识蒸馏、剪枝、量化等模型小型化的技术手段逐步成熟,主流模型可达几十倍压缩率。如亚马逊利用知识蒸馏进行预训练,从 BERT 模型中提取压缩模型 Bort,压缩后模型大小仅为 BERT-large 的 6%,推理速度提升七倍 ; 麻省理工学院与上海交大的研究人员提出LiteTransformer,结合量化和剪枝技术将 Transformer 模型压缩 95%,加速在边缘设备上部署自然语言处理模型的应用进程。 与此同时, 开发框架中的模型压缩功能创新活跃, 模型压缩已成为开发框架必不可少的关键能力,脸书、腾讯、谷歌等头部人工智能企业以及英伟达、英特尔等芯片大厂加速构建完善模型压缩能力,依托自身算法技术与硬件芯片优势,在其主导的 TensorFlow、 PyTorch、 TensorRT 等开发框架中提供剪枝、量化等算法压缩工具, 并针对 GPU、 CPU 等硬件芯片进行特定压缩优化。
6、 深度学习应用加速推动智能计算革命
深度学习应用加速推动云端计算范式进入高性能计算时代。 深度学习训练效果高度依赖计算资源和数据质量,追求大规模高速处理能力。当前, 全球最大规模的训练模型所需算力每年增长幅度高达 10倍。谷歌曾预测,如所有用户每天使用 3 分钟语音搜索功能,基于传统 CPU 的数据中心算力就必须提升一倍,对算力需求快速增长的预期也促使谷歌加速研发针对人工智能应用更有优势的张量处理器。 随着深度学习模型结构日益复杂以及训练样本规模持续扩大,算力需求与日俱增,对云侧计算性能提出更高要求。
计算模式走向云边协同,端侧场景化算力成爆发新方向。 在去中心化的计算形态下,自动驾驶、工业智能、智慧城市等边缘场景产生出大量的算力需求,边缘智能设备需要通过芯片架构、编程模型、专用加速库以及软件框架等多个环节与特定应用深度融合,实现边缘计算平台全栈能力升级,以满足低功耗、 实时性、可靠性和安全性等复杂边缘场景需求。 预计未来三年, 面向工业电子、汽车电子和传统消费电子应用等场景化智能计算芯片增长迅速,市场容量年复增长率高达 100%以上,成为推动智能芯片产业主要驱动力量。
三、 人工智能产业发展趋势1、 从谋求单点技术的“极致”,向场景化综合生态发展
单项技术的“理论”准确率不再是智能企业的比拼重点,产业进入应用场景”跑马圈地”新阶段。 人工智能企业单点技术标签化的特点逐步弱化,企业加速进入实质应用转化阶段,人工智能技术服务企业的变化尤为凸显。如旷视、商汤、科大讯飞等企业已将重心从视觉、语音等技术转移至社会治理、供应链物流、生活消费等领域的软硬件解决方案,从而催生出旷视天元、商汤 SenseParrots 等开发框架和基础技术服务平台。
目前,以物流、零售、公共安全等为代表的先导应用领域“跑马圈地”持续白热化。旷视升级发布机器人仓储物流软件平台“河图 2.0”,并计划投入 20 亿元与合作伙伴搭建完整的机器人行业解决方案;商汤持续推进城市级开放平台方舟( SenseFoundry)在城市域落地,已覆盖全国 31 个省市、近 100 座城市,总计接入摄像头十万路;云从推出“云从起云智慧 Mall”运营平台,聚焦新零售领域帮助商业地产拥有者进行决策,实现精细化运营。
场景化综合生态模式开始清晰,与“类”安卓开发者生态共同驱动产业发展。
一方面, “类”安卓开发者生态模式逐步成熟,头部智能企业延续移动互联网典型发展模式,以微服务形式提供视觉、语音等技术服务,凭借第三方开发者来构建多样化的智能应用, 大幅提升开发的易用性。
另一方面, 纯粹基础技术输出难以完全满足智能技术与各行业深度融合和应用落地,主要有三方面挑战:一是需要与行业专有知识深度结合;二是场景碎片化特征突出;三是使用标准数据集训练的图像识别、对话系统在实际行业场景中泛化能力不足,需基于实际场景数据进行二次训练和优化处理,这些均导致开发周期较长和开发成本居高不下。
因此, 头部智能企业认识到智能技术与传统行业的深度融合应用需要构建新的发展模式。 一是加速打造提供模型选择、训练、部署监测等一体化的研发平台, 奠定智能技术渗透至各行业规模化应用的基础;二是面向工业、农业、金融、公共安全等行业领域构建多样化行业技术服务及解决方案平台, 将行业特有数据、专业知识、业务流程与智能技术进行深度融合;发展速度较快的公共安全、医疗、智能驾驶等领域已初步形成垂直行业平台,提供相对通用的行业应用服务。在此基础之上,智能音箱、智能录音笔、安防无人机等垂直行业智能产品不断涌现, 场景化综合生态正在形成。
2、 以科技巨头引领的产业垂直整合速度不断加快
在过去的一年中, 由于人工智能发展所需算力、算法、数据等要素的高位起点以及硬件、软件框架、平台等核心环节间的紧耦合衔接特点,使得谷歌、微软等科技巨头生态系统的垂直整合引领产业整体发展;产业垂直一体化的趋势不断加强,计算支撑、软件框架、研发平台等核心环节基本被老牌科技巨头所把持。
算力、软件框架、研发平台、技术服务的纵向一体化几乎成为全球头部科技企业的共识。 人工智能硬件、算法、 软件平台与行业应用场景的结合紧密度空前,驱使不同环节具备点状竞争力的科技巨头争相探索行业实际应用需求。目前,产业仍为早期发展阶段,任何一个环节的水平化都尚未完全确立,过去以通用基础能力自居的芯片企业、云计算企业,抑或是具有技术独到优势的互联网企业都难以将自身的优势能力直接渗透至复杂多变的行业应用场景中来。
因此,科技巨头加速从自身优势能力出发,延伸至行业应用的多个中间环节,试图以这种方式准确把握智能时代的需求方向;在持续保持自身已有优势的同时,布局支撑行业应用的多个核心环节,巩固其生态系统在人工智能时期的领导地位。
亚马逊、微软等云服务企业不断强化其智能服务能力, 紧抓面向基础技术服务、研发训练与推理等智能计算需求,通过布局研发平台、开源开发框架等技术生产工具,以及更为底层的专用硬件及芯片,提升其智能计算服务的竞争力;谷歌、百度等 AI技术优势显著的互联网头部企业基于先进算法和技术优势布局开源框架,并以此为核心上下延伸,构建智能服务生态体系。以英伟达为代表的 AI 芯片巨头加速提升面向智能任务的芯片性能,积极丰富性能库、编译器、编程框架等软件配套,通过多样化方式壮大开发者社区及产业合作伙伴规模,力图构建软硬协同的产业生态体系。
垂直一体化布局
3、 开发框架格局逐步清晰,已从百花齐放向几家分争转变
以谷歌 TensorFlow、脸书 PyTorch 等为代表的开源框架格局初显清晰,框架格局已从百花齐放转向几家分争。 目前,业界开源开发框架主导权基本被 TensorFlow(谷歌)、 PyTorch(脸书)等掌握;微软CNTK、日本初创企业首选网络( preferred networks) Chainer、 加拿大蒙特利尔大学主导的 Theano 等早期热点框架已通过与主流框架合并或直接停止更新的方式退出历史舞台。
TensorFlow 依托工业界的部署优势持续位于第一,市场关注度达 15 万,超过第二名3 倍以上,脸书的 PyTorch(合并 Caffe2)凭借其易用性迅速突起,在各大顶级学术会议论文中占比超过 50%,有赶超势头。 同时,我国正在快速进行开源开发框架的系统化布局,百度飞桨、旷视 MegEngine、华为MindSpore、清华大学 Jittor 等国产框架加速升级,其中,百度飞桨作为最早推出的开放框架之一,已初步应用于工业、农业、服务业等业务场景,服务 230 余万开发者,整体应用广度和深度正在不断成熟和完善。
开源框架发展历程
主要开源框架活跃情况
端侧推理框架遇碎片化挑战。 随着各行业终端智能化需求加速增加,算法模型的终端推理性能引起业内重视。目前,推理框架面临碎片化挑战,一方面,计算终端所使用的芯片类型多样, CPU、 GPU 虽为主流架构,但 NPU、 DSP、 FPGA 等多样的人工智能芯片也在不断涌现,终端推理框架对底层硬件的适配难以统一;另一方面, 算法架构尚不稳定, 算子(卷积、激活函数-ReLU 等) 及组合方式的多样化和持续演化使得单一的推理框架短时间内难以覆盖所有的可能性, 推理框架显现出各为其主的发展格局。
端侧推理框架处于多元化发展阶段。 谷歌、脸书主导的头部开源开发框架加大训练、推理一体化的布局力度,但推理部分在终端侧市场占比不高。目前,业内涌现了一批各具特色的终端推理框架,如阿里提出 MNN 框架,集成在手淘、优酷、飞猪等 20 余终端应用中,实现互动营销、实人认证、试妆等功能;小米构建 Mace 框架,在小米手机中的相机场景识别、人像模式、人脸解锁等诸多场景中进行应用。但由于硬件芯片、软件算法仍在快速发展, 推理框架预计将在很长一段时间难以统一,或始终处于多元发展的格局。
开源开发框架竞争焦点从模型库转移至易用性和硬件适配优化。高级语言接口与硬件适配优化成为开源框架构筑壁垒的关键, 一方面,高级语言接口封装后端框架中关键的模型构建、训练等功能,降低研发门槛。 目前, 三大主流框架加速绑定或构建高级语言接口,已出现合作圈地现象。TensorFlow 与 keras 形成排他性合作,提升框架易用竞争力,与近期以易用性为优势快速提升地位的 PyTorch 抗衡; MXNet 与 Gluon 联合,由亚马逊与微软共同维护; PyTorch(脸书)以 Torch 和 Caffe2 作为后端框架, 内部先天构筑高级语言接口。
另一方面, 硬件适配优化试图解决多样硬件编译工具导致的适配复杂和性能参差不齐问题,统一编译工具与编译语言成为主流开源开发框架的布局重点。目前, 谷歌、脸书加速构建统一的编译语言( IR), 试图引导硬件厂商主动适配,获取框架适配的话语权。
4、 以研发和技术服务为核心,产业开始打造平台化发展模式
平台化发展速度不断加快。 当前,人工智能平台发展步伐加快,2020 年上半年我国人工智能研发平台市场规模达 1.4 亿美元,复合增长率超 30%12; 头部智能技术服务平台的单日调用次数已过万亿次,如阿里云 AI 服务的日调用规模超 1 万亿次,日处理图像 10 亿张,百度大脑已对外开放了 270 多项 AI 能力,日调用量突破 1 万亿次。与此同时,人工智能的平台生态规模不断扩大,如讯飞开放平台聚集超过175.6 万开发者团队,累计支持超过 28.9 亿终端;腾讯 AI 开放平台已服务全球用户数超 12 亿,客户数超 200 万。
云服务厂商积极主导人工智能研发平台发展。 云服务厂商主导人工智能研发平台的发展,亚马逊、微软、谷歌等拥有云计算业务的企业加速布局人工智能研发平台,其中,亚马逊 SageMaker 平台最为成熟,份额高于后两者近两倍,占据全球 TensorFlow 负载八成以上;H2O.ai、 DataRobot 等研发平台创新企业不断出现,成为资本市场的追捧对象,人工智能研发平台的发展空前繁荣。
技术工具链成为研发平台的竞争核心。 目前,研发平台整体呈现三类发展特点: 一是工具体系化, 打造全面的技术工具链成为了这一时期研发平台的竞争核心,技术工具链提供数据处理、模型构建、部署、监测分析等全生命周期的工具服务,如 SageMaker Autopilot、谷歌 AutoML、微软 MLOps 等; 二是开放框架开放化, 研发平台基本均同时支持TensorFlow、 PyTorch、 MXNet 等多个主流框架; 三是分布式计算不断优化, 研发平台围绕人工智能技术的特点和开发框架对自身的云计算架构进行深度优化,如 SageMaker 在256 个 GPU 下的TensorFlow 扩展效率可达 90%,并同时支持多种类型人工智能芯片。
基础技术服务平台走向成熟,已形成涵盖多种基础技术的综合性平台。 包含视觉、语音、自然语言处理等智能技术服务能力的基础技术平台是人工智能产业形成最早的平台形态,产业主体主要包括谷歌、微软、亚马逊等拥有云计算业务的厂商和科大讯飞、旷视科技等人工智能技术服务厂商,前者构建的基础技术服务平台在布局初期即向涵盖多种技术能力的综合性平台发展,后者早期主要依托自身某一类技术优势开展平台建设,如科大讯飞侧重语音文本,旷视则侧重视觉处理。
目前,业内的基础技术服务平台形态基本成熟,领先平台基本同时包含多类技术能力。究其原因,一方面是由于基础技术能力的构建不再神秘,一家技术厂商同时拥有视觉、文本等能力的难度大幅降低;另一方面则是行业应用场景常常需视觉、语音等多种技术共同支撑,单一类型的技术服务平台不再适合目前的应用需求。
垂直行业技术服务平台发展处于早期阶段, 尚未形成规模发展。除研发平台显著降低技术与垂直行业融合成本外,垂直行业技术服务平台成为另一种重要平台形态;平台把垂直行业中的关键场景、相对通用的应用技术总结提炼,进而复制推广。 目前,业内主流的垂直行业技术平台存在技术服务直接输出和提供关键应用场景解决方案两种服务形态,但均未形成规模。
一方面, 技术服务直接输出的形态(应用程序接口)一般面向具有成熟应用软件环节的垂直行业,由平台技术服务直接支撑下游软件集成商;此类垂直行业的应用软件环节通常进入门槛较高,或者市场空间有限,因此,人工智能技术企业缺乏与原有产业链软件集成商抢夺市场的动力。
另一方面, 人工智能技术与垂直行业应用的融合对软件、智能技术、底层硬件等多个环节均提出差异化需求,驱使面向关键行业的多样化全栈解决方案不断涌现。垂直行业技术服务平台通过提供整体方案的选型和设计,同时直接提供智能技术、软件等方案中的某几种能力,推动智能技术与垂直行业场景的快速融合,如自动驾驶领域的 Apollo 平台提供雷达、摄像头等硬件选型,高精度地图、路线规划等智能软件为一体的解决方案。
5、 智能计算产业形态初显,呈现蓬勃发展态势
智能计算已初步形成智能芯片、软硬协同、多样化算力供给模式的产业形态。 目前,人工智能芯片架构百花齐放,云侧虽仍以 GPU 为主,但端侧涌现出面向不同场景的芯片架构,英伟达、英特尔等芯片厂商面向人工智能应用的软硬件工具生态日益完善,面向深度学习的大规模分布式计算平台不断成熟,云智能服务、公共智能超算中心、自建数据中心等多种计算供给模式逐步形成。
云侧智能芯片市场仍以英伟达为主导,云服务提供商及初创企业正在持续加大布局力度。 传统芯片厂商英伟达加速提升其并行计算能力的优势和多线程并行软件开发生态的壁垒,2020 年推出 A100 芯片,晶体管数量达540亿, 自然语言处理模型BERT训练性能较上一代V100提升 6 倍。谷歌、百度等云服务提供商加速升级基于各自工作负载需求的智能芯片,2020 年,谷歌发布第四代 TPU,平均性能是上一代的2.7 倍;百度昆仑 1 量产,百度搜索引擎及云计算方面部署 2 万片。
另外, Cerebras, Graphcore 等初创公司布局新架构智能芯片,部分应用的运行性能优于英伟达 GPU,但这类芯片仅能提供有限的软件堆栈,面临一定的市场推广阻碍。
端侧多元化应用催生大量创新探索,传统芯片企业和终端企业相对领先。 汽车电子和嵌入式消费电子是这一时期端侧智能芯片创新热点。 其中, 2020 年英伟达和英特尔在汽车智能芯片方面持续位于领先位置,英伟达围绕自动驾驶 SoC Orin 芯片,与理想汽车、奔驰等多家车厂展开合作;吉利概念车则将搭载英特尔 EyeQ5 芯片;恩智浦、瑞萨和东芝等成熟汽车电子供应商,黑芝麻、地平线机器人等初创企业,以及特斯拉等汽车制造商积极研发自动驾驶汽车芯片,试图与英伟达和英特尔双巨头争夺市场份额。相比之下,端侧嵌入式消费电子类市场软硬件成本以及供应链准入门槛较低,大量初创企业以不同的细分赛道加入市场竞争,其中智能手机神经网络加速芯片市场仍以高通等传统移动芯片企业和终端品牌企业为主,众多初创企业主要集中在视觉和语音处理领域,包括 NovuMind、 Syntiant 等。
围绕智能计算芯片的软件工具开始从基础计算向场景计算转变。早期, 以英伟达为代表的芯片企业不断构建以 CUDA 编程模型为核心的高性能算子库、通信算法、推理加速引擎等多层次基础软件工具生态。 当前,随着智能技术在传统行业中渗透的不断深入, 头部智能芯片企业开始构建面向差异化场景的软硬一体平台, 实现底层芯片、编程框架、行业算法库、细分场景研发平台等全栈高效整合,试图培育多样化行业场景的计算生态、抢占细分市场。例如, 2020 年,英伟达围绕机器人和自动驾驶场景,打造 Jarvis 对话系统、 ISAAC 机器人等软硬一体计算平台,宝马公司使用英伟达 ISSAC 机器人平台、Jetson AGX Xavier 芯片平台以及 EGX 边缘计算机,开发包括导航、 操控等五款机器人,依托深度神经网络实现感知环境、检测物体、自动导航等功能以改进物流工作流程。
多样化算力供给模式开始显现。 目前,云、边、端成为算力供给的主要形态。其中,云侧算力主要以云智能服务、公共智能超算中心和自建数据中心三类供给模式为主,亚马逊、阿里云等云计算企业以云智能服务模式向中小型企业及个人售卖 AI 算力资源和技术服务,是目前最为主流的供给模式;公共智能超算中心逐步兴起,上海、深圳、重庆等多地开始投建公共智能超算中心,这类中心目前主要以政府主导建设为主,支撑本地企业、科研机构和高校的人工智能技术与应用创新,缓解地方企业及机构算力资源不足、成本较高等问题,推动区域人工智能产业的发展;此外,谷歌、脸书等头部企业通过自建专有智能计算集群的形式提升自身业务运行性能,部分企业根据业务特点研发人工智能专用芯片,试图大幅度降低算力成本。与此同时,边缘与端侧计算模式成为热点,英特尔、英伟达等硬件芯片企业加大边缘智能专用加速产品的布局力度,面向工业、交通等云边协同场景提供解决方案;寒武纪、地平线、云知声等企业聚焦面向视觉、语音等智能任务的端侧芯片研发,在无人机、可穿戴设备、智能摄像头等智能终端中已显现规模化应用态势。
6、 全球数据鸿沟仍在加大,开放共享机制与数据服务能力加速构建
数据鸿沟问题愈加凸显,开放共享仍在探索阶段。 全球数字化加速数据生成和积累, 数据资产对全球经济利益的分配已开始产生影响。“大规模数据→更准确模型→更好产品→更多用户→更多数据”的循环逻辑将导致数据定向收拢聚集,人工智能数据资产已开始出现寡头垄断的态势;互联网产生的数据资产半数集中在仅 100 家左右的少数头部企业中,影响全球人工智能经济利益的分配。据统计,人工智能产生的经济价值中约有 70%会累积到中美两个国家, 而若推动数据资产的全球化,大多数国家有望将 GDP 提升 1%至 2.5%。
当前,各国政府、头部企业持续推动数据的开放共享,数据原则、数据合作、数据规范与数据共享平台成为重点。 政府积极推动数据开放共享原则, 注重在保护隐私和公开透明原则下进行数据开放。 欧盟率先出台《通用数据保护条例》对涉及隐私的敏感数据做出严格要求;英国、法国、瑞典等国纷纷跟进修订或新增;美国以原则倡议为主,政府先行数据开放,通用数据法案仍在制定中。头部科技企业出于商业利益考量,对数据开放持谨慎态度;目前,微软试图打破这一局面,发起开放数据运动( Open Data Campaign),提出开放、可用、授权、安全、隐私五大原则,鼓励数据互联互通,承诺围绕健康、环境和各种社会公益项目等问题共享数据,但尚未开放其产生利润专有数据集。
跨领域数据合作也成为这一时期的热点, 其中垂直行业企业最为积极,数据合作已从点状互惠向有组织的开放共享方向发展。 微软、Adobe 和 SAP 联手构建数据共享联盟,通过通用数据模型将数据存储在统一的数据湖中实现共享,吸引安永、 飞思创( Finastra)等多行业企业共同加入。同时, 数据规范与开放协议尤为重要, 国家标准化组织密切关注数据隐私问题,企业也在自发建立数据开放协议或规范,如 IEEE P7002 数据隐私处理标准、 ISO 27701 隐私信息管理体系、微软 AI 模型数据使用协议( DUA-OAI) 等。此外,谷歌、微软等科技头部企业推出 Dataset search、 Research Open Data 等自动化数据搜索平台,进一步降低数据获取难度,打造更加开发便捷的数据生态。
数据集建设需求更为专业。 监督学习仍是产业界人工智能算法训练的主要方式,因此大规模、高质量的人工标注数据集是产业发展刚需。目前,数据标注从简单、重复的拉框标注向精细化方向发展,呈现三类发展特点: 一是数据标注流程趋于智能化, 通过预标注技术和半自动化校验的方式辅助人工标注已成为当前发展重点,业内涌现出一批标注工具,可对未标记图像直接生成分割轮廓,并借助人工进行微调; 二是标注数据质量要求不断提升, 自动驾驶、工业制造等智能任务场景愈之复杂,高质量、精细化的标注数据直接影响算法鲁棒性和准确性,标注准确率需求从 90%提升至 99%; 三是医疗、工业等差异化垂直应用驱动数据标注服务进一步贴合个性化、多元化的场景需求, 如数据服务企业 Scale AI 为自动驾驶场景提供标注服务,对车道、烟尘、尾气、雨水等更为个性化的目标物体进行标注。
具有智能标注能力的数据服务企业受到资本热捧。 以数据标注为代表的基础数据服务市场规模快速增长,资本市场进一步推高专业数据标注企业的估值。 2020 年,专业数据标注企业 Labelbox 完成 2500万美元 B 轮融资;龙猫数据获得 3300 万元 Pre-B 轮融资。目前, 数据的智能化标注能力成为这一时期数据服务企业的发展重点; 一方面,传统数据众包平台企业向专业数据标注企业发展,快速布局智能标注工具,数据服务企业澳鹏( APPEN) 花费 3 亿美元收购数据标注公司 Figure Eight, 大幅提升企业数据服务竞争力;另一方面,智能标注工具企业不断涌现,如 Scale AI、 Supervisely、马达智数等。
7、 以开源开发框架为核心的生态体系雏形渐显, 多种小生态同步形成
当前,全球人工智能产业生态雏形渐显。 从产业链全局角度看,开源开发框架既是最具技术含金量的环节,同时也是芯片、应用开发等多个主体集聚的环节,伴随时间积累,将具有很强的不可替代性和制约性。目前,谷歌、脸书等人工智能头部企业围绕开源开发框架构建的核心生态已初步形成。从产业主体角度看, 人工智能产业既对信息产业自身的产品形态、运行模式产生很大变革,同时影响传统行业生产运营方式和运行效率。因此,产业的参与主体几乎涵盖全信息产业以及传统行业企业,云计算、芯片、 ICT 设备、互联网、智能技术服务、垂直行业 AI 企业和传统行业企业等多主体正在围绕自身优势不断摸索产业生态模式。
人工智能头部企业构建开源开发框架生态, 试图形成应用接口和硬件适配的双向主导权。
一方面, TensorFlow、 PyTorch 等开发框架不断完善其高级语言接口,推动业内大量的算法模型和智能应用基于其高级语言接口进行研发,形成深度的绑定。由于转换至其他框架会一定程度上影响模型性能、增加二次研发成本,长此以往,大量应用将深度依赖原有开发框架进行训练和推理,形成产业默认的事实接口标准。
另一方面, 框架市场份额领先的人工智能头部企业正在依托框架与智能芯片适配构建标准化硬件接口, 有望进一步增强其对智能芯片的话语权。如, 谷歌通过构建统一编译中间表示语言( IR) ,驱动硬件厂商主动适配其 TensorFlow 框架,从智能芯片主导适配向统一中间表示语言( IR) 主导适配转变。目前,由于智能芯片的技术路线百花齐放,仍在摸索阶段,因此框架适配生态仍在构建初期,尚未形成。
产业主体以自身优势切入,初步形成四种小生态模式。
一是人工智能全面融入云服务体系,云服务厂商积极构建 AI 基础设施生态。亚马逊、微软、谷歌为代表的厂商布局人工智能专用硬件、开源开发工具、研发平台、技术服务、 行业使能方案等全栈 AI 技术支撑体系,如, 2020 年微软在研发平台、技术服务等方面持续深耕基础上,向下在硬件基础设施方面联合 Open AI 建立智能超算中心, 向上在垂直行业布局方面推出行业云解决方案 Microsoft Cloud for Healthcare,与智慧医疗、医疗机构合作,帮助医生和医疗机构使用AI 技术实现精准医疗服务。
二是人工智能技术服务企业、互联网企业以视觉、语音等技术优势切入,加速打造垂直行业技术服务平台和解决方案生态。
当前,该类主体正在加速推动智能技术在各行业中的应用落地,在不断完善开发框架、基础技术服务平台的同时,聚焦构建面向行业场景的平台生态,涌现出一批如依图 care.ai(医疗)、百度 Apollo 开放平台( 自动驾驶)等行业平台。
三是传统企业以行业经验切入,强调解决问题的实际应用能力,积极构建围绕基础科研、成果转化、 产业培育多维度的创新生态。 传统行业头部企业针对颠覆性、前沿性技术展开系统布局,巩固行业领先地位和优势;如大众奥迪聚焦自动驾驶场景,建立奥迪 JKU 深度学习中心,成立硅谷研发办公室,加大力度研发先进驾驶员辅助系统,同时发布自动驾驶数据集推动商用和学术研究, 打造多维度产业生态。
四是硬件厂商以芯片设计、整机集成为切入点,加速构建软硬协同产业生态。 英伟达、英特尔、华为、浪潮等芯片、设备厂商围绕其芯片和计算设备积极丰富性能库、编译器、编程框架、编程工具等配套软件,通过多样化方式壮大开发者社区及产业合作伙伴规模,力图构建软硬协同的产业生态体系。
四、 我国人工智能发展重点与机遇1、 十三五期间我国总体发展情况
发展人工智能是党中央、国务院准确把握新一轮科技革命和产业变革发展大势,是为抢抓人工智能发展的重大战略机遇,构筑我国人工智能发展的先发优势,加快建设创新型国家和世界科技强国,所做出的重大战略决策部署。十三五以来,我国人工智能产业发展迅猛,政策环境持续优化,创新能力不断提升,产业规模进一步壮大,融合应用逐步深入,特别是新冠疫情防控期间, 人工智能技术产品形成“智能抗疫军团”,有力支撑了我国疫情防控和复工复产。
1)、人工智能政策环境持续优化。 我国人工智能发展进入快车道,自 2015 年 7 月国务院出台的《关于积极推进“互联网+”行动的指导意见》首次将人工智能纳入重点任务之一,至 2017 年 7 月国务院印发《新一代人工智能发展规划》将其上升至国家战略,人工智能发展政策环境不断完善。截至 2020年,党中央、国务院及各部门出台人工智能相关政策 10 余项,连续4 年将人工智能写入政府工作报告,如工信部、教育部相继出台《促进新一代人工智能产业发展三年行动计划( 2018-2020 年)》、《高等学校人工智能创新行动计划》等多项政策文件,为我国人工智能发展营造了良好的发展环境,各地方超过 20 个省市自治区相继出台人工智能专项规划 60 余项。
2)、 人工智能技术创新能力持续提升。 我国企业在应用算法、专用芯片、开源开放平台、智能传感等核心关键技术上已取得局部突破,其中寒武纪、地平线、思必驰等神经网络芯片实现量产并在安防、汽车、语音领域实现规模化应用;百度、阿里、华为、腾讯、旷视、科大讯飞、第四范式、京东等一批AI 开放平台初步具备支撑产业快速发展的能力,其中百度 AI 开放平台已超 260 万开发者。部分关键应用技术居世界先进水平,特别是视频图像识别、语音识别等技术全球相对领先。人工智能论文总量、高倍引用的论文数量和发明专利授权量,处在第一梯队。
3)、 人工智能产业规模不断发展壮大。 产业生态基本形成,产业整体实力显著增强。截至 2020 年,我国人工智能产业规模、核心企业数量,包括独角兽企业数量均仅次于美国,位居全球第二位,覆盖技术平台、产品应用等多环节,基本建立了比较完备的产业链。人工智能芯片、智能语音、计算机视觉等创新产品不断涌现,医疗影像、智能语音、智能翻译、自动驾驶等产品已达国际先进水平,智能安防、 消费无人机等领域具备全球竞争优势。人工智能产业初步形成京津冀、长三角、粤港澳、成渝等地区集聚发展、协同推进格局。
4)、 人工智能行业融合应用不断深入。 我国人工智能产业发展不断深入,与一、二、三产业融合成效初显,正在从部分先导领域如医疗、交通、教育等服务领域向制造业、农业等产业领域拓展;智能金融、智能医疗、智能安防、智能交通等领域已经成为企业加速人工智能技术产业化落地的热点应用场景,智能化新产品、新业态、新模式不断涌现。新冠疫情防控期间,人工智能技术加速在医疗、应急、教育、制造等领域普及应用,一批人工智能 CT 影像辅助诊断设备、智能测温+识别系统、智能机器人等抗疫产品,形成“智能抗疫军团”,支撑疫情防控和复工复产成效显著。
5)、 积极探索人工智能伦理和治理实践。 我国政府高度重视人工智能伦理道德问题,积极构建有利于人工智能健康有序发展的体制机制。为进一步加强人工智能相关法律、伦理、标准和社会问题研究,新一代人工智能发展规划推进办公室成立新一代人工智能治理专业委员会, 2019 年 6 月发布《新一代人工智能治理原则——发展负责任的人工智能》,提出人工智能治理框架和行动指南,强调和谐友好、公平公正、包容共享等八条原则。
与此同时, 2019 年全国人大常委会已将一些与人工智能密切相关的立法项目列入立法规划, 例如数字安全法、个人信息保护法和修改科学技术进步法等。在工业和信息化部等相关部委指导下,中国人工智能产业发展联盟(简称: AIIA)发布了《人工智能行业自律公约》,引导企业加强人工智能伦理自律探索。 各地地方积极探索人工智能治理实践,在制定人工智能相关政策中,支持人工智能伦理治理、法律法规等相关研究探索,《人工智能北京共识》、 《人工智能创新治理上海宣言》、《世界人工智能法治蓝皮书》等成果相继发布。当前,产业界和学术界协同推进,腾讯、百度、旷视等企业纷纷践行人工智能伦理原则,设立管理机构;全国多个高校、研究机构等开展人工智能伦理治理、法律法规等方面的研究,如 2020 年 6 月,清华大学成立了人工智能国际治理研究院。
2、 十四五期间我国发展方向与机遇
1)、 加快 AI 基础原创技术的创新突破,打造融合创新生态系统。 我国人工智能技术创新处于前所未有的活跃期。 当前,我国专利申请的活跃度与论文产出规模已位于全球前列,专利申请总量达 30.1万件,占全球总量的 39%,是美国的两倍以上; 近 10 年论文产出总量超过 18 万篇, 2019 年论文规模是美国的近 1.5 倍。同时,我国视觉、语音等智能任务全球比赛的参与度和入榜率极高,多次在对话式问答、阅读理解、 人脸识别等全球比赛中刷新智能任务的 SOTA13模型准确率。 我国发起的全球性比赛规模不断扩大, iFLYTEK A.I.开发者大赛 2020 年参与团队达 9000 余支,腾讯广告算法大赛参与人次达万余名。
2)、 将人工智能技术体系中的基础理论、 原创及优化技术和共性应用技术, 依据创新程度和突破难度从高至低划分为颠覆、阶跃、创新优化和工程实现等四个发展层级。目前, 我国在创新优化和工程实现技术方面有一定优势,但颠覆型、阶跃型技术仍非常缺乏引领作用。
技术体系按创新程度和突破难度分级
我国基础理论、原创模型等颠覆型、阶跃型技术仍缺乏引领能力。反向传播、人工神经网络等深度学习基础理论,以及知识工程、计算神经科学等其他分支的基础理论基本由他国引领,相关的统计学、认知科学等底层近现代学科早期创始人、重大贡献者鲜有我国学者身影。在本次浪潮之中,我国虽已涌现一批具有全球影响力的学者,在图像识别、机器翻译等领域不断发声;但深度学习理论体系、新型学习方式等颠覆技术主导权几乎被全球几位巨头掌握; 卷积神经网络、循环神经网络、生成对抗网络等阶跃型算法技术多数在原始创造团队 各分支中产生,延续性较强; 人工智能颠覆、阶跃技术的发展几乎是寡头垄断的格局。
仔细分析全球人工智能前沿技术的发展, Yoshua Bengio、 Geoffrey Hinton 等巨头在 AAAI、 ICLR 等全球人工智能会议上的观点常引起全球学者追随,引领新热点方向发展。如, 2020年 Yann LeCun、 Geoffrey Hinton 等学者提出自监督学习是走向通用智能的路径之一,引发自监督学习热潮, CPVR 2020、 ICLR 2020 会议收录的自监督学习论文数量较去年增长近一倍,计算机专业权威论文检索平台 dblp 2020 年收录的相关论文数量接近历年总和。
目前,我国已开始加强对人工智能基础理论,甚至更底层基础学科的建设发展,且取得一定成果,如,北京大学在随机梯度下降法中的噪声作用研究中取得进展,从理论上解释了噪声的正则化原理;南京大学提出不依赖反向传播的深度学习模型深度森林( Deep Forest),探索神经网络之外的深度学习发展路径; 但总体来看,我国距离引领颠覆型、阶跃型技术仍差距较大。
我国视觉、语音等基础智能任务的工程实现水平全球领先,算法模型的二次创新优化能力也非常突出。 我国人工智能算法技术的发展着重于对业内主流算法模型的吸收改造与产业化应用,一方面, 我国拥有一批追求算法技术极致优化的人工智能企业,如旷视研发的ShuffleNet 模型具有轻量级 CNN 模型结构, 在计算复杂度相同情况下,相比其他模型可编码更多信息, 人脸解锁时间小于 0.1 秒。 百度推出的 ERNIE 模型是基于 Bert 的预训练思想,支持词汇、语法、语义三个层次的预训练任务,可获得更多的潜在语义信息,在中文任务上已超越原 Bert 模型水平。
另一方面, 我国在视觉、语音、自然语言处理等多类基础任务的全球比赛中位列前位已成常态。 人工智能领域的比赛加速升级,从粗粒度图像识别、目标检测、段落语义理解等较为简单的任务向人体关键点识别、推理理解等复杂任务转变。
目前,我国企业在多个全球权威比赛中成绩显著,不断挑战更为复杂的任务。商汤、旷视、依图、腾讯等企业在细粒度图像识别、自动驾驶场景定位及追踪、行人重识别( ReID)、 人体视频解析等复杂任务上位列各类比赛榜单首位,哈工大讯飞联合实验室在推理阅读理解评测任务( HotpotQA)全维基赛道中获得第一,百度提出面向端到端问答的检索模型 RocketQA 刷新微软 MS MARCO( 微软机器阅读理解) 段落排序任务的榜单。
在上述背景下,我国人工智能技术的发展亟需围绕三个方向进行布局:
一是进一步构建人工智能基础理论与应用技术相结合的学科体系。 当前我国多个高校已着手布局人工智能学科建设,多以“人工智能+”为主线,着重应用学科的发展。然而,相较于应用技术,人工智能的基础理论是我国下一时期提升人工智能颠覆性创新话语权的关键,但其学术周期更长,取得成效更缓,难以一蹴而就,需要完备的综合型学科体系作为支撑。因此,基础理论与应用并重的学科体系建设成为“颠覆型技术”取得突破的关键。
二是重点布局一批企业级人工智能研究院。 全球人工智能技术研究在产、 学两界的分界线愈加模糊,由高校和企业合作完成的创新优化型和阶跃型技术突破不断增多,企业级人工智能研究院的重要性正在逐步显现。从全球来看, 高校教授成为企业和高校间的特殊纽带,如, “深度学习之父”Hinton 在多伦多大学担任教授,同时受聘为谷歌大脑人工智能团队首席科学家;纽约大学终身教授 Yann LeCun,同时担任脸书人工智能研究室(FAIR)主任。
纵观我国人工智能人才培育的历史, 企业级研究院对于我国早期人工智能人才的培育贡献显著, 微软等头部科技企业的企业级研究院培养一批诸如孙剑、杨帆、曹旭东等领军人才, 在离开研究院后分别创立或加入我国旷视、商汤、Momenta 等人工智能创新企业,带动我国早期人工智能技术产业的发展。 这种具有前瞻性的企业级研究院对中短期能够应用落地的创新优化型、阶跃型技术具有重要引领作用。
三是打造区域人工智能技术融合创新生态系统。 建立以政府主导区域技术融合创新系统, 将链状创新链“基础研究-应用研究-试验开发”升级为连通企业、高校、研究院所、政府等创新主体的共同体生态;围绕区域特色优势,在生态之上建立针对不同细分领域的技术专攻实验室,有机整合各类要素、多元主体、异质产业群等,形成区域技术创新生态系统。
当前,全球已有部分国家率先开展该类载体建设, 荷兰人工智能创新机构( ICAI), 已联合 43 家合作伙伴建立16 家基础研究、行业应用等类型的高校–企业实验室,联合多方进行技术成果的转化落地;美国计划在未来五年内投资 7.65 亿美元,用于数十个由联邦政府、 工业界和学术界联合建立的人工智能( AI)和量子信息科学( QIS)科学中心发展,进一步完善其人工智能技术创新生态系统。
2)、 协同发展 AI 基础核心生态,加快构建一批行业智能软件平台。 我国已基本形成智能计算、数据服务、开源开发框架、核心平台和关键应用的全产业链布局。目前,我国已形成以少数领军企业为中心,一批科技企业加速跟进,大批创业型企业不断涌现的产业发展格局,人工智能企业数量占全球比接近 25%,初步形成国内大循环的发展基础。
一方面,我国在数据和关键应用环节具备一定国际竞争力,已形成数据采集、清洗、标注、交易等较为完整的数据支撑体系, 计算机视觉、自然语言处理等智能应用技术水平位居全球前列,并在公共安全、零售、交通、医疗等多个行业进行规模或试点应用;另一方面,在硬件芯片、开源开发框架等基础核心环节,我国已涌现出寒武纪、地平线等新兴智能芯片企业,并拥有百度飞桨( PaddlePaddle)、华为 Mindspore、旷视天元等开源开发框架,持续完善硬件芯片与软件框架的基础生态体系。
充分利用我国大市场与产业链完备的发展优势,补强智能计算、 开发框架的基础生态。
从全球来看,开源开发框架的第一次洗牌已到尾声,谷歌、脸书等头部企业的开发框架体系基本确立,市场份额和社区生态已远超其他框架,我国框架以一己之身突围难度很大。同时,受制于我国集成电路较全球起步晚的历史背景,英伟达、英特尔等芯片大厂已在工艺制程、芯片架构、软件生态等方面有数十年积累;智能计算时期,芯片头部企业针对人工智能任务需求加速优化芯片架构、完善软件工具、适配多样的开发框架,构筑庞大的生态体系不断提高行业壁垒,导致其他初创智能芯片企业一时间难以切入市场进行规模应用。
目前,我国虽涌现出一批智能芯片企业,同时也在研发框架方面有所布局,但两类基础生态构建所面对的形势仍然非常严峻。因此, 深度聚焦本土市场的需求持续、 快速创新,驱动我国智能芯片生态和开发框架生态的协同、融合发展,形成合力占领国内市场份额,成为补强两类基础生态的关键方向。
凭借国内智能应用先行落地的时间优势,沉淀一批行业智能核心软件平台,同时提升我国在传统行业产业链中的地位。 应用创新活跃是我国自互联网时代至今的长期发展优势,目前我国已在多个领域形成全球智能应用的引领作用,并持续推进人工智能应用先导区的建设,不断挖掘新的应用场景,沉淀行业数据和算法模型;如,百度自动驾驶开放平台 Apollo 与包括宝马、戴姆勒、一汽等在内的全球上百家车企达成合作;依图科技 care.ai 智能医疗解决方案已在全国200 余家机构落地,并在欧洲、南美、中东、东南亚等海外区域推广应用。
在先行试点、应用创新、行业数据、行业算法模型均有一定优势的背景下,我国的发展方向应是深度渗透到关键行业的产业链中,沉淀一批面向行业的基础核心智能软件平台,以行业软件平台为核心构筑应用生态,替代或增强原有产业链条中的软件环节,甚至提升在传统产业链中的影响作用,转变过去仅在应用模式上创新的痛点,驱动我国关键行业产业结构向高附加值方向转变。
3)、 产业轴心从前沿技术向行业应用转变带来区域化发展机遇。 当前,人工智能已从聚焦智能技术发展向各行业应用落地的阶段转变,这将代表着人工智能产业不再仅是北京、上海、深圳等顶尖人才集聚区域的聚焦重点,也为具有特色传统产业优势的区域带来发展机会,我国人工智能产业有望形成各具产业应用特色的区域化发展格局。究其原因, 一是产业发展阶段所驱使的, 人工智能产业虽是技术密集型产业,但由于其强赋能特点,与行业场景的深度结合是产业发展非常关键的一步。
当前,人工智能产业重心已从智能技术向行业融合应用转变,使得具有传统行业应用场景、行业知识的更多区域具备发展人工智能的条件和机会。这些区域拥有人工智能技术落地的试验田,从而吸引智能应用企业集聚发展; 二是企业发展周期所驱使, 本轮人工智能产业的泡沫逐步破裂,企业面临从早期靠愿景融资到靠应用变现融资的发展阶段,应用落地成为人工智能企业这一时期的聚焦重点,因此也驱使企业寻找更合适的区域进行落地发展。 可以预计,未来我国更多的区域将会迎来人工智能产业发展的窗口期, 逐步形成各具产业特色的区域化发展格局。
打造分领域分区域的人工智能产业创新中心。 当前,科技部和工信部均部署了产业创新的试点,截止至 2021 年 3 月底,科技部颁布15 个新一代人工智能创新发展试验区,工信部设立 8 个人工智能应用先导示范区,推动人工智能产业区域化、特色化发展步伐不断加快。在此背景下,我国应打造一批分领域、分区域的人工智能产业创新中心,构建纵向垂直一体化的、产业链与创新链合一的产业发展平台, 助力我国人工智能关键核心产业从技术路线、适配标准、生态构建、应用推广等方面的协同创新发展,加速形成金融、制造、能源、医疗、灾害应急、农业、生态环保等领域的应用创新体系,助力区域人工智能产业特色化、深入化、规模化发展。
4)、 加快人工智能和各产业深度融合,打造人工智能产业集群。结合各地区产业基础和资源禀赋,引导各地先行先试,不断汇聚力量、理念、方向,抓住几个亮点,在全国范围内形成标杆和规模效应。培育更多人工智能领军企业,引导相关行业的龙头企业加速智能化改造步伐。推动开展一批重点领域融合创新工程,培育一批标志性人工智能技术产品,提升重点领域人工智能产品智能化水平。 加快推动人工智能与工业、交通、医疗、农业、能源、应急安全等领域深度融合,推动人工智能在智能制造、智能医疗、智慧城市、智能农业等领域得到广泛应用。 发展一批人工智能产业园,按应用领域分门别类进行相关产业布局,培育建设人工智能产业创新集群。
5)、 深化国际合作,主动融入全球人工智能治理框架。 加强人工智能伦理治理研究力量, 促进形成更多更加开放、有国内外影响力的交流合作平台组织,推动国内伦理治理规则共识、中国方案的形成,把引导和规范人工智能发展不断推向深入。 强化人工智能标准体系建设, 推动形成“国家标准顶层架构引导,行业和团体标准指导,国际标准协同推进”的良好局面。 坚持全球化道路,坚持国际视野和全球思维, 以开放心态应对全球竞争,搭建全球化服务平台,促进国际交流,吸引全球创新要素资源参与我国人工智能技术及产业发展,同时鼓励中国人工智能企业加大“走出去”力度;充分利用“一带一路”倡议、 G20 等双/多边合作机制,主动融入全球人工智能治理体系,积极推动企业、联盟、行业组织等机构的更多专家参与全球人工智能规则制定,强化在国际标准组织中的协作,为全球人工智能发展贡献中国智慧。
智东西认为,近两年,人工智能的技术应用开始全面覆盖日常生活、 科学研究、社会治理、商业创新和国家安全等经济社会的关键领域, 以空前的广度和深度推动社会发展。但同时,相关资本的减速也是最近的一个很明显的现象。但是,这种降速不一定是一件坏事,这是一个挤掉泡沫,让行业回归理性的过程,在十四五期间,经历筛选后生存下来的企业必将是有自己的核心竞争力,能够走出国门的优秀AI玩家。
标签: #vgg和googlenet