万物识别RAM：最强图像识别模型，Zero-Shot超越有监督

将门创投 09-03 379

前言：

当前姐妹们对“语义分析工具有哪些”大概比较注重，各位老铁们都需要学习一些“语义分析工具有哪些”的相关知识。那么小编同时在网摘上网罗了一些有关“语义分析工具有哪些””的相关内容，希望朋友们能喜欢，姐妹们快快来学习一下吧！

大语言模型（Large Language Models）已经给自然语言处理（NLP）领域带来了新的革命。在计算机视觉（CV）领域，Facebook近期推出的Segment Anything Model（SAM）工作，在视觉定位（Localization）任务上取得了令人振奋的结果。然而SAM作为一个极致的定位大模型，并没有识别（Recognition）能力，而识别是与定位同等重要的CV基础任务。现有的开放式检测、分割任务尝试同时做好识别和定位，却在两个任务上都不能达到极致。

我们推出视觉感知大模型Recognize Anything Model（RAM），提供最强的图像识别能力，RAM为图像识别领域提供了一种新的范式，使用海量无需人工标注的网络数据，可以训练出泛化能力强大的通用模型，甚至在垂域下可以超越人工标注训练的有监督模型。

项目地址：

一、RAM的优势

能力强且通用：RAM可识别任意常见类别，支持中英文，精度上其Zero-Shot能力超越了有监督模型，高于CLIP/BLIP等经典多模态模型20+点，并可对标甚至超越Google的商用API；

可复现且成本低：RAM完全基于开源数据训练，通过自动化的数据引擎获取了上亿级无须人工标注的高质量图像标签，RAM的基础版本模型只需八卡训练1天，最强版本也仅需八卡训练3天；

灵活且用途广：RAM可以直接用在不同的视觉语义理解场景，也可以与定位大模型（如Grounded-SAM）组合，实现一套超强的视觉语义分析工具。

二、RAM的创新点

RAM在算法和数据上相比之前工作均有较大创新：

算法层面：充分利用Transformer架构的灵活性，创新性地将多标签识别（Tagging）和看图说话（Captioning）两个任务有机联合，Caption扩展了Tagging的识别范围，而Tagging则可以辅助Caption实现可控的句子生成。并且通过固定的文本编码器在Tagging实现了Open-Set标签类别的能力。

数据层面：

构建了一套横跨学术（分类、检测、分割）和商业化产品的通用视觉语义标签体系；

充分利用网络上的海量的图文对数据，而非少量的人工标注数据；

搭建了一套全自动化的数据引擎，源源不断的标注清洗网络上的海量图片，最终获取了上亿级高质量、有价值的图像标签。

RAM可以以较高的准确率自动识别超过6400类的图像标签，横跨学术数据集和商业化产品，并根据其Open-Set能力覆盖任意标签类别：

三、总结与展望

RAM在视觉识别领域展现了一个通用模型泛化到不同场景下的巨大潜力。RAM仍然有很大的提升空间，比如：

在一些稀有类别、细粒度分类任务上表现一般；

采用开源数据训练可能在有个别数据上出现偏见现象等。

但我们坚信，大模型时代已经到来，视觉任务的统一是大势所趋，希望RAM能推进大模型在视觉领域的发展。

作者：@Coler @信遇的key本文来源：公众号【Smarter】

Illustration by unDraw

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（）。社区上线480+期talk视频，2400+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

chenhongyuan@thejiangmen.com

或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

>>> 添加小编微信！

关于我“门”▼将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门技术社群以及TechBeat人工智能社区。公司致力干通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。