随着车端算力的快速提升，更多传感器的搭载，基于计算+多感知的舱内人机交互赛道，正在成为新的市场风口。

高工智能汽车研究院监测数据显示，2022年中国市场（不含进出口）乘用车同时标配信息娱乐中控、语音、Face ID（含DMS、OMS）交付183.90万辆，前装搭载率为9.23%；今年1-4月，交付79.37万辆，前装搭载率升至14.03%。

目前，行业内对于多模态座舱交互的定义是，支持多摄像头以及多传感器的接入，实现基于人工智能的交互功能，实现视觉、语音等多模态融合识别以及音视频实时传输。背后，是行业从过去聚焦智能语音交互、多屏互动升级至多模态交互。

首先，在芯片端，除了高通，地平线也在不断强化车载智能交互解决方案，包括支持降噪唤醒、多音区检测、多模语音、视线追踪、疲劳分级、情绪识别等多种核心算法。

比如，Horizon Halo® 3.0方案基于地平线征程® 3打造的高性能车载智能交互解决方案，多达6路摄像头的接入能力，为前后排用户，提供包括DMS、人脸检测、行为检测、手势识别、儿童行为检测、多模语音交互等功能在内的整套AI解决方案。

而在今年，芯擎科技首发量产的7nm座舱SoC龍鹰一号，也通过集成图像处理器ISP和视频处理器，支持360度环视、泊车、辅助驾驶、DMS等多种车载应用。同时，DSP核心能够结合语音AI引擎提供多模态语音、图像、语义理解、翻译、声纹识别等智能语音应用。

此外，提供30TOPS AI算力的高通8295，除了AI算法本地化、响应速度提升，进一步支撑智能座舱的持续学习与训练，在视觉感知、声纹识别、唇语捕捉等多模态融合的“类人”交互能力赋予更多的可能性。

在传感器部分，除了麦克风、摄像头，还有毫米波雷达、超声波传感器支持的舱内生命体征监测功能。其中，在摄像头部分，2022年交付新车搭载舱内摄像头达到308.12万颗。

目前，语音交互功能配置基数较大（2022年中国市场乘用车前装标配车载语音识别及交互功能搭载率已经超过70%），而增速已经明显放缓，一些供应商正在延伸布局视觉交互赛道。

以科大讯飞为例，作为国内头部车载语音方案提供商，2022年实现业务收入4.65亿元，同比仅增长3.56%。按照2022年度710万套的前装出货量，单价仅为60元左右。

目前，科大讯飞正在推动“听、说、看、显”全链路技术升级，构建了完整的多模态体系，能够实现车辆可在上车-行驶-下车的整个用车周期中，对语音、图像、活体等多种信息的融合处理。

反过来，结合视频信息的输入，可以利用多模态之间的信息互补，来进行主说话人语音信息的提取。同时，显著提升复杂场景下的语音识别效果。

目前，国内一线车企也在加强从语音智能处理（多引擎融合）到多模态交互的技术储备，涉及语音交互、视觉感知、视线交互、手势交互等业务的产品规划、设计及迭代。

此外，作为全球车载语音交互系统领军企业的赛轮思，也在2021年正式推出了Cerence Co-Pilot，开创主动式、多模态车载交互体验。这套方案通过人工智能和持续学习，可以准确感知驾驶者的需求，赋能车载助理采取主动，突破了传统基于唤醒词的被动式交互。

作为一个虚拟副驾驶，Cerence Co-Pilot可以分析融合语音、视线、手势和触摸及来自其他汽车传感器的信息，同时灵活而安全地结合边缘技术与云服务。

此外，Cerence Assistant（语音识别、自然语言理解和TTS功能），也已经与英伟达合作，提供多模态交互功能，结合NVIDIA DRIVE IX的手势和视线跟踪技术。

而舱内配置毫米波雷达、超声波传感器则处于新增量周期。

比如，去年开始，智华科技最新一代智能座舱监测系统（IMS，提供超感交互等功能）在广汽传祺旗下多款车型实现量产交付。这套系统搭载了1颗200万像素DMS摄像头+1颗前排OMS摄像头+2颗后排OMS摄像头+1颗生命体监测雷达。

而，为升科（CubTEK）作为乘用车毫米波雷达前装赛道国内供应商，舱内毫米波雷达已经在国内车企（比如，广汽）量产供货。 在该公司看来，伴随着相关法规的陆续推进，搭载舱内生命探测雷达的新车数量将大幅增长。

例如，Euro NCAP从2022年开始，将儿童车内遗留检测（Child Presence Detection）功能纳入评分系统。该功能负责检测出独自留在车内的儿童，并向车主或紧急服务部门发出警报，以避免儿童中暑死亡。

高工智能汽车研究院监测数据显示，2022年中国市场（不含进出口）乘用车前装标配舱内毫米波雷达超过10万颗，今年1-4月完成交付5.29万颗。

此外，作为国内第一家进入汽车前装市场的超声波传感器国产品牌，奥迪威的车载传感器产品已经过4次迭代，向高度集成化、智能化、小型化方向发展。而对于CPD功能场景，奥迪威推出了MEMS超声波传感器。

与传统压电陶瓷超声波传感器对比，MEMS超声波传感器采用低电压的驱动信号就能得到极高信噪比的超声波信号，降低了系统设计复杂度，并进一步提高测量准确性。

同时，CPD检测通常是在车辆断电场景下开启，超声波传感器的超低功耗以及低电流要求，以及MEMS方案带来的更广的感应范围、更小的尺寸和隐藏式安装等等优势，更为突出。

在高工智能汽车研究院看来，除了芯片和传感器，座舱多模态交互赛道将打破过去语音、视觉、信息娱乐等多供应商并行的市场形态，一些有实力的Tier1将成为「新」主角。

比如，去年，基于高通骁龙8155车载芯片平台，博泰车联网为岚图梦想家提供的智能座舱方案，不仅支持仪表屏和中控屏等多屏互动，还提供了包括触屏手势、隔空手势识别、人脸识别、声纹识别以及智能语音等多种方式的多模态交互功能。

在一些企业看来，Tier1整合的目的非常明确：基于不同传感器和算法的全栈解决方案，对于下游OEM来说，可以大幅缩短方案上车时间，降低多供应商的风险和不必要的成本支出。

同时，前装市场的加速导入，也在给一些供应商，尤其是纯软件方案供应商带来风险。从目前整个市场的渗透率来看，尽管增速处于高位，但纯软方案的价值要远低于软硬一体方案，尽管前者在短期内拥有更高的毛利率。

一方面，纯算法方案，价格也是参差不齐，不同的功能模块，从几十到几百不等。而软件模块的高效集成，同样是一个考验；另一方面，传统单一功能方案商面临被边缘化的风险，随着域控制器大规模上车，人机交互的产品形态也面临新的融合集成机会。