出行洞察：智能座舱中的情绪识别

机器识别人类情绪这一概念在90年代被提出后，相关研究一直层出不穷。随着各行业对人工智能与大数据技术的追逐热捧，AI情绪识别算法又重新出现在资本的视野中。随着国内情绪识别技术的发展，多模态融合的发展路径已成为行业的普遍认同，通过对感知端对人体数据进行收集并融合，使AI能够“感知”人体体征并通过算法进行“情绪理解”。对于专注于情绪识别技术的企业来说，量产落地的关键因素不光是多模算法模型的完善，也取决于干预手段、误判措施以及功能联动来帮助客户补全产品的服务闭环，从而也能撕下“伪需求”的标签。

// 市场背景

1995年美国麻省理工学院媒体实验室的 Rosalind W. Picard教授首先提出，通过识别人体的情感信号，来创建一种 能够感知、识别和理解人的情感，并且能够做出智能、灵敏和友好反应的计算机系统。在Picard教授专著的《Affective Computing》中指出，“情感计算是针对人类的外在表现，能够进行测量和分析，并能对情感施加影响的计算”，开辟了计算机科学的新领域。情感计算由此发端。

根据Mendor Intelligence的预测，2019年情绪检测与识别（EDR）市场价值为171.9亿美元，到2020年，全球情感计算市场预计将增长到425亿美元以上，预计到2025年将达到454.8亿美元，预测期内（2020-2025年）年均复合增长率为18.01%。

按照市场价值，情绪识别的市场规模以应用场景来估算预计将超过千亿，其中安防、车载、医疗市场赶超百亿量级。

安防（占比22%）：在公安审讯领域，根据公安部数据，截至2019年底，我国共有48518个派出所，全国共约有15万个审讯室。以每3个审讯室配备一套多模态情绪分析系统来估算，公安审讯的市场规模约为200亿元。

汽车行业（占比31%）：奥迪、宝马、奔驰、沃尔沃、丰田等车厂以及高通等通信公司都在研发该类技术。其中，奥迪的无线充电技术方案主要针对传输过程中效率流失的问题；宝马与奔驰合作研发的无线充电技术已经应用到了宝马i8车系上；沃尔沃也已经完成了电动汽车车载无线充电系统测试。

心理健康（占比33%）：包括与可穿戴设备和教育中使用的心理健康诊断以及自主心理健康咨询服务。

// 驱动因素

消费端：数据表示目前市面上大多数智能产品都无法达到用户对“智能”的预期。对于C端客户来说，他们需要更个性化、针对化、客制化的产品与技术来实时与之交互。

政企端：以交通行业为例，在数字化背景下，对于用户数据的采集应用以及对于行驶安全监管的需求正在增长。公安部交管局统计数据显示，因“路怒症”引发的道路交通事故起数呈逐年上升趋势，2013年共导致事故8.02万起，上升4.9%，2014年又上升2.4%，2015年1-4月份再上升3.7%。中国司机心理障碍的发生率较高，达到59．8％。其中，长途汽车司机心理障碍发生率高达80％，私家车主则为44．4％。“问题司机”的各类心理症状主要包括“偏执状态”“强迫观念”“躯干化障碍”“人际关系敏感”等等。

细分领域按照功能需求分类

车载细分领域市场驱动

底层硬件前装量的爆发：DMS市场已进入增长阶段，对多模态情感识别算法在车上搭载利好。

DMS一般分为主动式DMS和被动式DMS。主动式DMS系统基于摄像头和近红外技术对眼睑闭合、眨眼、凝视方向、打哈欠和头部运动、心率、体表温度等人体行为与生物特征进行检测。根据高工智能汽车研究院监测数据显示，2020年1-9月国内自主及合资品牌前装搭载视觉DMS系统上险量为6.42万辆，和2019年同期相比，2020年1-9月前装搭载视觉DMS系统上险量同比增长超过150%。前装标配搭载视觉DMS车型19款。DMS的增长也为情绪识别算法上车提供了硬件技术与数据来源。

技术驱动判断：高技术驱动行业

核心技术对情绪识别产品的影响：大

排除技术层面上情感计算的算法模型带来的side-product，整体模型的精准程度是衡量产品是否可靠的唯一标准，因此可判断底层的AI算法是情感识别产品的核心；但是，由此带来的问题是对于精准度的判断依据和核实方法的标准度和可靠性：即个体是否能精准“命名”自身的“情绪”。

同时，情感计算的发展受市场偏好与行业政策风向的影响已成为一个必然的技术趋势。然而有两大瓶颈也是在发展道路上不可避免需要解决：多模态的融合算法搭建与感知层的技术路径。

感知难点：取决于需要用于计算的信息来决定感知层的硬件难度。由于现在行业更加追求无感检测，最常见的如麦克风、摄像头，其他感知硬件如接触式感知设备则不被看好，因此如何在无感条件下实现多种信息的感知与获取成为一大难点。

多模融合难点：如上文所说，信息之间怎样关联，对模态之间的融合和权重配比是非常困难的。算法的情绪识别精确程度取决于数据信号的质量与融合算法上的突破。

// 市场进入壁垒

情绪识别行业整体来说市场进入壁垒较高。模型的搭建优化、数据来源以及面对安防政企端的产品应用都意味着行业需要大量的前期投入与渠道铺设。

// 技术迭代分析：从单模态的情绪识别逐渐衍生到多模态融合识别策略

在单模态情绪识别领域，单模态信息易受各种噪声的影响，难以完整地反映情绪状态。高效的模态融合能极大地提高情绪识别系统的健壮性。利用不同类别的信号相互支持，对互补信息进行融合处理，能够有效地提高最终的识别效果。根据目前已有的研究，模态融合的方式大致可分为 4 种，分别是数据级融合 (传感层融合)、特征级融合、决策级融合、模型层融合。

数据级融合，又称传感器层融合。数据级融合是直接对各个传感器采集到的最原始的、没有经过特殊处理的数据进行组合，从而构造一组新的数据。

特征级融合是将多种模态数据经过提取、构建成相应的模态特征之后，再拼接成一个集成各个模态特征的特征集。

决策级融合是找出各个模态的可信度，再进行协调、联合决策。决策级融合与特征级融合相比，更容易进行，但关键是要探究各个模态对情绪识别的重要度。

模型级融合可以将不同模态特征分别输入到不同模型结构再进行进一步特征提取，目前的模型级融合主要采取的策略是通过构建深度网络模型，建立多层结构，逐层学习可以学习到更加复杂的变换，从而可以拟合更加复杂的特征，增加非线性表达能力。

// 国内情绪识别行业初创公司现状（以书面注明拥有情绪识别的功能产品判断）

主要数据来源以人脸和声音为主：采访了解到的12家公司中情感识别的算法是基于人的面部表情或行为进行识别（54%），其次是对语言内容的理解和分析（38%）。

应用场景以安防为主：目前主要的应用场景是在安防（54%）和智能客服（40%）两个方面落地最多。其中安防领域初创公司的以图像识别公司为主，智能客服领域以NLP公司为主。

国内情绪识别行业起步较晚集中在2014-2016年：晚于海外情绪识别算法约10年的时间，国内情绪识别算法公司多成立于2014年之后，也是由于2014年后我国人脸识别和NLP技术才开始在专业领域进行商业化落地如安防、楼宇、物管等。

// 初创公司初步分析对比

第一梯队代表：旷世、商汤、地平线、未动科技、竹间智能

• 多为以成熟的人脸识别或语言分析技术为起点在已确定的应用场景之上向情感分析领域拓展的科技公司为主

• 融资轮次集中在C轮以上，单轮融资金额过亿

• 在国内市场已有大规模应用与成熟的客户群体

• 大部分服务于安防、政企、交通行业

• 汽车方向，竹间智能有单独的汽车座舱情绪识别方案，商汤则侧重于自动驾驶图像分析，地平线与未动科技则侧重于提供DMS视觉算法解决方案

第二梯队代表：科思创动、阿尔法鹰眼、翼开科技、云思创动、想象科技

• 轮次集中在A轮左右，单轮融资金额在千万量级

• 大部分公司选择直接从情绪识别赛道入手再落地具体场景拓展：如想象科技选择在声纹识别情绪技术的基础上选择切入座舱健康与医疗心理健康场景

• 2005 年开始，以AlchemyAPI为代表的情感识别算法公司开始大量涌现。

• 其中，AlchemyAPI（美国丹佛，2005）以文本情感算法为主要方向在2015年被IBM收购

• 研究计算机图像情绪识别的Realeyes（英国,2007）在2019年获得1620万美元的战略融资

• 主攻车舱场景的情绪识别Affectiva（美国，2009）连续获得千万美元投资并在2019年获得自动驾驶算法公司Aptiv2600万美元B轮投资。

• 主要利用人工智能技术通过对面部表情的分析的Emotient（美国）在2016年被苹果收购

目前，多模态情绪识别的研究主要集中于以下几个层面：基于多种外在行为表现模态、基于多种神经生理模态、基于神经生理状态和行为潜意识行为。

情书模态数据包括：行为模态（肢体动作、语言、表情、眼球）与生理模态（神经生理电、呼吸心率）

// 车载应用案例

• 捷豹路虎研发的情绪探测及舒缓系统能够辨识人类面部表情的细微差别，并自动调节和优化车内环境，同时，系统对驾驶者的偏好进行深度学习，进而为用户提供更加个性化的环境设置。

  
  

• 技术路径：视觉识别&生物识别

  
  

• 干预手段：环境变化

  当系统探测到驾驶者的紧张情绪，环境照明将转变为镇静色，以舒缓压力;当系统探测到驾驶者的疲惫状态，车载媒体将播放驾驶者最喜欢的歌曲，以恢复精神;当系统探测到驾驶者的困倦迹象，如打哈欠，空调温度将随之降低，以保持清醒。（图片来源：捷豹路虎宣传片）

• 技术路径：摄像头视觉识别

  
  

• 干预手段：能够根据驾驶员进入车舱时做出的不同表情进行视觉识别，并播放相应情绪场景的歌曲或提示。

  座舱搭载了第三代高通SA8155芯片，与车内虚拟助理、VIMS面部识别等功能进行联动

  
  

• 同时，OMS系统会针对后排乘客采用B柱上的毫米波雷达对生命体征进行检测。（图片来源：长安官网）

• 技术路径：面部表情识别

  
  

• 干预手段：环境变化

1. 主动情绪识别系统会通过驾驶侧A柱上的摄像头来识别驾驶员的面部表情，从而判断驾驶员的情绪，比如高兴、生气、惊讶，并且还会有不同的语句反馈和干预方式

2. 摄像头也有人脸识别+声纹ID解锁的功能，为不同家庭人员驾驶提供个性化设置

• 技术路径：行车数据联动处理

  
  

• 干预手段：语音提醒，环境变化

1. 系统可以在车辆的行驶过程中做出主动判断，主动询问是否关窗，开空调，开音乐，或者开启座椅加热等。

2. 比如，系统会根据平常你开车时间的大数据计算，发现你今天晚回家了，然后特别为你推送加班关怀提醒。

3. 在车辆行驶过程中，能够判断当前的车速，如果速度大于80km/h， PM2.5浓度数值大于115则会触发语音助手提醒功能，询问驾驶员是否需要关窗。如果你驾驶时突然走神或者分心，车速大于15公里/小时，而方向盘转角小于20°，且未开启转向灯的情况下，分心监测功能就会激活，然后进行语音提醒。（图片来源：哈弗官网）

// 车内应用目前存在的痛点与解决方案

无法精准识别情绪强度

• 现在进行的情感识别工作多集中在简单的情感分类，对于情绪强弱程度方面，目前并没有太多的研究者去探究。而即使在情绪分类上，结果的准确度也因取决于人为的判断而受到质疑。

• 深度学习（CNN/3DCNN）具有提取鲁棒性特征的潜力。利用海量数据学习到的特征比人工构造的特征更能反映数据的内在本质，能在一定程度上克服特征冗余问题，从而极大提高情绪识别效果。

数据收集方法存在局限性

• 目前情绪识别研究大多是从数字信号分析的角度出发，探究情绪与信号特征的关系。但是本身训练模型的数据集如DEAP 数据集、MAHNOB-HCI 数据集、eNTERFACE’05数据集等采用的主体诱导式研究方法对数据产生了很大的局限性，非常可能和真实场景的情绪情景相差甚远。

• 使用VR进行沉浸式情绪诱发

情绪识别的实际应用过程中，如何快速准确地采集高质量的多模态信号是一个关键问题。

• 车企更倾向于无接触的感知方法，在自然状态下收集用户数据，达到无感交互的效果，如摄像头、红外摄像头、微型传感器、远程rPPG等

• 由于行车过程中存在各种环境不稳定因素，如车身剧烈晃动、快速变化的阳光、不同乘车人体态区别等

• 目前情绪识别算法多通过A柱、方向盘上安装的摄像头对驾驶员进行检测，而其他乘车人则无法使用

• 应用趋势：将算法直接搭载在已有的DMS与OMS硬件上进行实现

介入手段过于简单

• 目前市面上更多的情绪介入手段局限于音乐、娱乐节目、家人外呼、环境调控、冥想诱导等方式，在行车安全方向的有效性难以预知

• 误判误报无法善后

• 虽然误判误报在娱乐场景下的结果并不严重，但如果在与道路安全防范、自动驾驶等结合下的场景，算法中的误判误报可能会造成严重的后果与损失，而目前市面上的技术还无法解决这一痛点。

局限于车内无法形成完整闭环

• 算法与其他硬件相结合打造智能一体化汽车

• 目前市面上的情绪识别多内嵌在车载语音助手中，而未来也可能与其他智能硬件打通，将车内车外场景进行联动。

隐私侵权问题

• 实际应用中根据不同国家的法律法规能够采取的数据会有所限制（如日本的人脸与语言数据）

成本问题

• 尽管情绪识别的算法模型大部分情况下能够通用，涉及到定制化如语言或者文化导致的表达差异还需要定制化的开发以及训练，涉及到百万元以上的开发成本。

技术层面来说，目前国内大部分的情绪识别技术的感知信号源仍来自于图像、自然语言获取和可穿戴设备的PPG信号，技术的领先性在于训练算法的多模模型中因子的完善度和融合还原度。同时目前市面上对于技术的真实性和准确性的评判标准缺乏客观性。目前可以预测，对于情绪识别来说下一技术拐点预计会在脑电波硬件市场爆发的时间点，从融合EEG信号层面进行突破。

市场应用层面分为与安全相关的企业刚性需求和与娱乐相关的个性化需求。在车载方面，情绪识别已经逐渐成为“智能座舱”的买点之一，各大车企也在纷纷发力。尽管车内空间的局域性为情绪数据采集提供了绝佳的条件，但在无接触条件下的采集分析精准度以及情绪识别如何联动安全域、娱乐域功能做到闭环服务仍旧是未解决的功能痛点。

从投融资历史来看，如同许多国外的创业公司一样，国内情感识别算法创业公司最终出路更有可能是被如华为、小米等智能生态大厂并购。目前此单一技术赛道还未跑出非常头部的公司，同时还面临其他行业技术巨头入局的困境，因此早期投资标的还有待观望。

点击文末“阅读原文”

加入 Plug and Play 中国

科技创新生态

添加微信小助手 pnp_china

加入创新者社群

及时掌握最新资讯

关于 Plug and Play China 璞跃中国

2006年成立于硅谷的Plug and Play是一个全球知名的创新生态平台，曾先后成功早期投资孵化了Google、PayPal、Dropbox 等多家互联网行业科技巨头公司，业务涵盖：早期投资、企业创新服务、创新生态空间运营等。经过10余年的发展和超过20年的长期积累，目前在全球18个国家和地区设立30多个创新生态空间和区域办公室；累计投资超过1500家初创企，为超过17000家初创企业进行孵化加速，为超过500家全球领先大企业提供联合创新服务，年平均举行初创企业和大企业间的对接交流活动1000 余场。

2015年，随着Plug and Play的全球业务发展，在中国双创浪潮下，Plug and Play 进入中国，2016年“璞跃中国（Plug and Play China）”成立。

Plug and Play China 璞跃中国立足北京——中国总部，布局上海、深圳两大区域创新中心，联动南京、武汉、无锡等城市创新合作伙伴开展中国创新业务。

Plug and Play China 璞跃中国开设企业创新服务、城市创新服务、投资、创新空间四大业务板块，构建了中国领军的线上线下创新平台，并为之配套构建了包括大企业、初创公司、城市伙伴、风险投资机构、高校科研院所、行业导师等多维度的创新生态伙伴体系。

迄今Plug and Play China 璞跃中国已服务近100家行业领军企业，累计孵化加速4000余家创业公司，并投资了包括ApplyBoard、AutoX、非夕科技、纵行科技、银基安全、大界机器人、海飞科、Authing、优时科技等超过150家科技创新企业。

了解更多信息请访问 www.pnpchina.com