腾讯天籁跨界人工耳蜗领域，AI语音如何助力听障者？

图源于视觉中国

飞速发展的AI语音技术，正在帮助听障人群获得更优的生活质量。

“在中国每年有千分之一到千分之三的孩子是先天听力障碍，这些孩子如果在七岁以前得到及时救治，他们可以和听力健全的孩子一样，能听会说，上普通的学校。”北京爱的分贝公益基金会副秘书长胡晓伟介绍。

数据显示，中国患有听力障碍的残疾人数量高达2146.7万，占残疾人总数的24.2%，在各类残疾中占比居第二。并且，中国每年出生的新生儿中，大约有1%-3‰患有先天性耳聋，根据新生儿数量推算，每年将新增1.7-5.1万名患有先天性耳聋的新生儿。

对于这一庞大的听障人群来说，佩戴助听器可能是首选获得听觉的方式，但是助听器的原理是将原本听不到的声音加以扩大，再利用听障者的残余听力，使听力损失患者能和正常人一样感觉到声音，这对于重度或极重度听力损失的患者，几乎无效。

而植入人工耳蜗是这类人群重回有声世界的唯一途径，人工耳蜗可以直接刺激听神经，使病人获得一定的听觉能力。

1977年，奥地利维也纳进行了世界上第一台多通道人工耳蜗植入手术。1995年，中国首位人工耳蜗植入者出现。人工耳蜗的研发技术中，对于声音的探索尤为关键。跳出人工耳蜗行业，其实有不少的科技企业同样在深耕声音技术。

腾讯天籁实验室是腾讯会议旗下的音频通信和处理研发团队，实验室自成立以来持续深入探索音频AI技术。

9月26日是国际聋人日，腾讯天籁实验室联合腾讯公益慈善基金会、中国聋人协会、北京爱的分贝公益基金会、中国耳蜗厂商诺尔康神经电子、全球头部人工耳蜗厂商美笛乐MED-EL等机构和合作伙伴，共同举办“科技有爱，让生活无碍”天籁行动升级发布会。

一年前，腾讯天籁实验室首次联合腾讯公益慈善基金会、深圳市信息无障碍研究会等共同发起了“天籁行动”，主要面向听障人群社会责任领域的开发者、厂商及合作伙伴免费开放天籁音频AI技术，以提升人工耳蜗降噪效果，改善人工耳蜗佩戴者的使用体验。

人工耳蜗需要什么样的声音技术？

“噪音是人工耳蜗用户的一个痛点，在噪音的环境下，人工耳蜗的用户言语识别率相较正常人会明显的陡降变差。”国产人工耳蜗企业诺尔康神经刺激科学重点企业研究院副院长黄穗表示，除此之外，场景识别技术也非常重要。

2020年，腾讯天籁实验室首次涉足人工耳蜗领域，便与诺尔康达成了合作。诺尔康成立于2006年，2011年获得国家药监局批准的人工耳蜗三类医疗器械批准生产书。诺尔康也是国内仅获得人工耳蜗生产批文的三家企业之一。

在生活中，噪声对听障人士的生活造成非常大的影响，特别是对人工耳蜗的言语可懂度形成较大干扰。基于此，天籁实验室与诺尔康一起推出了“人工耳蜗+手机伴侣”联合解决方案，该方案能使人工耳蜗的语音清晰度、可懂度提升40%。

诺尔康实验检测数据显示，天籁AI技术与人工耳蜗结合后，相关语音识别性能大幅提升，平均识别率达到96.28%，可以有效保障人工耳蜗使用者真实辨别环境“噪音”。

在本次发布会上，腾讯公司高级执行副总裁、云与智慧产业事业群CEO汤道生表示，与诺尔康的合作在国内首次解决了人工耳蜗多复杂场景识别、以及动态实时噪音处理的难题，将人工耳蜗的语音清晰度和可懂度提升了40%。目前，听障用户已经可以植入搭载天籁AI技术的诺尔康新一代远航人工耳蜗系统。

对于和腾讯天籁实验室的合作过程，黄穗直言“很厉害”，因为在降噪方面，听障人士与健听人士对噪音的感知力并不相同，这决定了简单的技术移植并不能满足需求，为整个技术的打磨增添了很多困难。“开始的时候，腾讯天籁团队把噪音降得很低，但用户真正体验的时候，会觉得自己跟世界好像隔绝了，天籁团队又给出了弱降噪和强降噪模式，大部分用户选择了弱降噪。”最终经过密集地沟通，腾讯天籁的声音技术也调试到了最佳状态。

腾讯天籁实验室总经理商世东说：“和声音相关的，我们实验室都有涉及，降噪这个方向上，在腾讯我们有差不多近二十年的技术积累了，从最早的QQ实时通话到腾讯会议，降噪在不断迭代和演进，所以才能把这个技术在各个场合都做到让用户满意。”

腾讯天籁实验室总经理商世东

将腾讯天籁的声音技术放进诺尔康的人工耳蜗中，还带来了后者的成本优化。“国产人工耳蜗面世以来价格就‘非常公道’，可以说在市面上价格最低，这对我们的研发实力和速度提升都有限制，腾讯天籁能够免费无偿地提供技术，这能极大地降低我们的研发成本。”黄穗说道。

截至目前，全球人工耳蜗植入手术超过60万例，中国人工耳蜗植入手术超5万例，占比不足一成。在国内，人工耳蜗植入渗透率远不及国际水平，一个重要的原因是价格。常见的国产人工耳蜗，价格至少在7万元以上，占据更大市场份额的进口人工耳蜗的价格更加昂贵，至少在20万元以上。

在与诺尔康的合作中，腾讯天籁的声音技术也不止应用在了人工耳蜗这一三类医疗器械上，同时还应用在了诺音App上，也就是双方合作推出的“人工耳蜗+手机伴侣”联合解决方案中的“手机伴侣”部分。

黄穗介绍称，在手机App中植入天籁AI技术，手机双麦阵列融合AI降噪的联合方案提升信噪比20dB，MOS分提升了0.8-0.9（满分为5），并将人工耳蜗与手机伴侣间的通信延迟缩减至150毫秒内，提升使用者的听觉体验。

听障人士需要什么样的App？

发布会上，腾讯天籁实验室和奥地利人工耳蜗厂商美笛乐MED-EL共同开发推出了全球首个集听力测试、AI辅听、远程听力服务于一体的App美讯听宝，通过软件集成天籁AI语音增强功能，解决了听障人士远程康复治疗痛点。

这款App既适用于植入人工耳蜗后的听障人士，也适用于轻度听障或是听力下降的老年人群体。

在美讯听宝App中，远程听力服务和远程康复主要针对于人工耳蜗植入术后声音恢复人群设计。

人工耳蜗设备由外部处理器和植入体组成，外部处理器由麦克风、语音处理器、向植入部分发送指令的信号发射器组成，而植入部分由信号接收及解码模块、刺激电极阵列组成。 人工耳蜗植入手术后需长期的设备调试和维护。

植入体即为芯片，芯片植入手术后约一个月时间，人工耳蜗才会开机使用，但基于不同患者听力损失程度的不同，需要不断进行“调机”。

人工耳蜗植入术后三年的清华生命科学学院在读博士江梦南告诉钛媒体App，“人工耳蜗刚刚开机的时候，患者对声音的耐受度不一样，我的右耳26年没有听到声音了，刚刚开机，听力师不能很快把参数调到平均的水平，就要把参数调到比较低的水平，我听到的声音也比较小，这个声音适应之后再慢慢调大。刚开机的时候，调机的频率会更加频繁一些，因为有适应的过程。”

听力师会设定调机的时间节点，江梦南最开始的调频率是一个月调一次，后来逐渐放宽到三个月、半年，到现在是一年一次。

对于异地就医的听障患者，频繁调机有很高的往返、住宿等额外成本，以及疫情之下，接触就医的限制，也在影响调机的进行。通过美讯听宝App中的远程听力服务，就可以让患者实现远程“调机”。

除此之外，对于大部分的人工耳蜗植入患者而言，术后的语言训练是其能恢复到常规语言能力的不能越过的步骤，“每天一个小时的语音训练”是江梦南术后的日常。美讯听宝App中的远程康复模块主要提供这一服务，由平台上的专业听力师为患者提供语训相关服务。

另外，听力测试模块可以反应测试者当前的听力情况，而搭载了腾讯天籁的AI降噪技术的AI辅听模块，相当于将手机转变角色成为声音收集工具，同时，收集来的声音已经经过降噪处理，增强了人声，听力下降的用户佩戴耳机就能提高听觉。

据介绍，基于语音上下文关系，针对听障用户可感知动态范围小、不同听损状态可感知成份不一的场景特点，天籁实验室打造的新一代AI语音增强方案，能促使语音保真和噪声抑制获得更好平衡，做到“一键畅听”。实验结果显示，对于听障且未配戴助听设备的用户，可以提升单音节识别率约66%；而在-5到25dB信噪比范围下，新一代AI语音增强方案还可以提升0.7-0.9MOS（总分5.0），可以确保噪声环境下的高质量语音沟通体验。

黄穗介绍称，“市场上本来也有这类App，但这些产品都是运营公司要靠自己的资源进行研发，所以基本上都需要付费，用户参与度没有那么高。”美讯听宝App作为提供服务的平台，目前全部功能免费向用户开放。

本次发布会上，腾讯会议、中国聋人协会、腾讯公益慈善基金会和浙江省微笑明天慈善基金会共同发起“悦耳行动”，致力为听障人士提供人工耳蜗植入手术救助、康复训练支持及职业培训等服务内容。

在数字化转型浪潮下，数字包容成为主基调。2019年11月，腾讯正式发布了“用户为本，科技向善”的使命和愿景，2020年，腾讯发起科技公益计划，搭建开放平台连接技术志愿者和社会公益需求，共同推动科技公益事业发展。由此起步，天籁AI技术从一项服务于腾讯会议的内部技术，成为听障人士相关公益项目的技术支撑。

（本文首发于钛媒体App，作者丨杨亚茹，编辑丨孙骋）

更多精彩内容，关注钛媒体微信号（ID：taimeiti），或者下载钛媒体App