贝克汉姆秒学N种外语？这种AI一招搞定！

【网易智能讯 9月16日消息】大卫・贝克汉姆（David Beckham）不会说阿拉伯语、印地语和普通话。但是，在今年春天主演一个关于疟疾意识的公益广告时，这位足球传奇人物却能毫不费力地在这几种语言和其他六种语言之间转换。这要归功于人工智能技术，该项前沿技术可能很快就会改变好莱坞电影和电视节目的本地化方式。

该广告是用Synthesia公司的技术制作的。Synthesia是一家总部位于伦敦的初创公司，致力于利用人工智能进行配音。在做该广告时，该公司分别给这位足球明星以及它想要使用的各种语言的母语人士录制了视频。

然后，它将所有原始视频输入一个算法，该算法“学习”说出西班牙语和约鲁巴语等语言中的各个单词时的面部表情，并相应地调整贝克汉姆的面部视频。Synthesia的联合创始人兼首席运营官史蒂芬・杰里尔德(Steffen Tjerrild)解释说，“你可以一手操纵视频，我们等于有了真正的对嘴配音。”

基于人工智能的视频编辑因其黑历史而备受关注，其中最著名的当属“深度伪造”现象――色情视频被所谓的基于深度学习的算法改造，将视频中的原有面孔换成名人的面孔，以假乱真。然而，Synthesia的研究表明，这种技术在好莱坞也有很大的潜力，尤其是在配音方面。

传统上，配音是在不改变源视频的情况下完成的。本地化编剧只是想要将翻译后的对话与屏幕上的动作匹配起来。“准备那些剧本需要花费很多的时间。”杰里尔德说道。更重要的是，配音演员必须要准确把握好发声时间，以确保避免配音让人觉得突兀，这一过程可能需要几周的时间才能完成。

迪士尼研究院(Disney Research)负责研究的副总裁马库斯?格罗斯(Markus Gross)也认为，由于能够调整演员的口型来匹配本地语言，人工智能有望大大缩短这项工作的用时，并且使得配音更加准确。“如果我们能够在后期制作中改变口型，那会有极大的意义。”他说道，“这可以让对嘴配音无缝匹配演员说那种语言时的各种动作。”

迪士尼研究公司已经在语音动画（即利用动画效果来设计和表现说话人的面部表情、口型变化等）的深度学习方面做了一些研究，同时也在设法将这项技术应用于特效。虽然配音并不是迪士尼研究部门的重点研究领域，但格罗斯表示，他对未来配音的种种可能性很感兴趣。他表示，“对我们来说，这种技术肯定很快就可以投入使用了。”

配音对好莱坞来说越来越重要，各大媒体公司都在推行自有的流媒体服务来为全球消费者提供服务。以Netflix为例，该公司正在给31种语言做配音，并从去年开始给说英语的观众提供外国原创电影的配音版本。在谈到Netflix给英语为母语的人讲述全球故事的努力时，该公司的国际配音负责人黛布拉・钦恩（Debra Chinn）表示，“我们非常认真地对待这项新举措。”。

这家流媒体巨头一直在探索将配音的某些流程自动化的方法，但钦恩警告说，技术的能力可能有限。“配音是一门艺术，”她说，“这是一个创造性的过程。”

技术问题确实存在。Synthesia的技术在演员直视镜头时效果最好，但在侧面拍摄或动作场景拍摄时效果较差。

教授算法关于每个演员的面部特征的知识，也很有挑战性。“没有演员会说20种语言。”格罗斯说道。虽然算法可以很好地让某人的口型看起来是在说外语单词，但它并不知道像莱昂纳多・迪卡普里奥(Leonardo DiCaprio)这样的演员是如何用普通话表达台词的。

格罗斯指出，最终，电影公司可能必须得与实际的用户一起测试它们的配音。“我们必须把我们的成果展示给很多人，然后问他们那些配音是逼真还是古怪。”

在动画中，使用人工智能配音将会没那么费力。原因是，在动画中，这项技术还可以被用来更好地匹配角色的口型变化和原始语言。“就以较低的成本制作高质量的动画而言，这是一个重要的步骤。”格罗斯说。

那些成本节省可能有助于说服好莱坞在不久的将来接受这种技术。“在接下来的两三年内，”格罗斯说道，“我们可能会看到第一批公司采用。”（乐邦）