解析AI中尖端CV技术，能否助VR社交冲刺杀手级应用

2016年VR如同过山车般的轨迹，使得VR行业一度风雨飘摇。2017年是VR行业沉下心来磨枪擦刀的一年，相比较之前的概念风，大浪淘沙留下来创业者们都期待在大众消费的这一元年，拿出自己的答卷，而行业内外，都在围观“VR行业能否爆出杀手级应用”。

VR步入关键节点，VR社交如轻嗅的猛虎

腾讯互娱近期发布的VR报告所述，目前硬件在交互性、舒适性、交互方面都不尽人意，产业链出货无法保障，但这一问题随着供应链成熟和系统标准的统一在今年会逐渐解决。VR软件应用仍在探索VR交互和表现形式，VR软件商业生态尚未建立。VR是一场持久战，积极探索新的玩法，构建技术壁垒，才能形成长期竞争优势，追求爆款机遇。

基于目前VR消费市场不足，用户粘性缺乏的实际现状，VR应用布局目前并不适合对游戏、分发平台、技术组件等进行过分投入。而社交平台易产生用户粘性，能形成用户聚集的优势，小投入、长期积累用户的模式是重点布局的方向建议，社交聚集效应可以统一整合其他各类服务，包括游戏、视频、音频等，在前期缺乏内容的情况下，可以较好提供用户可消耗内容。目前Facebook、Altspace、Vtime、BeanVR、Recroom、High Fidelity等海内外创业精英团队已重点对VR社交平台进行了布局尝试，并陆续都拿到了高额融资额。单本月，已获得770万美元巨额A轮融资的AI虚拟形象公司Oben，软银又宣布对其进行继续认投，3月25日新上线VR社交平台EmbodyMe也因其真人化身系统引起一阵哗然。目前VR社交处于沉淀与爆发的关键时间，再后期恐怕进入的市场门槛将越来越高。

参考：腾讯互娱VR技术白皮书

CV作为VR社交中的中尖端技术，将从本质上提升社交互动与逼真性

CV技术以3D扫描技术与面部识别、3D建模及渲染为主要内容生成VR技术，作为AI中图形方向的精尖领域，是VR社交面向消费者互动场景最重要的一环。

VR3D扫描可以通过3D扫描技术高度还原玩家头部甚至全身，量身打造真人化身，未来在在美颜卡通拍照、游戏、社交虚拟ID、医疗上可应用性更高。也是未来AI在消费应用领域大规模应用的典型场景，想象一下一个拥有绝世容颜的SIRI在VR社交中陪你到老的浪漫感觉。

参考：腾讯互娱VR技术白皮书

Facial Animation，可以对表情进行精细捕捉，对眼球、口型和下颌的动作细节进行跟踪捕捉，通过深度学习生成表情动画，为VR社交角色拟人化提供可能性，对于虚拟电影、直播得到广泛应用。

参考：腾讯互娱VR技术白皮书

在虚拟化身中，通过3D Avatar形成真人虚拟形象，并且通过Facial Animation 形成表情动画，从而形成VR社交所需的真人化身及互动形态，除了这种视觉上打造，虚拟VR社交中还会通过对SLAM、Eye tracking、haptic interaction、redirection等交互技术深度学习打造深度互动模式。

VR行业中真正的杀手级应用无疑是最吊人胃口的，除了技术的比拼，也有对用户心智把握的赛跑。

虚拟真人化身领军技术团队

VR新秀大型多人在线社交游戏《EmbodyMe化身》，通过上传人脸照片合成虚拟环境内真人的化身角色，并且可以随意对化身形象进行发型、性别、衣服等进行变换，也可以借助外设同步玩家举手，点赞等动作。通过虚拟化身及动作捕捉，能够实现玩家在虚拟空间中和好友跳舞、搭积木等简单交互，适合初级玩家上手。

AI虚拟形象公司ObEN ，可以通过自拍照的识别建立用户的虚拟形象，还可以不断学习用户的声音如说话、唱歌等，识别用户表情和动作，通过了解用户的行为和习惯，未来可以带来更多逼真的社交和虚拟互动，比起复杂的深度摄像头，这项技术更有可能在消费级应用推广。凭借三维图像重建技术，OBEN去年宣布完成了 770 万美元的 A 轮融资，今年3月，软银韩国风险投资公司宣布完成对人工智能公司ObEN的投资。

Bellus3D面部扫描相机，可以检测到脸的三维500K点和捕捉面部细节，在短时间内创建出一个细致到皮肤毛孔和皱纹的虚拟面部模型。用户只需要把 相机插接到手机上，从左到右缓慢转动头部，两个红外光投影仪发出激光光束扫描用户面部创建出精细的人脸面孔3D模型。Bellus3D 面部扫描照相机和 SDK 将于 2017 年第一季度提供给指定的开发者和合作伙伴，开发者可以开发用于 3D 虚拟化妆、自定义的 VR 游戏角色、虚拟试穿(眼镜或者假发等)、医学整形等领域的应用。

VR社交软件应用BeanVR，主打VR/MR社交互动应用。在角色化身创建中，通过普通摄像头对人脸扫描进行三维重建，形成真人虚拟化身，并且在三维建模完成后，利用人脸特征点识别、神经网络技术、特征对象特征点识别与tracking等实现低延迟的表情同步。真人化身及表情同步对，可以与VR社区中实现同步、高度拟真、高度互动感。

High Fidelity在虚拟空间中创造阿凡达（化身），每个人的化身都能够反映真身的面部表情。更值得兴奋的是，3月末，VR角色设计公司Limitless 与 High Fidelity 达成合作，免费向High Fidelity的用户提供基本设计功能，玩家可以将自己喜欢的VR场景、角色自助实现，进行交互，相比较其他需要丰富工程知识的智能平台，这个合作是VR设计平民化的大进展，也将使得VR社交离平民的娱乐、生活更近。 

典型眼球追踪VR交互产品

来自德国的技术公司SMI的研发系统“Social Eye”，通过一系列硬件和软件的运作，可以在VR头显中捕捉到用户的眼球移动，并且在VR世界中的虚拟化身身上再现。

FOVE于2017年初公布了两款眼球追踪VR应用，一款可以让玩家感受到眼球追踪与虚拟世界休闲应用，另外一款是基于眼球追踪的数据分析应用，实现追踪、汇总和分析用户在虚拟现实体验中的行为。玩家在虚拟商店中自由行走，应用会根据用户注视的对象分析并按指定顺序列出相关的统计数据。

在虚拟世界中，体验者会将虚拟真人化身视为自己真正的身体，并通过它感知虚拟世界中的物，并且打破现实中的限制，实现自己更多想要的体验和互动。当视觉信息、触觉信息，与动作信息同步时人们会产生一种完全可信的“感觉”，从而增强虚拟社交的意愿和乐趣。

MR互动成像趋势技术

相比VR，AR领域的争夺战，MR相对就更加充满想象，MR成像运用以微软Hololens为代表，2016年BeanVR也推出了MR互动直播的虚拟演播模式。MR即混合现实，微软的Holoportation将全息技术和混合现实技术进行组合，，对真人用户的扫描成像记录，在虚拟社交场景中以3D影像的形式进行实时“投影”，用户可以通过微软HoloLens头显，甚至是HTC Vive头显看到3D人物，进行聊天、交流。

BeanVR以MR成像技术为核心角色技术方案，为了和CV技术的结合，与微软的Holoportation形态相似，通过全息技术和混合现实技术的组合高度还原完成的虚拟化身，但是采用了低成本的双目摄像部件进行体态扫描，这样不会产生太大的数据处理量，在保证图画质量的基础上，实现远程低延迟传输。基于这种成像技术运用，BeanVR也推出了MR互动直播演艺模式，实现实景演绎主播与虚拟用户的互动化。

                          Holobeam实现在Hololens上全息3D聊天

BeanVR实现MR成像技术

VR普及的痛点在逐渐改善，VR社交成为人们生活娱乐的阵地并非空想               

目前虚拟现实无法成为用户的强需求，主要原因在于：无法在使用中获得交流、沉浸状态中无法进行其他交互，体验孤独而单调。

参考：易观2016中国虚拟现实行业白皮书

今年硬件厂商纷纷入局，优质的硬件内容不断增多，体验不断优化的同时，价格也更加亲民，如oculus，Hyper, 大朋等纷纷下调硬件价格，特别是随着Daydream, GearVR以及手机厂商的高调入局，玩家获取优质体验VR设备的成本越来越低，对VR的陌生感也日益消失，为了获得更加优质的用户体验对于2000元以下好的VR设备有很强的购买欲。

参考：易观2016中国虚拟现实行业白皮书

CV技术+语音识别+VR社交，将是未来AI渗透到消费者端并提供优质体验与服务的关键助推技术，CV技术在虚拟环境中通过面部信息扫描、面部表情及动作的同步捕捉与追踪，实现真人化身DIY化，并且通过VR的虚拟特性进行趣味化、丰富化，逐渐打破现实与虚拟的“隔阂”，以其代入式的场景和逼真的角色互动、道具交互，将其应用至教育、游戏、娱乐综艺、广告、交友等不同虚拟场景，打造VR社交的互动化、生活化，VR走入人们日常生活，甚至成为刚需并不是空想。

您也可以关注我们的官方微信公众号（ID：ctoutiao），给您更多好看的内容。