Facebook研发DeepFovea AI辅助算法将应用在下一代VR头显

凹入式渲染解决了VR头显日益增长的挑战，提供了清晰的细节。现在，Facebook Reality Labs的工程师提出了DeepFovea，这是AI辅助的替代方法，它可以创建“合理的外围视频”，而不是实际渲染准确的外围图像。这一新过程被称为“凹入式重构”，Facebook表示，它对RGB视频实现了14倍以上的压缩，而质量没有下降。

捕获视频流时，DeepFovea仅在每个视频帧中采样10％的像素，主要但不仅仅集中在用户眼睛聚焦的区域。相比之下，仅通过散点采样外围区域，这些散点距眼睛的焦点区域越来越远。该系统使用经过训练的生成对抗神经网络，从微小样本中重建每个帧，同时依靠流的时间和空间内容以稳定而非抖动的方式填充细节。

如上图所示，从帧到帧，未完全采样的蜥蜴头基本上是无法区分的，而“重构”图像中的相邻树皮不如“参考”像素那么清晰或细腻。传统的凹版渲染系统会将这些像素描绘为低分辨率的平面阴影块，而DeepFovea保留更多的原始形状和颜色。

DeepFovea之所以重要，是因为与标准的中心渲染相比，它提供了电源效率和图像质量的出色组合。Facebook声称，渲染降低了14倍，这意味着它将能够向依赖于凝视检测的显示器提供实时，低延迟的视频，这是构建轻巧的VR和AR头显的必要步骤，该头显将显示高分辨率图形最初呈现在云端。

Facebook的迈克尔·阿布拉什（Michael Abrash）去年在Oculus Connect 5上首次暗示了DeepFovea的概念，并暗示在未来将基于深度学习眼动追踪结合在一起，以实现更高分辨率的VR头显，例如Half Dome原型。

Facebook不仅在下一代头显上使用DeepFovea，还为研究人员，VR工程师和图形工程师发布了网络体系结构的示例版本。