Google展示体积视频捕捉解决方案“The Relightables”

随着对AR体验逼真的体积视频的需求开始增长，Google的研究人员找到了解决方案。Google团队设计了一个名为“The Relightables”的系统，该系统由一个球形笼子组成，装有330个可编程LED灯和大约100个用于捕获体积视频的摄像机。

“The Relightables”系统实现了三项创新。首先，该系统的摄像机用作深度传感器，捕获其主体的12.4MP深度图。其次，该团队创建了几何和机器学习重建管道，以从捕获的数据中合成视频。

最后，该系统还捕获与深度图时间同步的反射率图，从而可以在AR或VR场景中操纵对象的照明，而无需维护原始工作室的照明。该信息是通过交替闪烁两种不同的颜色渐变图案获得的，系统在视频重建期间将其用于推断对象的反射特性。

该团队最近通过计算机协会发表了研究结果，其研究结果将在SIGGRAPH Asia 2019上发表。

研究小组在论文摘要中写道：“尽管在体积捕获系统方面取得了重大进展，重点是具有高分辨率纹理的3D几何重建，但是在恢复照明所需的光度特性方面所做的工作却少得多。”

“相比之下，大量工作已经解决了基于图像的方法的可重新照明获取的问题，该方法在一组基本照明条件下拍摄对象并重新组合图像以显示对象，就像它们将出现在目标照明环境中一样。但是，迄今为止，这些方法还没有适合在高分辨率的体积捕获系统中使用，我们的方法结合了这种能力，并具有自由视点体积捕获和新的几何水平的优点。”

在过去的两年中，体积视频领域一直稳定增长。除了Microsoft的Mixed Reality Capture Studios外，索尼还建立了自己的工作室，而Verizon收购Jaunt是因为其涉足体积捕获技术。

《纽约时报》展示了体积视频如何增强增强现实内容的沉浸式叙事效果，而8th Wall已将对该格式的支持扩展到基于Web的AR平台。同时，Magic Leap收购了Mimesys及其实时全息视频通话技术，显示了体积视频捕获将如何改变人们在不久的将来进行交流的方式。