关于ZAKER 融媒体解决方案 合作 加入

谷歌体三维捕捉新突破:实现后期任意照明修改

映维网 11-20

查看引用 / 信息源请点击:reality.news

在任意环境下真实地重照明人类

映维网 2019 年 11 月 20 日)随着市场对 AR 体三维视频的需求开始逐渐增长,谷歌研究人员正在探索如何优化相关的实现过程。作为研究努力的一个成果,团队开发了包含 330 可编程 LED 灯泡和约 100 个摄像头的球形设施:"The Relightables"。名为《The relightables: volumetric performance capture of humans with realistic relighting》的论文已经发布在 ACM 期刊 。

据介绍,Relightables 系统实现了三项创新。首先,包含的摄像头是用作深度传感器,能够捕获对象的 12.4MP 深度图;然后,团队创建了几何和机器学习重建管道,后者能够从捕获的数据中合成视频。最后,系统能够捕获与深度图时间同步的反射比图,从而允许操作员在 AR 或 VR 场景中操纵对象的照明,不再是原始工作室的照明条件。这种信息是通过交替闪烁两种不同的颜色渐变图案所获得,而系统会在视频重建期间将其用于推断对象的反射特性。

团队在论文中写道:" 尽管行业已经在体三维捕获系统方面取得了重大进展,但其主要是集中在具有高分辨率纹理的 3D 几何重建,而在恢复重新照明所需的光度特性方面则少有涉猎。相比之下,大量的研究工作探索了基于图像的可重照明获取问题,亦即在一组基本照明条件下拍摄对象,然后重新组合图像,以仿佛是出现在目标照明环境中时的样式来显示对象。但这种方法一直都不适合在高分辨率的体三维捕获系统中使用。我们的方法整合了这种能力,可允许系列在任意环境下真实地重照明人类,并且包含自由视点体三维捕获的优势,以及在动态表现的几何精确度实现了提升。"

体三维视频领域在过去两年间一直在稳步增长。除了微软的 Mixed Reality Capture Studios 外,英特尔索尼同样构建了自己的捕获工作室,而 Verizon 则通过收购 Jaunt 涉足体三维捕获技术。体三维视频在增强现实体验中的用例十分广泛。与此同时,Magic Leap收购 Mimesys 及其实时全息视频通讯技术表明,体三维捕获有望在未来改变人们的通讯方式。

另外,谷歌创意实验室和 Opera Queensland 的合作揭示了另一个用例:虚拟剧院。在 SIGGRAPH 大会亮相的原型体验包含通过 Relightables 系统捕获的三位演员表演。在谷歌的大力支持下,基于 Relightables 体三维捕获系统的 3D 内容将能为沉浸式体验带来更多的真实感,令我们愈加难以区分虚拟与现实。

谷歌体三维捕捉新突破:实现后期任意照明修改最先出现在映维网

以上内容由"映维网"上传发布 查看原文
相关标签 谷歌ar

觉得文章不错,微信扫描分享好友

扫码分享