Nvidia 展示令人难以置信的即时 NeRF 2D 到 3D 照片 AI 处理
Nvidia 研究人员开发了一种方法,可以“几乎立即”从少量 2D 图像中重建 3D 场景。一篇新的博客文章描述了这一壮举,它利用了一种名为神经辐射场 (NeRF) 的流行新技术,与竞争对手的实现相比,该技术的速度提高了 1,000 倍。Nvidia 的处理速度很大程度上归功于其利用 Tensor Cores 的 AI 加速,从而加快了模型训练和场景渲染的速度。如果您有兴趣但想要一个 TLDR,请看下面直接嵌入的短视频。
Nvidia 为其演示提供了一些背景信息,表示以前的 NeRF 技术可能需要数小时来训练一个场景,然后需要几分钟来渲染目标场景。尽管之前较慢的实施结果很好,但利用 AI 技术的 Nvidia 研究人员已经将性能推向了火箭,因此 Nvidia 有信心将其技术描述为“Instant NeRF”。
您可能已经猜到了,但这项 NeRF 技术使用神经网络基于 2D 图像的输入集合来表示和渲染逼真的 3D 场景。上面的视频暗示只需要四个快照就可以创建我们在运动中看到的 3D 表示。然而,该博客在解释“神经网络需要从场景周围的多个位置拍摄的几十张图像,以及每个镜头的相机位置”方面可能更为现实。神经网络填补了整个 360 度场景的空白,并且可以预测从 3D 空间中的任何点向任何方向辐射的光的颜色,以增加真实感。Nvidia 表示该技术可以解决遮挡问题。
借助 Instant NeRF,Nvidia 可以在几十毫秒内促进如上所述的完整 3D 场景的渲染。这令人印象深刻,但它有什么用呢?Nvidia 图形研究副总裁 David Luebke 对这项技术寄予厚望。“如果像多边形网格这样的传统 3D 表示类似于矢量图像,那么 NeRF 就像位图图像:它们密集地捕捉光从物体或场景中辐射的方式,”Luebke 说。“从这个意义上说,Instant NeRF 对 3D 的重要性可能不亚于数码相机和 JPEG 压缩对 2D 摄影的重要性——极大地提高了 3D 捕获和共享的速度、易用性和范围。”