首页 科技

IllumiNeRF:无逆渲染的 3D 重新照明 随意切换任何光效

时间:2024-06-11 21:25:02 栏目:科技

6月11日 消息:近日,来自谷歌研究团队以及伊利诺伊大学厄巴纳 - 香槟分校的学者们发表了题为《无逆渲染的3D 重新照明》的研究成果。该研究针对使用未知光照条件下的一组物体图像,以恢复能够在目标光照下从新视点呈现的3D 表征的可重新光照视图合成方法进行了探讨。

IllumiNeRF:无逆渲染的 3D 重新照明 随意切换任何光效

传统方法基于反渲染,试图将解释输入图像的物体几何、材料和光照进行分离。然而,这通常涉及通过可微分蒙特卡洛渲染进行优化,具有脆弱性且计算成本高昂。

因此,研究团队提出了一种更简单的方法IllumiNeRF:首先利用受光条件的图像扩散模型重光每个输入图像,然后利用这些重光图像重建神经辐射场(NeRF),从而在目标光照下呈现新的视角。他们证明了这种策略出人意料地具有竞争力,并在多个重光基准测试中取得了最新成果。

它具体工作原理如下:

给定 (a) 中的一组图像和相机姿势,研究人员运行 NeRF 来提取3D 几何体,如 (b) 所示;

基于此几何形状和(c)中所示的目标光,为每个给定的输入视图创建辐射提示,如(d)所示;

接下来,使用 (e) 中所示的重新照明扩散模型和 (f) 中显示的每个给定图像的样本 S 可能的解决方案独立地重新点亮每个输入图像;

最后,通过潜在NeRF优化将重新编辑的图像集提炼成3D表示,如(g)和(h)所示。

3D 一致重新照明

第一行显示了最终潜在 NeRF 的渲染图;

第二行显示了与顶部每个渲染帧相对应的最近训练视图的扩散样本。

这种产品可应用于计算机图形学、增强现实和虚拟现实领域。例如,在电影制作中,可以利用该产品在不同光照条件下呈现3D 场景,从而节省拍摄成本和时间。在虚拟现实应用中,用户可以在不同光照环境下体验虚拟场景,增强了真实感和沉浸感。此外,该产品还可用于数字艺术创作和建筑设计等领域,为用户提供更灵活的光照表现和渲染效果。

产品入口:https://top.aibase.com/tool/illuminerf

相关文章