英伟达新研究可将2D照片转为3D模型,有望用于游戏领域

  • 发表时间:
    , 文章来源:JieMian, 新闻取自各大新闻媒体,新闻内容并不代表本网立场

    图片来源:英伟达图片来源:英伟达(photo:JieMian)
    图片来源:英伟达图片来源:英伟达(photo:JieMian)

    记者 | 彭新

    计算机图形技术巨头英伟达公布新研究成果,有望解决困扰3D内容创作者已久的2D图形转化为3D形态难题。本月,英伟达在2022年计算机视觉与模式识别会议(CVPR 2022)上公布一系列论文,提出名为“3D MoMa”的逆渲染(Inverse Rendering)方法,更容易将2D照片变成3D物体。

    在计算机图形学领域中,普通渲染过程通常是指把3D场景渲染后获得屏幕上的2D图像。而所谓逆渲染,则是借助一张2D图像,获得生成这张图像所需的3D场景信息,该信息可以是3D网格模型、材质或照明等,即将一系列静态照片重建为3D物体或场景模型。

    从原理上来看,由于逆渲染过程与安防、自动驾驶领域常使用的计算机视觉(Computer Vision)技术接近,均基于2D图形出发进行识别处理,因此颇受学界重视,“该技术长期以来一直是统一计算机视觉和计算机图形学的关键。”英伟达图形研究副总裁David Luebke称。

    英伟达称,相较过往3D对象制作流程,必须通过复杂的建模、渲染流程才能完成,在“3D MoMa”技术下,仅需配合具备AI加速核心GPU,即可在1小时内产生3D模型,并且可兼容多数3D绘图引擎与建模工具,同时也能快速套用材质贴图、物理效果,以及即时光影表现,让创作者能更快调整,用于创作3D影片内容。

    在英伟达提供的技术演示中,GPU通过对各100张图片进行分析识别,而完成了对小号、长号、萨克斯、架子鼓和单簧管5种乐器的3D建模,并可导入游戏引擎、3D建模软件和电影渲染软件等工具中。英伟达还称,创作者可以对模型替换不同物理贴图,改变光影变化效果等,进一步提高建模的拟真效果。

    在英伟达内部,将逆渲染技术结合AI技术并实用化,是其努力方向,游戏是潜在的用途之一。目前在游戏业界,摄影测量技术是近年流行的3D建模方案,赛车游戏《极限竞速:地平线》和恐怖游戏《生化危机7》均采用了此技术,开发人员通过拍摄大量高精度照片,重构后建模为精细的3D模型,提高了游戏画面品质。

    摄影测量需要动用大量高精度摄影器材,且拍摄条件要求苛刻,难以大规模在行业内使用。英伟达还指出,目前行业虽然惯用的摄影测量技术创建3D物体,但该方法需要耗费大量的时间和精力。如果“3D MoMa”被广泛使用,设计师就不需要从头开始建模,还可节约大量的建模和渲染时间,此外,“3D MoMa”还支持设计师自主调整模型,提高模型成品质量。

    记者 | 彭新

    计算机图形技术巨头英伟达公布新研究成果,有望解决困扰3D内容创作者已久的2D图形转化为3D形态难题。本月,英伟达在2022年计算机视觉与模式识别会议(CVPR 2022)上公布一系列论文,提出名为“3D MoMa”的逆渲染(Inverse Rendering)方法,更容易将2D照片变成3D物体。

    在计算机图形学领域中,普通渲染过程通常是指把3D场景渲染后获得屏幕上的2D图像。而所谓逆渲染,则是借助一张2D图像,获得生成这张图像所需的3D场景信息,该信息可以是3D网格模型、材质或照明等,即将一系列静态照片重建为3D物体或场景模型。

    从原理上来看,由于逆渲染过程与安防、自动驾驶领域常使用的计算机视觉(Computer Vision)技术接近,均基于2D图形出发进行识别处理,因此颇受学界重视,“该技术长期以来一直是统一计算机视觉和计算机图形学的关键。”英伟达图形研究副总裁David Luebke称。

    英伟达称,相较过往3D对象制作流程,必须通过复杂的建模、渲染流程才能完成,在“3D MoMa”技术下,仅需配合具备AI加速核心GPU,即可在1小时内产生3D模型,并且可兼容多数3D绘图引擎与建模工具,同时也能快速套用材质贴图、物理效果,以及即时光影表现,让创作者能更快调整,用于创作3D影片内容。

    在英伟达提供的技术演示中,GPU通过对各100张图片进行分析识别,而完成了对小号、长号、萨克斯、架子鼓和单簧管5种乐器的3D建模,并可导入游戏引擎、3D建模软件和电影渲染软件等工具中。英伟达还称,创作者可以对模型替换不同物理贴图,改变光影变化效果等,进一步提高建模的拟真效果。

    在英伟达内部,将逆渲染技术结合AI技术并实用化,是其努力方向,游戏是潜在的用途之一。目前在游戏业界,摄影测量技术是近年流行的3D建模方案,赛车游戏《极限竞速:地平线》和恐怖游戏《生化危机7》均采用了此技术,开发人员通过拍摄大量高精度照片,重构后建模为精细的3D模型,提高了游戏画面品质。

    摄影测量需要动用大量高精度摄影器材,且拍摄条件要求苛刻,难以大规模在行业内使用。英伟达还指出,目前行业虽然惯用的摄影测量技术创建3D物体,但该方法需要耗费大量的时间和精力。如果“3D MoMa”被广泛使用,设计师就不需要从头开始建模,还可节约大量的建模和渲染时间,此外,“3D MoMa”还支持设计师自主调整模型,提高模型成品质量。