AI-3D设计GET3D
英文版,GET3D:一种从图像中学习高质量3D纹理形状的生成模型。
过两个潜在编码生成一个3D SDF和纹理场。我们利用DMTet从SDF中提取3D表面网格,并在表面点查询纹理场以获得颜色。我们使用在2D图像上定义的对抗性损失进行训练。
特别地,我们使用基于光栅化的可微分渲染器来获取RGB图像和轮廓。我们利用两个2D鉴别器,分别对RGB图像和轮廓进行分类,以区分输入是真实的还是假的。整个模型是端到端可训练的。
随着多个行业向建模海量3D虚拟世界的方向发展,需要能够在3D内容的数量、质量和多样性方面进行扩展的内容创作工具变得越来越明显。
在我们的工作中,我们旨在训练性能良好的3D生成模型,合成纹理网格,这些网格可以直接被3D渲染引擎使用,因此可以立即在下游应用中使用。之前关于3D生成建模的工作要么缺乏几何细节,要么受到所能生成的网格拓扑的限制,通常不支持纹理,或者在合成过程中利用神经渲染器,这使得它们在常见的3D软件中的使用并不容易。在这项工作中,我们介绍了GET3D,一种生成显式纹理的3D网格模型,具有复杂的几何细节。
官方网站:GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images (nvidia.com)