机器之心专栏
机器之心编辑部
近日，腾讯宣布推出一项名为 Paint3D 的技术，它能够根据文本或图像输入，为无纹理的 3D 模型生成高分辨率、无光照且多样化的纹理贴图，对任何 3D 物体进行纹理绘制。
效果演示视频链接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650902583&idx=4&sn=f6dc3e249733814aedb8d01a86aa899c&chksm=84e45449b393dd5f5f2daaf40751040789796ca82975d03e20462fa95f82873d9243de094ac8&token=452211561&lang=zh_CN#rd
相关技术论文已经公开。
- 项目主页：https://paint3d.github.io/
- 论文地址：https://arxiv.org/abs/2312.13913
- Code: https://github.com/OpenTexture/Paint3D
据论文介绍，这项技术主要解决的挑战是如何生成没有内嵌光照信息的高质量纹理，使得生成的纹理能够被重新照明或重新编辑，直接应用于现有的渲染管道。
Paint3D 通过引入预训练 2D 图像生成模型来获取文字和图像输入的引导能力，从不同的提示中概括出丰富且高质量的纹理。在此基础上，Paint3D 利用 3D 数据高质量的无照明纹理作为监督，在 UV 纹理空间上训练无光照扩散模型，生成无光照纹理。这些纹理没有内嵌光照阴影效果，同时保持了语义一致性，大大提升了 3D 模型纹理生成方面的最优效果。
3D 生成领域学者 Yawar Siddiqui 评价道：「终于有一种无内嵌光照的纹理生成方法了，结果非常出色，是我所见过的最好的纹理生成方法！」
推特用户 COBALT 评价道：「这真是令人难以置信，对视频游戏开发的未来感到兴奋，这些强大的工具可以加速进程！」
方法概述
两阶段纹理生成框架
为了基于输入条件（如文字信息或图像）合成高质量且多样化的 3D 模型纹理贴图，Paint3D 的研究人员设计了一个由粗到精细的框架，逐步生成和改进纹理贴图。
该框架主要分为粗糙纹理生成和纹理细化两个阶段：1）在粗糙阶段，从预训练的 2D 图像扩散模型中采样多视角图像，然后将这些图像反投影到网格表面上，创建初始纹理贴图。2）在细化阶段，通过在 UV 空间中执行扩散过程来增强粗糙纹理贴图，实现无光照、修复和高清功能，以确保最终纹理的高质量和完整性。
