新智元报说念2024年iba三公

裁剪：LRS

【新智元导读】来自华南理工大学的商量团队建议了一种基于文本驱动的三维模子及材质生成标准Fantasia3D，是第一个被继承的大要产生传神效果的AIGC3D职责。

受益于预考验的大型讲话模子和图像扩散模子（Satble Diffusion等）的可用性，自动化三维实质生成近期取得了快速发扬。

现存的文本到三维模子的生成标准同样使用NeRF等隐式抒发，通过体积渲染将几何和外不雅耦合在一王人，但在规复更细致的几何结构和达成传神渲染方面存在不及，是以在生成高质料三维财富方面效果较差。

在这项商量中，华南理工大学建议了一种用于高质料文本到三维实质创建的新标准Fantasia3D，枢纽之处在于对几何和外不雅进行解耦的建模和学习。

式样地址：https://fantasia3d.github.io/

关于几何学习，Fantasia3D依赖于显隐式勾搭的抒发，并建议将渲染的名义法线图编码为Satble Diffusion的输入；关于外不雅建模，Fantasia3D引入了空间变化的双向反射率散布函数（BRDF）到文本生成三维模子的任务中，并学习生成名义的传神渲染所需的名义材质。

解耦框架兼容现在的图形引擎，支持生成的三维资源的从头照明、裁剪和物理仿真。

商量东说念主员也进行了全面的执行，展示了该标准在不同的文本到三维生成任务诞生下相干于现存标准的上风。

模子效果

关于给定的文本，Fantasia3D大要生成具有不同拓扑模式的三维模子以及具有像片级真正感的渲染名义。

同期，如下图1中右上角的狮子所示，由于使用了BRDF建模名义，Fantasia3D能产生较强的金属反射效果。

图1：三维模子生见效果

同期，Fantasia3D支持凭据用户给定的粗陋三维物体和文本进行生成。

如下图2所示，给定一个粗陋的三维模子，Fantasia3D可将输入的粗陋模子行为运滚动生成三维模子，这种优化方式可让生成过程愈加速速和透露，缓解文本到三维模子生成中的多面问题（Janus Problem）。

2024年iba三公

图2：凭据用户给定的粗陋三维模子和文本进行生成。

另外，不同于现存的基于隐式抒发（NeRF等）的标准，Fantasia3D取舍了显隐式相勾搭的抒发，生成的3D财富不错很好地与现存的图形渲染和仿真引擎相勾搭。

如下图3 (a) (b) 所示，生成的三维模子不错导入Blender中进行布料和软体的物理仿真，图3 (c) 则展示了用Blender替换生成材质的执行落幕。

图3: 在Blender中进行裁剪。

如下图4 (a) 所示，Fantasia3D生成的模子还可在Blender中替换不同的光照，从而产生不同的渲染效果。

(b) 中展示了将Fantasia3D生成的物体插入其他场景中的智商，插入的物体能与原环境中的光照环境进行交互，从而产生当然的反射效果。

图4: 给生成物体进行从头打光。

旨趣标准

Fantasia3D的标准概览如下图5所示。咱们的标准不错凭据文本辅导生成解耦的几何和外不雅（见图 (a) ），二者折柳通过 (b) 几何建模和 (c) 外不雅建模生成。

在 (b) 中，咱们取舍DMTet行为咱们的三维几何示意，这里运滚动为一个三维椭球体。

为了优化DMTet的参数，咱们将从DMTet索求的网格的法线贴图（在早期考验阶段还会同期使用物体掩码）渲染为Stable Diffusion的模式编码。

在 (c) 中，关于外不雅建模，咱们引入了空间变化的双向反射率散布函数（BRDF）建模，并学习研究外不雅的三个重量（即kd、krm和kn）。几何和外不雅建模都由分数蒸馏采样耗费函数（SDS loss）进行监督。

图5: Fantasia3D历程图。

回来

本文先容了一种名为Fantasia3D的自动化文本到三维生成的新标准，基于DMTet的羼杂抒发，取舍几何和外不雅的解耦建模和学习，大要生成细致的名义和丰富的材质/纹理。

关于几何学习，商量东说念主员建议将渲染的法线贴图编码，并将法线的模式编码行为预考验的Stable Diffusion的输入。

关于外不雅建模，引入了空间变化的BRDF到文本生成三维对任务中，从而达成对学习名义的传神渲染所需的材质的学习。

除了文本辅导外，该标准还不错凭据自界说的三维模式来生成，这对用户来说愈加天真，不错更好地限度生成的实质。

另外，该标准还便捷支持生成的三维财富的从头照明、裁剪和物理仿真。

作家先容

陈锐是又名华南理工大学的在读研一学生，导师是贾奎考验。他的商量艳羡在于计较机视觉和计较机图形学的勾搭，相配是使用生成模子和基于物理的渲染技巧创建高质料的3D财富限制。

个东说念主主页：https://cyw-3d.github.io/

陈永炜，华南理工大学GorillaLab商量生三年齿。师从贾奎考验，商量地点为三维视觉，多模态学习，可微渲染，扩散模子等，相干商量职责曾在CVPR、ECCV、NeurIPS、ICCV等计较机视觉和东说念主工智能顶级会议上发表。近期商量地点侧重探索大要自动生成3D财富的AI模子，包括材质、模式、动作和其他相干参数。

个东说念主主页：http://kuijia.site/

贾奎，华南理工大学考验，几何感知与智能执行室主任，广东省「珠江东说念主才遐想」翻新创业团队带头东说念主。曾先后于中科院深圳先进技巧商量院、香港华文大学、伊利诺伊大学香槟分校先进数字科学商量中心、及澳门大学从事涵养和科研职责。

商量限制包括计较机视觉、机器学习、东说念主工智能等，连年来主要侧重于深度学习表面与泛化、几何深度学习、以及3D AIGC等商量；落幕发表于TPAMI/CVPR/ICML/NeurIPS等顶级期刊默契议。担任TMLR/TIP等期刊副主编及ICML/ICCV/NeurIPS等会议限制主席。

几何感知与智能执行室（Gorilla Lab）聚焦机器学习、计较机视觉、三维感知等东说念主工智能中枢地点，侧重从语义感知和实质生成等角度，以学习数据内在的几何规则性和外皮的几何表征为中枢标准教学，对图像、视频、点云等高维数据进行智能处治，以鼓吹相干限制发展和产业化落地。自修复以来，执行室先后获取来自国度当然科学基金委、广东省科技厅、等数千万的经费支持。

皇冠客服飞机：@seo3687

贾奎考验执行室提供多个博士后、博士、商量型硕士及商量助理岗亭，有艳羡从事东说念主工智能、计较机视觉、三维感知与生成商量的同学，请发信至 kuijia@gmail.com 。

参考良友：

《智慧新城数据谷》组照一 上游新闻签约摄影 许可 摄

皇冠体育

https://fantasia3d.github.io/