0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

华南理工贾奎团队ICCV'23新作:支持重新照明、编辑和物理仿真

3D视觉工坊 来源:新智元 2023-07-29 16:25 次阅读

【导读】来自华南理工大学的研究团队提出了一种基于文本驱动的三维模型及材质生成方法Fantasia3D,是第一个被接收的能够产生逼真效果的AIGC3D工作。

受益于预训练的大型语言模型和图像扩散模型(Satble Diffusion等)的可用性,自动化三维内容生成近期取得了快速进展。

现有的文本到三维模型的生成方法通常使用NeRF等隐式表达,通过体积渲染将几何和外观耦合在一起,但在恢复更精细的几何结构和实现逼真渲染方面存在不足,所以在生成高质量三维资产方面效果较差。

在这项研究中,华南理工大学提出了一种用于高质量文本到三维内容创建的新方法Fantasia3D,关键之处在于对几何和外观进行解耦的建模和学习。

014603e6-2d61-11ee-815d-dac502259ad0.png

项目地址:https://fantasia3d.github.io/

对于几何学习,Fantasia3D依赖于显隐式结合的表达,并提出将渲染的表面法线图编码为Satble Diffusion的输入;对于外观建模,Fantasia3D引入了空间变化的双向反射率分布函数(BRDF)到文本生成三维模型的任务中,并学习生成表面的逼真渲染所需的表面材质。

解耦框架兼容目前的图形引擎,支持生成的三维资源的重新照明、编辑和物理仿真

研究人员也进行了全面的实验,展示了该方法在不同的文本到三维生成任务设置下相对于现有方法的优势。

模型效果

对于给定的文本,Fantasia3D能够生成具有不同拓扑形状的三维模型以及具有照片级真实感的渲染表面。

同时,如下图1中右上角的狮子所示,由于使用了BRDF建模表面,Fantasia3D能产生较强的金属反射效果。

015caac4-2d61-11ee-815d-dac502259ad0.gif

图1:三维模型生成效果

同时,Fantasia3D支持根据用户给定的粗糙三维物体和文本进行生成。

如下图2所示,给定一个粗糙的三维模型,Fantasia3D可将输入的粗糙模型作为初始化生成三维模型,这种优化方式可让生成过程更加快速和稳定,缓解文本到三维模型生成中的多面问题(Janus Problem)。

05d59822-2d61-11ee-815d-dac502259ad0.gif

图2:根据用户给定的粗糙三维模型和文本进行生成。

另外,不同于现有的基于隐式表达(NeRF等)的方法,Fantasia3D采用了显隐式相结合的表达,生成的3D资产可以很好地与现有的图形渲染和仿真引擎相结合。

如下图3 (a)(b) 所示,生成的三维模型可以导入Blender中进行布料和软体的物理仿真,图3 (c) 则展示了用Blender替换生成材质的实验结果。

081e90f2-2d61-11ee-815d-dac502259ad0.gif

图3: 在Blender中进行编辑。

如下图4 (a) 所示,Fantasia3D生成的模型还可在Blender中替换不同的光照,从而产生不同的渲染效果。

(b) 中展示了将Fantasia3D生成的物体插入其他场景中的能力,插入的物体能与原环境中的光照环境进行交互,从而产生自然的反射效果。

0b13a068-2d61-11ee-815d-dac502259ad0.png

图4: 给生成物体进行重新打光。

原理方法

Fantasia3D的方法概览如下图5所示。我们的方法可以根据文本提示生成解耦的几何和外观(见图(a)),二者分别通过(b)几何建模和(c)外观建模生成。

在(b)中,我们采用DMTet作为我们的三维几何表示,这里初始化为一个三维椭球体。

为了优化DMTet的参数,我们将从DMTet提取的网格的法线贴图(在早期训练阶段还会同时使用物体掩码)渲染为Stable Diffusion的形状编码。

在(c)中,对于外观建模,我们引入了空间变化的双向反射率分布函数(BRDF)建模,并学习预测外观的三个分量(即kd、krm和kn)。几何和外观建模都由分数蒸馏采样损失函数(SDS loss)进行监督。

0b5679ce-2d61-11ee-815d-dac502259ad0.png

图5: Fantasia3D流程图。

总结

本文介绍了一种名为Fantasia3D的自动化文本到三维生成的新方法,基于DMTet的混合表达,采用几何和外观的解耦建模和学习,能够生成精细的表面和丰富的材质/纹理。

对于几何学习,研究人员提出将渲染的法线贴图编码,并将法线的形状编码作为预训练的Stable Diffusion的输入。

对于外观建模,引入了空间变化的BRDF到文本生成三维对任务中,从而实现对学习表面的逼真渲染所需的材质的学习。

除了文本提示外,该方法还可以根据自定义的三维形状来生成,这对用户来说更加灵活,可以更好地控制生成的内容。

另外,该方法还方便支持生成的三维资产的重新照明、编辑和物理仿真。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 3D
    3D
    +关注

    关注

    9

    文章

    2863

    浏览量

    107330
  • 自动化
    +关注

    关注

    29

    文章

    5518

    浏览量

    79108
  • 语言模型
    +关注

    关注

    0

    文章

    508

    浏览量

    10245

原文标题:超逼真3D生成模型!华南理工贾奎团队ICCV'23新作:支持重新照明、编辑和物理仿真

文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    PA6000中标华南理工大学省汽车工程重点实验室

    在能源成本和环境污染压力问题不断加剧的背景下,华南理工大学机械与汽车工程学院不断加大新能源汽车的研究投入。PA6000高精度功率分析仪是电动汽车驱动系统测试平台的核心组成部分,具有业界最高0.02%的测量精度、支持7通道功率输入测量、60GB超大容量存储等特点,为电动汽车
    发表于 12-11 09:51 1757次阅读

    华南理工大学硕士学位论文基于ARM和DSP的嵌入式DVR硬件设...

    华南理工大学硕士学位论文基于ARM和DSP的嵌入式DVR硬件设计姓名_...
    发表于 08-17 13:52

    制冷技术试卷试题-(含工程热力学)华南理工大学2004年研究

    制冷技术试卷试题-(含工程热力学)华南理工大学2004年研究生入学考试试卷 一、判断并改错(每题4分,共32分)1. 蒸汽压缩式制冷循环遵循热力学第一定律,即要得
    发表于 01-08 15:26 32次下载

    不可压缩流体力学试题试卷-华南理工大学2004年研究生入学考

    华南理工大学2004年硕士研究生入学考试试题(不可压缩流体力学)
    发表于 01-08 15:33 6次下载
    不可压缩流体力学试题试卷-<b class='flag-5'>华南理工</b>大学2004年研究生入学考

    土力学试题试卷-华南理工大学2006年研究生入学考试试卷

    华南理工大学2006年攻读硕士学位研究生入学考试试卷(试卷上做答无效,请在答题纸上做答,试后本卷必须与答题纸一同交回)科目名称:土力学适用专业:岩土工程 
    发表于 01-08 16:03 13次下载

    C++(华南理工课件)

    C++(华南理工课件)
    发表于 04-09 17:51 0次下载
    C++(<b class='flag-5'>华南理工</b>课件)

    中山市小榄镇LED技术培训课程

    LED照明光学设计技术 华南理工大学 目录 照明基础 道路照明设计 LED光学设计
    发表于 01-17 10:00 0次下载
    中山市小榄镇LED技术培训课程

    华南理工大学叶建山教授:电化学传感器发展步入“春天”

      多年来,华南理工大学叶建山教授一直从事纳米电化学、传感器及生物传感器和电化学分析仪器等方面的研究工作,2001年至2006年间任职于新加坡国立大学,回国后任华南理工大学化
    发表于 04-27 09:52 5916次阅读

    华南理工大学实现了量子点可控生长

    栏目第二期为大家介绍的是来自华南理工大学发光材料与器件国家重点实验室董国平课题组的研究成果,其课题组在钙钛矿量子点的制备方法上进行创新,实现了量子点可控生长,发现了钙钛矿量子点猝灭后通过
    的头像 发表于 09-26 09:31 3079次阅读

    让每一度电更聪明,华南理工大学的师生项目团队如何智慧用能

        #听他们自己说华南理工大学的师生项目团队是如何智慧用能,节约用电的?一起来看看他们怎么说吧!   一个企业用电有多浪费? 走进任意一间写字楼里,夏天的空调冷风吹得让人直打颤,耗能巨大;大多
    的头像 发表于 12-28 14:16 3344次阅读

    普渡科技和华南理工大学再次达成友好合作

    时至今日,普渡华南虎战队在RoboMaster 2021机甲大师超级对抗赛上的精彩表现仍然历历在目。在新的一年里,普渡和华南理工大学再次达成了友好合作,华南理工“普渡杯”第十七届智能控制大赛如期而至。
    的头像 发表于 04-27 15:34 2258次阅读

    【节能学院】安科瑞远程预付费系统在华南理工国际校区的设计与应用

    项目概况华南理工大学广州国际校区是华工继五山校区、大学城校区后新建的第三个校区,该校区选址于番禺区南村镇,与广州大学城隔岸相望。广州国际校区是国内“中方为主,国际协同”的大学国际校区,目前已与英国
    的头像 发表于 01-30 10:20 742次阅读
    【节能学院】安科瑞远程预付费系统在<b class='flag-5'>华南理工</b>国际校区的设计与应用

    雷曼与华南理工大学联动打造LED全系列产品和解决方案生态

      7月2日,华南理工大学2023年电子与信息学院首届发展大会暨庆祝无线电系复办65周年大会成功举办。雷曼董事长兼总裁李漫铁作为华南理工大学1986级无线电专业杰出校友代表受邀出席并发表致辞
    的头像 发表于 07-04 11:17 607次阅读

    曙光液冷ParaStor存储系统为华南理工大学实现全栈式液冷数据中心建设

    11月,“数字中国万里行”探访业内首个成功部署的存算一栈式液冷数据中心——华南理工大学液冷数据中心。这是“万里行”活动继重庆、青岛之后的第三站,由华南理工大学副首席信息官兼网信办主任陆以勤,信息网络
    的头像 发表于 11-26 11:05 985次阅读

    比亚迪158亿现金收购捷普电子制造业务,国家重点研发计划的传感器项目获批立项

    传感新品 【华南理工大学:研究用于食品新烟碱类农残的识别-化学传感技术最新应用】 近日,华南理工大学孙大文院士课题组在食品领域的国际权威期刊《Critical Reviews in Food
    的头像 发表于 01-11 18:30 1132次阅读
    比亚迪158亿现金收购捷普电子制造业务,国家重点研发计划的传感器项目获批立项