0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

借助NVIDIA技术,用AI赋能3D内容生成

丽台科技 来源:NVIDIA英伟达企业解决方案 2023-03-30 11:04 次阅读

KIRI Innovations是一家面向全球市场的 AI 公司,致力于通过前沿技术赋能 3D 内容制作,降低 3D 内容生产的门槛。公司拥有 3D 重建引擎 KIRI Engine,通过手机拍照即可实现对物体的超写实 3D 建模。

bff8019c-ce96-11ed-bfe3-dac502259ad0.jpg

KIRI Engine 生成的 3D 模型素材 拥有逼真的纹理材质信息 上线短短几个月的时间内,KIRI Engine 全球用户已突破 30 万人,且还在快速增长中,其中包括 Google、Roblox、EA、Epic Games、Meta 等元宇宙企业用户。用户通过 KIRI Engine App 或 KIRI Engine 网页端将围绕物体拍摄的照片上传至云端进行处理,就可以获得和现实物体一模一样的 3D 模型素材,再将这些逼真的 3D 模型素材应用在各种包括 VR 场景、3D 游戏、影视特效在内的 3D 内容制作中。

c00947d6-ce96-11ed-bfe3-dac502259ad0.jpg

用户使用 KIRI Engine 生成的 3D 模型 出现在各种 3D 游戏、VR 场景,甚至影视作品中 KIRI Engine 的背后,是一套部署在云端的神经网络重建算法,能够通过多角度照片集或视频,对现实物体生成具有纹理材质信息和几何信息的超写实 3D 模型。这种重建算法的计算量非常巨大,使用传统解决方案意味着消耗大量的算力资源和成本。KIRI Engine 使用NVIDIAGPU在云端进行计算,一片 GPU 负责进行复杂的神经网络训练,另一片 GPU 则负责模型推理,将训练好的模型移至这片 GPU 主机上,通过输入新的数据来获得想要的结果,也会进行相对简单的图像处理和点云匹配计算任务,同时依靠NVIDIA CUDA进行加速,使得计算成本得以减少数百倍至每个模型几角钱。 KIRI Engine 的核心价值不仅在于用更低的成本为 3D 开发者提供 3D 重建工具,更在于通过快速增长的用户在云端积累海量 3D 数据集。随着 AI 带来的创作变革,AI 生成 3D 模型将会是下一个生成式 AI 的主战场,而高度标准化的 3D 数据集是 AI 生成 3D 模型的必要条件。在生成式 AI 全面到来的时代,KIRI 正在面对一个更大的市场和全新的挑战。

如何兼顾降低计算成本

与提升 3D 重建水平

传统的照片 3D 建模技术对 CPU 非常依赖,但 CPU 的硬件限制使得这种方法的成本过高,所以其应用领域主要是资金充裕的大型企业和政府项目。人们与信息的交互方式正在因 VR/XR 的技术突破而经历从 2D 向 3D,和从信息互联到空间互联的范式转移。这种范式转移将极大带动市场对 3D 内容的需求,显然过去高成本的 3D 建模技术无法适应市场的变化。因此,需要探索一种新的计算方式,在满足不断增加的 3D 重建需求的同时,还要颠覆性地降低计算成本。

c01890b0-ce96-11ed-bfe3-dac502259ad0.png

three.js 脚本在 Github 的周下载量 three.js 脚本作为制作 3D 内容必不可少的工具之一,其下载量趋势能侧面反映出全球 3D 内容的增长趋势;而从表中可以看出 three.js 脚本在 Github 的周下载量在一年的时间内翻了一倍,以此足以看出 3D 化的范式转移在以惊人的速度渗透人们的交互方式。 在算法层面,KIRI 开创性地使用了神经网络和视觉算法混合计算的方法。这样的优势在于神经网络重建能够更好地还原一些无法被视觉算法重建的物体,例如高度反光或透明的物体,但对于特征点足够多的物体,视觉算法能够捕捉到更多的表面细节。 因为神经网络的加入,使用 GPU 是必然的选择,因此使用 CPU+GPU 异构计算,尽管拥有 CPU+GPU 的服务器价格大概会是同级别的 CPU 价格的 2 倍,但计算时间可以大概节约 11 倍。(用机器学习进行 3D 模型的纹理贴图计算,CPU 需耗时 1600 秒,但 GPU 只需 130 秒。) 同时对 3D 重建任务进行 CUDA 加速并加入扩/缩容机制 。在计算任务少的时候只使用单台 GPU 确保运行稳定,计算任务一旦开始变多,云架构能够自动扩容,最多使用数十台服务器并行运算。这样一来,通过 CUDA 加速的神经网络算法能够在大幅度降低单次运行的时间成本,而扩/缩容机制在确保用户体验的同时避免资源浪费。

NVIDIA 为 KIRI 提供高效稳定算力支持

基于以上考量,KIRI 选择 NVIDIA 的产品生态来提供支持。因为 NVIDIA 产品生态的多样性能够满足全部技术需求,且提供高效稳定的算力支持。 NVIDIA CUDA:通过 CUDA 进行计算加速是 KIRI Engine 得以高效且低成本运行的重要原因之一。在传统纯 CPU 运行环境里,哪怕是运行最简单的 3D 重建算法也需要花费 20-60 分钟的时间。而通过 CUDA 加速后,KIRI 目前的重建算法只需要 5 分钟。(甚至 KIRI 正在努力尝试达到 25 秒内生成 3D 模型的加速。) NVIDIA GPU:KIRI 使用 NVIDIA GPU 来进行神经网络模型的训练。神经辐射场重建模型往往需要数个小时才能完成训练,但通过 GPU 与 CUDA 的配合,再加上 KIRI 对算法的优化,目前在 KIRI Engine 上完成神经辐射场模型训练只需要 25 分钟。( KIRI 也在努力对架构和算法进行优化,力争两个月内能够将神经网络模型的训练缩减到 5 分钟以内。)

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4848

    浏览量

    102705
  • AI
    AI
    +关注

    关注

    87

    文章

    29780

    浏览量

    268063

原文标题:借助 NVIDIA 技术,用 AI 赋能 3D 内容生成

文章出处:【微信号:Leadtek,微信公众号:丽台科技】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    中兴通讯全场景AI终端应用与裸眼3D新品亮相

    ”的产品战略与理念,终端业务六大AI主题展示吸引了众多关注,内容覆盖全球领先的AI裸眼3DAI同声传译和方言互译、
    的头像 发表于 10-15 10:00 567次阅读

    使用NVIDIA Edify助力的服务创建3D资产和虚拟环境照明

    使用 NVIDIA Edify 助力的服务创建 3D 资产和虚拟环境照明,或是减半生成图像时间。
    的头像 发表于 08-02 15:22 391次阅读

    欢创播报 腾讯元宝首发3D生成应用

    App。 腾讯元宝APP发布时,就围绕工作效率场景、日常生活等场景提供了丰富的应用,并有创建个人智能体等个性化体验,“3D角色梦工厂”则将大模型生成技术3D应用结合,进一步创新了元宝
    的头像 发表于 07-18 11:39 687次阅读
    欢创播报 腾讯元宝首发<b class='flag-5'>3D</b><b class='flag-5'>生成</b>应用

    Meta推出革命性3D Gen AI模型:1分钟内生成高质量3D内容

    在科技日新月异的今天,Meta再次引领创新潮流,宣布了一项令人瞩目的技术突破——3D Gen AI模型的诞生。这款先进的模型以其前所未有的高效性与卓越品质,重新定义了3D
    的头像 发表于 07-04 18:12 955次阅读

    奥比中光3D相机打造高质量、低成本的3D动作捕捉与3D动画内容生成方案

    高质量、低成本的3D动作捕捉与3D动画内容生成方案。 Moverse公司总部位于希腊塞萨洛尼基,是三维动画相关媒体和娱乐行业的一家科技创业公司。基于奥比中光
    的头像 发表于 06-25 16:37 987次阅读

    借助NVIDIA Omniverse加速汽车行业3D营销内容制作

    借助 NVIDIA Omniverse™ Enterprise,比特视界加快了制作周期、改善了与团队和客户的协作并降低了项目的总体成本。
    的头像 发表于 05-16 10:27 1008次阅读
    <b class='flag-5'>借助</b><b class='flag-5'>NVIDIA</b> Omniverse加速汽车行业<b class='flag-5'>3D</b>营销<b class='flag-5'>内容</b>制作

    3C薄片自动化上料,3D视觉技术如何

    随着制造业的快速发展,3C行业对薄片类零件的上料需求日益增长。传统的上料方式往往依赖于人工操作,效率低下且存在误差。为了解决这一问题,3D视觉技术应运而生,为3C薄片自动化上料提供了强
    的头像 发表于 04-17 14:29 392次阅读
    <b class='flag-5'>3</b>C薄片自动化上料,<b class='flag-5'>3D</b>视觉<b class='flag-5'>技术</b>如何<b class='flag-5'>赋</b><b class='flag-5'>能</b>?

    NVIDIA生成AI研究实现在1秒内生成3D形状

    NVIDIA 研究人员使 LATTE3D (一款最新文本转 3D 生成AI 模型)实现双倍加速。
    的头像 发表于 03-27 10:28 451次阅读
    <b class='flag-5'>NVIDIA</b><b class='flag-5'>生成</b>式<b class='flag-5'>AI</b>研究实现在1秒内<b class='flag-5'>生成</b><b class='flag-5'>3D</b>形状

    NVIDIA Edify多模态架构升级,引领视觉生成AI新纪元

    NVIDIA近日宣布,其用于视觉生成AI的多模态架构Edify迎来重大更新,为开发者和视觉内容提供商带来前所未有的新功能。其中,3D资产
    的头像 发表于 03-27 10:22 383次阅读

    NVIDIA Edify为视觉内容提供商带来3D生成AI和全新图像控件

    用于视觉生成AI 的多模态架构 NVIDIA Edify 正在迈入全新维度。
    的头像 发表于 03-26 09:49 638次阅读

    Stability AI推出全新Stable Video 3D模型

    近日,Stability AI 推出了全新的 Stable Video 3D 模型,该模型以其独特的功能吸引了众多关注。此模型具备从单张图像中生成多视图3D视频的能力,为视频制作领域带
    的头像 发表于 03-22 10:30 747次阅读

    Adobe Substance 3D整合AI功能:基于文本生成纹理、背景

    Substance 3D Stager是以Adobe Dimension为基础改造而成,使用者可直观地进行3D场景构建,包括模型、材质和灯光等要素。借助其强大功能,能够生成极具观赏性的
    的头像 发表于 03-20 10:28 643次阅读

    Adobe提出DMV3D3D生成只需30秒!让文本、图像都动起来的新方法!

    因此,本文研究者的目标是实现快速、逼真和通用的 3D 生成。为此,他们提出了 DMV3D。DMV3D 是一种全新的单阶段的全类别扩散模型,
    的头像 发表于 01-30 16:20 775次阅读
    Adobe提出DMV<b class='flag-5'>3D</b>:<b class='flag-5'>3D</b><b class='flag-5'>生成</b>只需30秒!让文本、图像都动起来的新方法!

    3D人体生成模型HumanGaussian实现原理

    和驱动等。为了自动化 3D 内容生成,此前的一些典型工作(比如 DreamFusion [1] )提出了分数蒸馏采样 (Score Distillation Sampling),通过优化 3D
    的头像 发表于 12-20 16:37 1466次阅读
    <b class='flag-5'>3D</b>人体<b class='flag-5'>生成</b>模型HumanGaussian实现原理

    阿迪达斯与 Covision Media 使用 AINVIDIA RTX 创建逼真的 3D 内容

    Covision Media 正在使用 AINVIDIA RTX 改进 3D 扫描流程和 3D 内容创建。 Covis
    的头像 发表于 11-28 18:45 599次阅读
    阿迪达斯与 Covision Media 使用 <b class='flag-5'>AI</b> 和 <b class='flag-5'>NVIDIA</b> RTX 创建逼真的 <b class='flag-5'>3D</b> <b class='flag-5'>内容</b>