0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA 赋能 Cyanpuppets 打造实时 2D 视频生成 3D 骨骼 AI 转换模型

NVIDIA英伟达 来源:未知 2023-04-07 02:30 次阅读

青色木偶科技 Cyanpuppets致力于 AI 图像算法技术和实时渲染平台工具,是一家以卷积神经网络和深度神经网络算法为核心,打造自研 AI 模型架构、实现虚拟与现实世界驱动协作的 AIGC 技术公司。其自研 CYAN.AI 平台结合 NVIDIA GPU 算力,实现了 2D 视频生成 3D 动作数据,具备三维空间自由人体运动,能够为全球用户提供 AI 无穿戴动作捕捉技术、虚拟社交全身互动技术、3D 动画制作工具与三维空间预演技术。

数字化身的低成本实时驱动

成为一大挑战

游戏开发商 Epic Games 的首席执行官 Tim Sweeney曾提到,“元宇宙将是一种前所未有的大规模参与式媒介,所有用户都可以参与、创造、分享并从中获利,而用户的虚拟数字化身(Avatar)可以自由地在不同平台之间穿梭”。随着 AI 算力和计算机图形渲染技术的蓬勃发展,人类对于自由地在不同数字平台中穿梭,并随时进入虚拟世界的数字化身 Avatar 提出了更高的要求:如何轻便快捷地让数字化身真实地表达人类的动作意愿与情感,并将人类的动作实时迁移至虚拟化身上,成为关键性挑战之一,细分为以下几个具体的问题:

  • 复杂的技术流程

    从面部表情、手指动作到肢体动作,每个模块往往由不同的技术方案构成,数据的同步性与流程的一体化构建面临巨大的技术投入和人力成本挑战。

  • 高昂的捕捉成本

    体验与成本不可兼得,市面上效果较为一般的半身视觉动捕无法满足 Avatar 的技术要求,而较为精准的光学捕捉与惯性捕捉,动辄数十万的投入又使得 Avatar 成本居高不下。较高的成本让普通民众无法参与数字内容体系的建设,也无法享受技术时代带来的新体验。

  • 割裂的数字孤岛

    虚拟化身的骨骼标准难以统一,不同的制作软件、绑定系统和图形渲染引擎会形成割裂的多个数字孤岛,因此不仅每次虚拟化身穿梭到不同平台带来的资产迁移成本很高,而且难以形成一个整体性的虚拟化身世界。

  • 糟糕的捕捉体验

    身上穿戴着复杂且繁重的动作捕捉传感器,使得数字化身的使用体检较为糟糕,长时间穿戴带来的不适感与疲惫感也让元宇宙成为了难以进入的宇宙。

NVIDIA GPU 助力 Cyanpuppets

打造 AI 驱动模型赋能Avatar发展

基于以上问题,Cyanpuppets 选择了 NVIDIA 平台多个产品提供支持,在多张NVIDIA GeForce RTX3080Ti的算力支持下,参考主流 AI 框架 TensorFlow、PyTorch、Caffe 等,对 COCO、ORGBD 等数据集进行长期训练。硬件终端上采用  GeForce RTX 3060 /3070/3080等系列硬件给软件系统带来了稳定性保障和流畅体验感。同时,使用Deep Learning Super Sampling(DLSS)这项 AI 深度学习技术,为用户提供极致的画面渲染效果。

NVIDIA GPU赋能下,CYAN.AI 以 CNN 和 DNN 为底层核心训练了近万小时的数据集,在同步的 2D 视频流中提取人体动作的关键特征做人体姿态识别,追踪人体超过 208 个关键点,结合动力学、生物力学生成人体运动的建模算法,一体化完成面部、表情与肢体共 208 点无穿戴、无标记的高精度捕捉。

CYAN.AI 构建了一个全新的骨骼系统,通过合成数据算法对主流的 Unreal Skeleton Asset、Daz、CC、Unity avatar 和 metahuman 的模型骨骼系统进行匹配映射,让虚拟化身的全身驱动不再是一个个割裂的数字孤岛。

在硬件优化环节,通过对 NVIDIA GPU 算力进行分布式的算力调配,仅需成本数百元的 RGB 摄像头就能获取视频流,进行插值异构即可实现更低延迟的数据信息吞吐与数据画面合成。

结合 NVIDIA GPU 算力支持,算法模型以低至 0.1s 的延迟实现了超低延时的视觉动作捕捉,同时辅助动捕特征平滑算法、图像识别多目协同算法、空间检测、定位算法和重定向算法等多种算法,即使在复杂、狭小且充满干扰物的使用环境中,CYAN.AI 依然可以稳定、高效、高精度地动作捕捉迁移。

AIGC 行业是当前最受关注的人工智能领域之一,算力与算法带来的生产力提升,让每个个体都切实感受到新时代的来临。传统的行业纷纷拥抱 AI 生成科技进行产业升级,从文字生成图片,图片生成视频再到视频生成 3D,这是一个长久进化的趋势,Cyanpuppets 正处于 2D 生成 3D 的关键环节。NVIDIA 提供的 GPU 解决方案,解决了深度学习和机器学习的技术难题,使得我们可以持续不断地创新算法模型,拓宽应用场景,并通过 CYAN.AI 平台为全球不同行业、不同场景的用户搭建虚拟现实协作的桥梁、虚拟化身的实时驱动方案。” 青色木偶科技 Cyanpuppets CEO 李宗兴表示。

NVIDIA 初创加速计划

青色木偶科技 Cyanpuppets是 NVIDIA 初创加速计划 (NVIDIA Inception) 会员企业。NVIDIA 初创加速计划为免费会员制,旨在培养颠覆行业格局的优秀创业公司。该计划联合国内外知名的风投机构,创业孵化器,创业加速器,行业合作伙伴以及科技创业媒体等,打造创业加速生态系统。能够提供产品折扣,技术支持,市场宣传,融资对接,业务推荐等一系列服务,加速创业公司的发展。

想获得 NVIDIA 初创加速生态助力?扫描下方二维码,仅需一分钟填写意向申请表单,获得快速联系。

a925a344-d4a8-11ed-bfe3-dac502259ad0.png


原文标题:NVIDIA 赋能 Cyanpuppets 打造实时 2D 视频生成 3D 骨骼 AI 转换模型

文章出处:【微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英伟达
    +关注

    关注

    22

    文章

    3773

    浏览量

    91025

原文标题:NVIDIA 赋能 Cyanpuppets 打造实时 2D 视频生成 3D 骨骼 AI 转换模型

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    OpenAI推出AI视频生成模型Sora

    近日,备受期待的OpenAI再次推出了其创新之作——AI视频生成模型Sora。这一新品的发布,无疑为AI技术注入了新的活力。 据悉,Sora与OpenAI旗下的
    的头像 发表于 12-12 09:40 183次阅读

    Google DeepMind发布Genie 2打造交互式3D虚拟世界

    的交互式体验。 据了解,Genie 2是一个自回归潜在扩散模型,它基于大型视频数据集进行训练。通过自动编码器,视频中的潜在帧被传递到大型Transformer动力学
    的头像 发表于 12-05 14:16 429次阅读

    欢创播报 腾讯元宝首发3D生成应用

    1 腾讯元宝首发3D生成应用 只需一张照片,便能迅速打造独一无二的3D角色。7月16日,腾讯旗下大模型应用“腾讯元宝”上线了“
    的头像 发表于 07-18 11:39 753次阅读
    欢创播报 腾讯元宝首发<b class='flag-5'>3D</b><b class='flag-5'>生成</b>应用

    Runway发布Gen-3 Alpha视频生成模型

    专为电影和图像内容创作者提供生成AI工具的Runway公司近日宣布,其最新的Gen-3 Alpha视频生成模型已经正式问世。这款
    的头像 发表于 06-19 09:25 575次阅读

    通过2D/3D异质结构精确控制铁电材料弛豫时间

    受经典德拜弛豫启发的米勒模型提供了通过操纵弛豫时间来控制自发极化的理论框架。作者通过使用层转移技术形成的2D/C-3D/2D异质结构克服了传统异质结存在的铁电性恶化和能量损失的问题。
    的头像 发表于 04-29 10:27 656次阅读
    通过<b class='flag-5'>2D</b>/<b class='flag-5'>3D</b>异质结构精确控制铁电材料弛豫时间

    ad19中3d模型不显示?

    封装库导入3d模型不显示,但导入3d模型后的封装库生成pcb文件时显示3d
    发表于 04-24 13:41

    NVIDIA生成AI研究实现在1秒内生成3D形状

    NVIDIA 研究人员使 LATTE3D (一款最新文本转 3D 生成AI 模型)实现双倍加
    的头像 发表于 03-27 10:28 493次阅读
    <b class='flag-5'>NVIDIA</b><b class='flag-5'>生成</b>式<b class='flag-5'>AI</b>研究实现在1秒内<b class='flag-5'>生成</b><b class='flag-5'>3D</b>形状

    Stability AI推出全新Stable Video 3D模型

    近日,Stability AI 推出了全新的 Stable Video 3D 模型,该模型以其独特的功能吸引了众多关注。此模型具备从单张图像
    的头像 发表于 03-22 10:30 846次阅读

    Stability AI推出Stable Video 3D模型,可制作多视角3D视频

    SV3D_u是Stable Video 3D的一个版本,仅需单幅图片即可生成运动轨迹视频,无须进行相机调整。扩充版本的SV3D_p加入了轨道
    的头像 发表于 03-21 14:57 1018次阅读

    有了2D NAND,为什么要升级到3D呢?

    2D NAND和3D NAND都是非易失性存储技术(NVM Non-VolatileMemory),属于Memory(存储器)的一种。
    的头像 发表于 03-17 15:31 1015次阅读
    有了<b class='flag-5'>2D</b> NAND,为什么要升级到<b class='flag-5'>3D</b>呢?

    谷歌DeepMind推新AI模型Genie,生成2D游戏平台

    据报道,谷歌公司的DeepMind团队近期发布了AI模型Genie,此模型拥有多达110亿个参数,能够依据用户提供的图片及提示词创建出相当完整的2D游戏场景。
    的头像 发表于 02-27 14:53 776次阅读

    OpenAI发布文生视频模型Sora,引领AI视频生成新纪元

    在人工智能(AI)领域掀起新一轮革命浪潮的,正是OpenAI最新推出的文生视频模型——Sora。这款被业界广泛赞誉的模型,以其“逼真”和“富有想象力”的
    的头像 发表于 02-19 11:03 944次阅读

    高分工作!Uni3D3D基础大模型,刷新多个SOTA!

    我们主要探索了3D视觉中scale up模型参数量和统一模型架构的可能性。在NLP / 2D vision领域,scale up大模型(GP
    的头像 发表于 01-30 15:56 871次阅读
    高分工作!Uni<b class='flag-5'>3D</b>:<b class='flag-5'>3D</b>基础大<b class='flag-5'>模型</b>,刷新多个SOTA!

    介绍一种使用2D材料进行3D集成的新方法

    美国宾夕法尼亚州立大学的研究人员展示了一种使用2D材料进行3D集成的新颖方法。
    的头像 发表于 01-13 11:37 1064次阅读

    4DGen:基于动态3D高斯的可控4D生成新工作

    尽管3D视频生成取得了飞速的发展,由于缺少高质量的4D数据集,4D生成始终面临着巨大的挑战。
    的头像 发表于 01-04 15:57 933次阅读
    4DGen:基于动态<b class='flag-5'>3D</b>高斯的可控4<b class='flag-5'>D</b><b class='flag-5'>生成</b>新工作