0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA Isaac Sim满足模型的多样化训练需求

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 2024-11-23 14:55 次阅读

光轮智能借助NVIDIA Isaac Sim,通过 3D 生成与建模技术构建高度逼真的虚拟场景,将现实世界的复杂场景抽象并转化为高质量的训练数据源,从而更有效地满足模型的多样化训练需求。

AI 正从以算法中心向以数据为中心的时代演进。高质量且丰富的训练数据,已成为推动创新的核心资源。特别是在具身智能应用中,数据的稀缺极大限制了模型能力的提升和潜在应用的拓展。传统数据采集方式成本高昂、耗时漫长,例如谷歌的 RT1 和 RT2 项目共使用了 13 台机器人,耗时 17 个月才完成数据收集,显然难以支撑具身智能的发展需求。

因此,构建数据金字塔已成为突破数据瓶颈的关键。数据金字塔的根基由海量的非结构化网络数据组成,顶端由采集成本高昂的少量真实数据构成,有利于智能体高效且直接地进行知识迁移。合成数据的加入填补了前两者间的空缺,在采集成本、可泛化性与知识迁移方面拥有明显优势。真实数据、互联网数据与合成数据相互补充,共同构建了具身智能体训练的坚实基础。合成数据的引入不仅有效降低了数据采集成本,还通过高度拟真的物理模拟,提供了强大的泛化能力,为智能体在多样化场景中的应用打下基础。

打造高质量、可交互、可扩展的

具身智能仿真资产库与仿真训练平台

具身智能的关键目标之一是实现高度的通用性,使智能体能够在复杂场景中灵活执行多种任务。这种泛化能力的实现要求智能体具备对空间的深度认知,包括实时理解与适应环境中物体的位置、关系及动态变化。相较于传统的任务特定型智能体,具身智能体必须在陌生环境中迅速识别并推理出空间结构、时序事件及其相互关系,以有效适应任务。

NVIDIA Isaac Sim 为光轮智能生产合成数据提供了强大支持。Isaac Sim 通过物理驱动的虚拟环境,支持智能体算法的设计、模拟与测试。借助NVIDIA PhysX 5高级 GPU 物理模拟技术,平台实现了实时光线和路径追踪的逼真效果,并通过 MDL 材料定义支持物理渲染,使开发者能够基于通用场景描述(OpenUSD)构建自定义模拟器,提供真实的物理反馈和高度还原的交互体验。同时,平台还支持多种开放标准和格式,如 USD、FBX、OBJ 等,便于用户导入和导出不同的 3D 模型和场景。

光轮智能基于 Isaac Sim 构建的合成数据解决方案,能够高效提升具身智能公司的模型能力。光轮智能已积累了丰富的 OpenUSD 格式场景资产,支持任务级、物体级、场景级的物理可交互资产、数据的可控生成与泛化,并基于验证平台进行合成数据真实性和效用性的评测。

案例 1. 交互过程的物理参数随机化与动态真实性

使用高质量、可泛化的

合成数据助力模型性能提升

基于“Real2Sim2Real+Realism Validation”的核心技术栈,光轮智能推出基于 3D 混合渲染,具有物理真实、高度交互的合成数据产线及以数据为中心的端到端智能体算法解决方案。光轮智能旨在利用合成数据放大人类示范效用,通过闭环仿真加速 Self-play RL,加速具身智能落地。

光轮智能的仿真框架使用基于 3DGS 技术重建的场景,并通过场景资产的混合渲染,显著提升了训练场景的泛化能力。同时,真实的物理引擎能提供准确的反馈,助力模型实现更高效的知识迁移。高质量的仿真框架支持光轮智能在模型训练方面积极创新,通过在仿真器中直接训练等方式,进一步提升模型性能。

案例 2. 场景和物体元素的随机泛化

案例 3. 3D 混合渲染用于具身智能模型训练与评测

光轮智能致力于为企业推动 AI 落地提供合成数据解决方案,重点从具身智能场景切入,结合生成式 AI 和仿真技术,提供多模态、高质量、可泛化、可扩展、全链路的数据,助力 AI 在真实世界部署,加速具身智能行业发展。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4941

    浏览量

    102820
  • 模型
    +关注

    关注

    1

    文章

    3174

    浏览量

    48720
  • 具身智能
    +关注

    关注

    0

    文章

    34

    浏览量

    33

原文标题:借助 NVIDIA Isaac Sim,光轮智能加速具身智能研发落地

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    博科测试IPO上市观察:产品布局完善,可满足多样化检测需求

    汽车测试试验系统是一个综合性的体系,它专门用于对汽车整车及其零部件的性能进行测试与检测,其中包含了各种专业设备、系统以及相关的服务。为了满足汽车领域客户多样化且个性的检测需求,博科测
    的头像 发表于 11-05 14:13 160次阅读

    NVIDIA助力Figure发布新一代对话式人形机器人

    该初创公司展示了新型机器人,其使用 NVIDIA Isaac Sim 处理合成数据,并使用基于 NVIDIA 加速计算进行实时推理训练的生成
    的头像 发表于 11-04 10:10 212次阅读

    NVIDIA与学术研究人员联合开发手术机器人

    利用 NVIDIA Isaac SimNVIDIA Omniverse 开发的 ORBIT-Surgical 正在 ICRA 机器人大会上展出。
    的头像 发表于 10-10 10:00 350次阅读

    双路设计,满足光伏电站与充电桩多样化计量需求——安科瑞丁佳雯

    在当今快速发展的可再生能源与电动汽车领域,光伏电站与充电桩的计量需求日益多样化且复杂。为了应对这一挑战,DJSF1352-RN电表以其创新的双路设计脱颖而出,成为满足光伏电站与充电桩
    的头像 发表于 09-09 12:54 167次阅读
    双路设计,<b class='flag-5'>满足</b>光伏电站与充电桩<b class='flag-5'>多样化</b>计量<b class='flag-5'>需求</b>——安科瑞丁佳雯

    NVIDIA助力提供多样、灵活的模型选择

    在本案例中,Dify 以模型中立以及开源生态的优势,为广大 AI 创新者提供丰富的模型选择。其集成的 NVIDIAAPI Catalog、NVIDIA NIM和Triton 推理服务器产品,为
    的头像 发表于 09-09 09:19 436次阅读

    NVIDIA Nemotron-4 340B模型帮助开发者生成合成训练数据

    Nemotron-4 340B 是针对 NVIDIA NeMo 和 NVIDIA TensorRT-LLM 优化的模型系列,该系列包含最先进的指导和奖励模型,以及一个用于生成式 AI
    的头像 发表于 09-06 14:59 266次阅读
    <b class='flag-5'>NVIDIA</b> Nemotron-4 340B<b class='flag-5'>模型</b>帮助开发者生成合成<b class='flag-5'>训练</b>数据

    解析NVIDIA Isaac Sim 4.0的新功能

    由物理 AI 驱动的 AI 机器人时代已经来临。物理 AI 模型能够理解周围环境,并在物理世界中自主完成复杂的任务。许多复杂任务都难以编程(如灵巧的操作和人形机器人在崎岖的地形上运动),需要依赖在仿真环境中使用强化学习(RL)训练而成的生成式物理 AI
    的头像 发表于 09-06 14:53 497次阅读
    解析<b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> <b class='flag-5'>Sim</b> 4.0的新功能

    NVIDIA提供一套服务、模型以及计算平台 加速人形机器人发展

    开发者可以访问新的 NVIDIA NIM 微服务,用于 Isaac Lab 和 Isaac Sim 中的机器人仿真、OSMO 机器人云计算编排服务和远程操作数据捕获工作流等。 为加速全
    的头像 发表于 07-31 10:41 617次阅读

    DC/AC电源模块:实现电力系统的多样化应用

    家庭和商业建筑到工业设备和交通运输,都需要稳定可靠的电力供应。DC/AC电源模块为这些需求提供了强大的支持。 DC/AC电源模块:实现电力系统的多样化应用 首先,DC/AC电源模块可以将直流电源转换为交流电源,使之能够适应更多的设备需求
    的头像 发表于 06-18 13:14 371次阅读
    DC/AC电源模块:实现电力系统的<b class='flag-5'>多样化</b>应用

    【大语言模型:原理与工程实践】大语言模型的预训练

    训练数据时,数量、质量和多样性三者缺一不可。 数据的多样性对于大语言模型至关重要,这主要体现在数据的类别和来源两个方面。丰富的数据类别能够提供多样
    发表于 05-07 17:10

    奔驰下调电动目标,同时保证燃油车生产,满足多样化需求

    令人意外的是,奔驰决定推迟全电动的时间表,由原定的 2030 年延后至 2035 年,并将继续使用燃油引擎以满足不同消费群体的需求。并且,奔驰预计到 2030 年,电动车(含混合动力)销售比重将达到总销售额的 50%,相较于先
    的头像 发表于 02-23 11:39 435次阅读

    使用 NVIDIA Isaac 仿真并定位 Husky 机器人

    如何使用 ROS 2 Husky 官方软件包将该机器人导入 NVIDIA Isaac Sim 并创建仿真。 本 Demo 中的 Husky 机器人配备了 NVIDIA Jetson O
    的头像 发表于 12-26 18:05 1258次阅读
    使用 <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> 仿真并定位 Husky 机器人

    NVIDIA 为部分大型亚马逊 Titan 基础模型提供训练支持

    本文将介绍亚马逊如何使用 NVIDIA NeMo 框架、GPU 以及亚马逊云科技的 EFA 来训练其 最大的新一代大语言模型(LLM)。 大语言模型的一切都很庞大——巨型
    的头像 发表于 11-29 21:15 515次阅读
    <b class='flag-5'>NVIDIA</b> 为部分大型亚马逊 Titan 基础<b class='flag-5'>模型</b>提供<b class='flag-5'>训练</b>支持

    录音模块:WT588FM01高性能录音语音芯片IC,功能丰富,音质卓越,满足多样化需求

    在音频市场日益繁荣的今天,用户对于录音模块的需求也日益多样化。唯创知音针对这一市场趋势,推出了高性能录音模块WT588FM01。凭借其远距离录音、优质音质以及多样化的功能,它成为了众多电子产品中的首选之一。
    的头像 发表于 11-29 09:46 501次阅读

    录音模块:WT588FM01高性能录音语音芯片IC,功能丰富,音质卓越,满足多样化需求

    在音频市场日益繁荣的今天,用户对于录音模块的需求也日益多样化。唯创知音针对这一市场趋势,推出了高性能录音模块WT588FM01。凭借其远距离录音、优质音质以及多样化的功能,它成为了众多电子产品中
    的头像 发表于 11-29 09:39 491次阅读
    录音模块:WT588FM01高性能录音语音芯片IC,功能丰富,音质卓越,<b class='flag-5'>满足</b><b class='flag-5'>多样化</b><b class='flag-5'>需求</b>