电子发烧友网报道(文/吴子鹏)在备受瞩目的CES 2025上,NVIDIA在机器人领域宣布了重磅更新——Isaac GR00T Blueprint,帮助开发者更高效、高质量地打造人形机器人。同时,NVIDIA创始人兼CEO黄仁勋在CES 2025上还宣布了NVIDIA“人形机器人朋友圈”——NVIDIA将会在人形机器人领域和包括中国公司小鹏、宇树在内的科技公司开展合作,共同推动人形机器人产业发展。
在人形机器人开发领域,NVIDIA Isaac机器人开发平台得到了很多开发者的认可,成为这些开发者开发人形机器人的得力帮手。NVIDIA Isaac是一个由NVIDIA加速库、应用框架和AI模型组成的AI机器人开发平台,可加速自主移动机器人 (AMR)、机械手和机械臂以及人形机器人等AI机器人的开发。
NVIDIA Isaac包含了一系列的AI机器人开发工具和开发示例,其中参考应用NVIDIA Isaac Sim允许开发者在基于物理的虚拟环境中设计、模拟、测试和训练基于AI的机器人和自主机器。NVIDIA Isaac Sim基于NVIDIA Omniverse 构建,支持开发者构建自己的自定义模拟器或将核心Isaac Sim技术集成到现有测试和验证管线中。
随着Isaac GR00T Blueprint发布,NVIDIA Isaac平台的性能得到了进一步强化,Blueprint可帮助开发者生成海量的合成运动数据,以便通过模仿学习来训练人形机器人。如下图所示,Isaac GR00T Blueprint通过GR00T-Teleop、GR00T-Mimic和GR00T-Gen工具流能够帮助开发者高效完成人形机器人的模仿学习,可以更好地融入人类世界。
模仿学习也被称为基于演示的学习(Learning By Demonstration),主要强调的是通过大量的参考数据,让人形机器人等机器可以与环境进行交互。一般而言,模仿学习主要包括行为克隆(Behavior Cloning)和逆向强化学习(Inverse Reinforcement Learning),无论是哪种技术路径,都需要大量的数据作为参考,然而在真实世界中收集这些广泛、高质量的数据集既繁琐又耗时,而且成本往往高得令人却步。
Isaac GR00T Blueprint解决了这一痛点,开发者只需少量人类示范,就能轻松生成海量的合成数据集。在这个应用框架下,GR00T-Teleop用于借助虚拟现实设备捕捉人类演示动作,并生成金标准;GR00T-Mimic用于将捕捉到的示范生成更大的合成运动数据集;GR00T-Gen用于通过域随机化和3D提升技术,指数级扩增这个数据集。
黄仁勋表示:“与大型语言模型一样,世界基础模型是推进机器人和自动驾驶汽车(AV)开发的基础,但并非所有开发人员都有专业知识和资源来训练自己开发的方案。”“我们创建了Cosmos,以使物理AI更加普惠,并让每个开发人员都能接触到通用机器人技术。”
NVIDIA Cosmos是专为物理AI而构建的,据悉开发者可以基于NVIDIA Cosmos完成以下操作:
·视频搜索与理解:使开发者能够轻松从视频数据中找到特定的训练场景。例如,他们可以搜索描绘雪地道路状况或仓库拥堵情况的视频。
·基于物理仿真合成逼真数据:使用Cosmos模型在NVIDIA Omniverse平台上开发的3D场景中生成逼真的视频。
·物理AI模型的开发和评估:无论是在基础模型上构建自定义模型,还是测试其在特定模拟场景下的表现,都可以使用Cosmos进行强化学习以改进模型。
·预见和“多元宇宙”模拟:使用Cosmos和Omniverse生成AI模型可能出现的每一种可能结果,帮助其选择最佳和最准确的路径。
NVIDIA Cosmos的模型基于1800万亿个数据单元进行训练,其中包括200万小时的自动驾驶、机器人、无人机拍摄的视频以及合成数据。在人形机器人开发方面,NVIDIA Cosmos让数据稀缺性不再是人形机器人开发的关键挑战,开发者通过Cosmos上的文本、图像和视频到世界模型功能,就可以模拟各种逼真的任务场景,并完成人形机器人在这一场景下的训练学习。显然,NVIDIA Cosmos将显著缩短通用人形机器人的开发周期,让通用人形机器人早日普及。
NVIDIA已经宣布第一批采用NVIDIA Cosmos的生态伙伴,包括1X、Agile Robots、Agility、Figure AI、Foretellix、Fourier、Galbot、Hillbot、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi和XPENG等人形机器人公司。
Isaac GR00T Blueprint让模仿学习更高效
人形机器人是一个全球关注的科技热点,在中国市场,人形机器人是新质生产力的代表之一。统计数据显示,2023年全球人形机器人市场规模约为21.6亿美元,预计到2029年将达到324亿美元。到2035年,全球人形机器人的出货量可能超过100万台,达到140万台。在人形机器人开发领域,NVIDIA Isaac机器人开发平台得到了很多开发者的认可,成为这些开发者开发人形机器人的得力帮手。NVIDIA Isaac是一个由NVIDIA加速库、应用框架和AI模型组成的AI机器人开发平台,可加速自主移动机器人 (AMR)、机械手和机械臂以及人形机器人等AI机器人的开发。
NVIDIA Isaac包含了一系列的AI机器人开发工具和开发示例,其中参考应用NVIDIA Isaac Sim允许开发者在基于物理的虚拟环境中设计、模拟、测试和训练基于AI的机器人和自主机器。NVIDIA Isaac Sim基于NVIDIA Omniverse 构建,支持开发者构建自己的自定义模拟器或将核心Isaac Sim技术集成到现有测试和验证管线中。
随着Isaac GR00T Blueprint发布,NVIDIA Isaac平台的性能得到了进一步强化,Blueprint可帮助开发者生成海量的合成运动数据,以便通过模仿学习来训练人形机器人。如下图所示,Isaac GR00T Blueprint通过GR00T-Teleop、GR00T-Mimic和GR00T-Gen工具流能够帮助开发者高效完成人形机器人的模仿学习,可以更好地融入人类世界。
Isaac GR00T Blueprint应用框图
模仿学习也被称为基于演示的学习(Learning By Demonstration),主要强调的是通过大量的参考数据,让人形机器人等机器可以与环境进行交互。一般而言,模仿学习主要包括行为克隆(Behavior Cloning)和逆向强化学习(Inverse Reinforcement Learning),无论是哪种技术路径,都需要大量的数据作为参考,然而在真实世界中收集这些广泛、高质量的数据集既繁琐又耗时,而且成本往往高得令人却步。
Isaac GR00T Blueprint解决了这一痛点,开发者只需少量人类示范,就能轻松生成海量的合成数据集。在这个应用框架下,GR00T-Teleop用于借助虚拟现实设备捕捉人类演示动作,并生成金标准;GR00T-Mimic用于将捕捉到的示范生成更大的合成运动数据集;GR00T-Gen用于通过域随机化和3D提升技术,指数级扩增这个数据集。
Isaac GR00T Blueprint融合了NVIDIA Cosmos
在Isaac GR00T Blueprint的GR00T-Gen工具流中,NVIDIA Omniverse和NVIDIA Cosmos是指数级扩增数据集的关键。NVIDIA Cosmos是NVIDIA在CES 2025上最新发布的“世界基础模型”,拥有一系列开放的预训练世界基础模型,专为生成具有物理感知的视频和物理AI开发所需的世界状态而设计。
NVIDIA Cosmos应用演示
黄仁勋表示:“与大型语言模型一样,世界基础模型是推进机器人和自动驾驶汽车(AV)开发的基础,但并非所有开发人员都有专业知识和资源来训练自己开发的方案。”“我们创建了Cosmos,以使物理AI更加普惠,并让每个开发人员都能接触到通用机器人技术。”
NVIDIA Cosmos是专为物理AI而构建的,据悉开发者可以基于NVIDIA Cosmos完成以下操作:
·视频搜索与理解:使开发者能够轻松从视频数据中找到特定的训练场景。例如,他们可以搜索描绘雪地道路状况或仓库拥堵情况的视频。
·基于物理仿真合成逼真数据:使用Cosmos模型在NVIDIA Omniverse平台上开发的3D场景中生成逼真的视频。
·物理AI模型的开发和评估:无论是在基础模型上构建自定义模型,还是测试其在特定模拟场景下的表现,都可以使用Cosmos进行强化学习以改进模型。
·预见和“多元宇宙”模拟:使用Cosmos和Omniverse生成AI模型可能出现的每一种可能结果,帮助其选择最佳和最准确的路径。
NVIDIA Cosmos的模型基于1800万亿个数据单元进行训练,其中包括200万小时的自动驾驶、机器人、无人机拍摄的视频以及合成数据。在人形机器人开发方面,NVIDIA Cosmos让数据稀缺性不再是人形机器人开发的关键挑战,开发者通过Cosmos上的文本、图像和视频到世界模型功能,就可以模拟各种逼真的任务场景,并完成人形机器人在这一场景下的训练学习。显然,NVIDIA Cosmos将显著缩短通用人形机器人的开发周期,让通用人形机器人早日普及。
NVIDIA已经宣布第一批采用NVIDIA Cosmos的生态伙伴,包括1X、Agile Robots、Agility、Figure AI、Foretellix、Fourier、Galbot、Hillbot、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi和XPENG等人形机器人公司。
结语
Isaac GR00T Blueprint的推出解决了当前困扰人形机器人开发者的关键难题——如何获取海量数据完成人形机器人的模仿学习。通过整合GR00T-Teleop、GR00T-Mimic和GR00T-Gen工作流,Isaac GR00T Blueprint让开发者只需少量人类示范,就能轻松生成海量的合成数据集。在Isaac GR00T Blueprint应用框架下,最新发布的NVIDIA Cosmos则是数据指数级扩增的关键。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
发布评论请先 登录
相关推荐
NVIDIA推出Isaac GR00T Blueprint
用于合成数据的 Isaac GR00T 工作流以及 NVIDIA Cosmos 世界基础模型,为通用人形机器人的开发注入强大动力。
借助NVIDIA Project GR00T加速人形机器人开发
人形机器人是机电一体化、控制理论和 AI 交叉领域的一道综合性难题。人形机器人的动力学和控制十分复杂,它们需要先进的工具、技术和算法才能在移动和操作任务中保持平衡。由于
NVIDIA提供一套服务、模型以及计算平台 加速人形机器人发展
开发者可以访问新的 NVIDIA NIM 微服务,用于 Isaac Lab 和 Isaac Sim 中的机器人仿真、OSMO 机器人云计算编
NVIDIA 加速人形机器人发展
开发者可以访问新的 NVIDIA NIM 微服务,用于 Isaac Lab 和 Isaac Sim 中的机器人仿真、OSMO 机器人云计算编
发表于 07-30 09:15
•752次阅读
NVIDIA Isaac 机器人平台利用最新的生成式 AI 和先进的仿真技术,加速 AI 机器人技术的发展
观众展示了用于人形机器人学习的通用基础模型 Project GR00T(代表通用机器人 00 技术)。Project
全球机器人开发领域采用NVIDIA 机器人开发和生产
比亚迪电子、西门子、泰瑞达和 Alphabet 旗下公司 Intrinsic 采用 NVIDIA Isaac 机器人平台开发自主机械臂、人形机器人
透过NVIDIA GR00T模型和Jetson Thor芯片看人形机器人未来发展
,具身智能作为行业热词不胫而走,实际上NVIDIA等公司早就在这一领域开始了布局。 具身智能指机器人或智能系统能够通过感知器和执行器与其所处的环境进行实时互动。从概念上说,具身智能的实例范围很广,包括机器人技术、自动驾驶汽车和聊
NVIDIA Isaac机器人平台升级,加速AI机器人技术革新
NVIDIA Isaac机器人平台近期实现重大升级,通过引入最新的生成式AI技术和先进的仿真技术,显著加速了AI机器人技术的发展步伐。该平台正不断扩展其基础模型、
英伟达发布人形机器人基础模型
英伟达在一年一度的GTC开发者大会上,由创始人黄仁勋亲自揭晓了令人瞩目的Project GR00T人形机器人项目,其中引人注目的是一款全新的人形
机器人掀起2024开年融资热潮,联想入场投资多家公司,人形机器人要“爆”
电子发烧友网报道(文/刘静)近日,英伟达在一年一度的GTC大会上重磅推出了人形机器人通用基础模型Project GR00T。相当看好具身智能、人形
NVIDIA发布一款人形机器人通用基础模型—Project GR00T
NVIDIA 于今日发布人形机器人通用基础模型 Project GR00T,旨在进一步推动其在机器人和具身智能方面的突破。
英伟达发布人形机器人通用模型与Isaac机器人计划
作为AI领域的硬件大佬,NVIDIA在推动机器人进步方面一直积极行动。在此次召开的年度GTC开发者大会上,公司对外公布了通过Project GR0OT(Generalist Robot 00
评论