加速生产数据向AI机器人转化，剖析NVIDIA机器人堆栈式资源

电子发烧友网报道（文/吴子鹏）回顾历史上几次生产力革命，每一次都有标志性产物，带来巨大的生产效率提升。当然，也有一些生产力工具凭借自身潜能，在多次生产力革命周期里延续并得到强化，机器人就是一个力证。

当前，我们正处于第三次生产力革命的末期，AI技术将掀起新的浪潮，机器人作为重要的生产力工具，将发生质变。过往，工业机器人主要以物理特性、人机交互、机动性和自主程度进行分类，未来这些特性将在工业机器人上趋于融合，通过部署具身智能机器人和人工智能调度系统，“无人工厂”将逐渐得到普及。

在巨大的市场需求推动下，工业机器人产业发展换挡提速。市场研究和咨询机构Exactitude Consultancy方面数据指出，2020年全球工业机器人市场规模为475.4亿美元，预计到2029年将达到1084.8亿美元，其间年复合增长率为9.6%。为了帮助产业界更好地打造智能机器人单体和系统，NVIDIA提供NVIDIA Metropolis、Isaac、Omniverse及Jetson平台等软硬件资源，帮助研发人员缩短从生产数据到机器人智能体的研发周期。

数据来源：Exactitude Consultancy，电子发烧友网制图

AI引领第四次生产力革命

产业界普遍认为，第四次生产力革命是人类对“智识”边界的探索，并将成果应用于物理世界。因而，机器人的角色将从过去几次生产力革命中的主要成果上升为核心承载体。从劳动力结构来看，搭载AI系统的机器人将重构劳动市场，传统岗位被自动化取代，新的职业应运而生。在此过程中，人类的定义也将发生转变，过往人类是生产力工具的操控者，后续将逐渐成为生产力工具的协作者和监管者。

“知名未来学家”伊恩·皮尔森（Ian Pearson）博士曾预言，到2048年机器人的数量将暴增至94亿，超越全球人口总数。

从经济学的角度来看，AI机器人的普及代表了生产函数的根本变革，传统劳动力正在被数据和算法替代，并已经初见成效。在今年的COMPUTEX期间，Foxconn、和硕、纬创资通等大型电子公司纷纷展示如何借助NVIDIA Metropolis和NIM等资源来实现更好的工业自动化，包括通过NVIDIA NIM将生成式AI引入工厂车间，改善此前广泛部署的物联网设备的AI感知；还包括将NVIDIA Isaac加速库、基于物理学的仿真和AI模型集成到厂商自己的软件框架和机器人模型中，以此提高工厂、仓库和配送中心的工作效率。

将更强大的AI功能注入机器人让其能够胜任更复杂多元的任务，是产业后续发展的大方向。就像Siemens公司总裁兼首席执行官Roland Busch谈到的，“由AI驱动的机器人将加速工业的数字化转型，并接管以前无法自动化的重复性工作，这样我们就可以释放人类的潜能，从事更具创造性和价值的工作。”不过，要想将生成式AI等技术引入机器人系统中，面临着很大的技术挑战，形成了一定的产业门槛。

这些挑战主要体现在场景的选择、结果的准确、数据的保密、落地的成本、内容的安全等。以场景的选择为例，未来机器人在执行任务时，工作场景较之前的机械臂会更加开放，涉及到任务识别、地图导航、人机交互等众多模态，很多时候这些模态是同时出现的。硬件上，机器人会搭载大量的传感器、执行器和驱动装置；软件上，在高实时性的前提下，软件需要具有良好的兼容性、开放性和可编程性；软硬件配合上，需要能够支持多任务处理，这对机器人系统搭载的模型能力提出了很高的要求。

智能机器人基本框图，图源：国际机器人联合会

理论上，多模态AI大模型配合强大的硬件加速器，能够很好地应对上述挑战。不过落地的成本也是部署企业必须考虑的事情，AI模型规模扩大必然导致开发和部署的成本攀升，硬件成本、算法成本和数据成本皆是如此。如果更深一层考虑到AI机器人的可持续发展，相关应用对于能源的消耗也需要加以节制。

同时，由于工业制造的特殊性，将AI模型嵌入到机器人系统时，在实时性、精准性方面也更具挑战。无论是当前的复合型机器人，还是未来的具身智能机器人，对比机械臂，在精度和运动稳定性等方面的要求更高，开放式的环境里不允许有位置超调，否则可能发生碰撞。需要注意到，机器人智能体的认知能力是由自身结构决定的，尤其是具身智能机器人，树立了“身”与“智”统一的系统架构和模型方向，强调了智能体与环境之间的强关联。因而，具身智能本身就是一套更高级的系统理论，打破了传统硬件为智能而生的边界，形成了智能和硬件的耦合，使得机器人创新更加复杂。

NVIDIA在机器人领域的布局

上述内容揭露出，未来机器人系统的发展是“AI+”理论的实际落地，以生成式AI为代表的新兴AI技术将全面革新传统机器人的设计理念，最终实现具象化的具身智能机器人——感知系统、运动系统和世界模型深度融合，以尽可能多地适用不同的生产场景，使大规模应用成为可能。

通过今年的COMPUTEX能够看到，在实现“AI+机器人”的过程中，NVIDIA拥有“四大法宝”，均得到了产业界的广泛认可，分别是NVIDIA Metropolis、Isaac、Omniverse以及硬件平台（Jetson平台等）。NVIDIA创始人兼首席执行官黄仁勋对此表示，“机器人时代已经到来。有朝一日，移动的物体都将实现自主运行。我们正致力于通过推进NVIDIA机器人堆栈的发展，来加速生成式物理AI，其中包括用于仿真应用的Omniverse、Project GR00T人形机器人基础模型，以及Jetson Thor机器人计算平台等。”

如下图所示，NVIDIA Metropolis是一个端到端的应用框架，包含预训练模型、训练和优化工具、部署SDK、CUDA-X库和NVIDIA EGX平台。Metropolis可以让视觉数据和AI技术结合在一起，通过深度学习等技术，让系统分析和理解视觉数据。图片左侧的数据类型显示，Metropolis不是简单的视觉AI，而是将视觉和工业生产结合在一起，然后通过云原生结构，来提升整个系统的感知精度，帮助企业优化运营和提高安全性。对于机器人系统而言，Metropolis让机器人单体和监管系统里的视觉数据能够有机结合，既保证了单体机器人操作的精准和规范，也让系统通过数据整合，获得全面的运营视图和见解，决策能力和水平得到了显著提升。

NVIDIA Metropolis应用框架，图源：NVIDIA

同时，Metropolis也是一套开发工具和合作伙伴生态系统，通过多年的积累，Metropolis积累了多套体系和方法论，帮助研发人员更好地构建包括工业机器人在内的工业自动化系统。比如，NVIDIA基于Omniverse、Metropolis、Isaac和cuOpt打造了AI Gym，研发人员可在其中训练AI智能体，以帮助机器人和人类同步了解周围环境的变化情况。如下图所示，这是一个10万平方英尺的仓库的数字孪生，通过AI Gym，数字工人和AMR（自主移动机器人）可以实时共享数据。在这个数字孪生仓库中，Metropolis通过监控摄像头和跟踪摄像头的视觉数据，构建了一个统一调度的地图，以实现各个智能体之间最佳的路径规划。

基于Metropolis的数字孪生，图源：NVIDIA

NVIDIA Isaac平台则为研发人员构建AI机器人提供强大的套件，如下图所示，Isaac平台包含了NVIDIA加速库、应用框架和AI模型。在今年的COMPUTEX上，NVIDIA更新了Isaac平台的内容，发布了最新版本的NVIDIA Isaac Sim，在多物理引擎NVIDIA PhysX和NVIDIA Isaac Lab方面有了显著的改进。

NVIDIA Isaac平台，图源：NVIDIA

升级后的NVIDIA Isaac在通用AI机器人开发方面更加高效，提供参考案例、虚拟环境和加速系统等完整解决方案。举例来说，研发人员可以通过NVIDIA Isaac平台中的Isaac Perceptor快速构建工作流程，在仓库或工厂等非结构化环境中打造拥有领先感知、定位和操作能力的AMR机器人；升级后的Isaac Sim依然提供丰富的参考案例，研发人员可以通过这些案例构建AMR或者通用AI机器人的虚拟环境，这个环境是基于物理世界的，可以更高效地设计、仿真、测试和训练机器人，并让开发出来的机器人快速适应真实的工作环境。

NVIDIA Omniverse是一个可扩展的多GPU实时开发平台，如下图所示，Omniverse平台可以让研发人员高效利用OpenUSD（通用场景描述）、RTX和生成式AI技术，以构建AI系统。在工业场景中，Omniverse让研发人员可以针对复杂的3D和工业数字化工作流程，基于OpenUSD构建各种应用。实际上，NVIDIA Isaac平台便广泛受益于Omniverse平台中的OpenUSD资源，以便构建基于物理世界的3D虚拟环境，来高效开发、测试和管理AI机器人。

NVIDIA Omniverse平台，图源：NVIDIA

当然，上述提到的生态系统、应用框架和平台的构建，离不开NVIDIA强大的底层硬件支持。面向机器人应用，NVIDIA提供NVIDIA Jetson、NVIDIA DGX等硬件加速系统。以NVIDIA Jetson来说，其是适用于自主机器和嵌入式应用程序的领先平台，提供紧凑且功能强大的计算机。Jetson拥有丰富的系列产品，包括Jetson AGX Orin系列、Jetson Orin NX系列、Jetson Orin Nano系列等，这些产品将深度学习和计算机视觉等AI技术带到工业机器人等极具挑战的边缘智能场景里，为研发人员提供高性能GPU、专用AI硬件和软件堆栈的完整组合。

在今年的GTC大会上，NVIDIA又发布了Jetson Thor计算平台——专门为人形机器人打造的全新的计算平台，平台上Jetson Thor芯片的GPU基于Blackwell架构，带来了更高的计算能力、更好的能效表现和更佳的平台扩展性。

Jetson Thor计算平台，图源：NVIDIA

基于NVIDIA Jetson平台，借助NVIDIA Isaac SDK（包括全套工具、库、支持GPU的算法和教程），研发人员可以快速构建各种机器人程序。

以上便是NVIDIA提供给机器人研发人员的“四大法宝”，借助这些硬件、SDK、开发框架、参考案例和生态资源，研发人员能够以最低的成本将工业生产中的数据转化为AI机器人的开发资源，快速完成AI机器人的定义、开发、训练和适配工作，推动制造业的生产力升级。目前，这样的案例已经不胜枚举，比如Foxconn在最新的一座虚拟工厂中，通过NVIDIA Omniverse来构建其数字孪生，通过Omniverse API 设计机器人工作单元与装配线，并使用NVIDIA Isaac Sim训练其中部署的机器人。

基于Omniverse的Foxconn虚拟工厂，图源：NVIDIA

NVIDIA Omniverse重新定义机器人系统设计

机器人在数次生产力革命中得以延续，这也意味着打造AI机器人并不是从零起步，有大量的基础数据作为支撑，尤其是在工业生产环境，过去几十年的工业自动化积累了大量的数据。因而，如何高效实现数据到智能体的转化，将成为工业企业决胜未来的关键。在此过程中，NVIDIA Omniverse带来的数据可视化和模拟功能是强有力的工具，将重新定义工业机器人的系统设计。

上述提到，NVIDIA Isaac Sim便是基于Omniverse平台中的OpenUSD资源构建而成。如下图所示，Omniverse是NVIDIA Isaac Sim平台的基础，由于Omniverse平台里的OpenUSD是面向3D世界的开放式可扩展生态系统，因此NVIDIA Isaac Sim也是完全可扩展的，允许研发人员构建自己的自定义模拟器，或者将Isaac Sim中准备就绪的资源融入在研的机器人模型中，同时适配整个机器人系统里的各种软硬件资源，构建满足机器人开发的模拟环境。

NVIDIA Isaac Sim平台，图源：NVIDIA

值得注意的是，OpenUSD在Omniverse平台中不仅仅是一种文件格式，而是用于构建3D工作流程的资源，是一个用于在3D世界内进行描述、合成、仿真和协作的开放式可扩展生态系统。回归机器人开发这一主题，OpenUSD为机器人开发构建物理精准的虚拟环境，环境中3D素材能够做出和真实物体相同的行为表现。在NVIDIA Isaac Sim平台中，面向工业机器人工作场景，拥有大量仿真就绪型素材，包括准确的物理特性，准确的物体行为，以及真实传输的数据流。因此，基于OpenUSD打造的SimReady资产，可以帮助研发人员快速构建工业机器人的AI模型——他们往往需要数千种资产来构建物理环境的数字镜像，如果从零起步，工作量是不可想象的，SimReady资产加速了这一过程。

面向AI机器人设计，OpenUSD具有四大明显的优势：

·高度可扩展，OpenUSD这一特性可以完美应对工业机器人任务边界不统一的问题，可以在3D模拟环境中持续优化算法模型以找到最具性价比的部署方式；
·非破坏性，当AI机器人升级时，尤其是添加和修改素材的过程中，非破坏性的工作流程让系统迭代更加高效；
·方便协同，整个平台不限定任何文件系统，有助于AI机器人设计方和AI机器人需求方平等沟通；
·自定义，归功于Hydra渲染架构，OpenUSD让可视化数据拥有非常高的灵活性，更加有利于从数据到AI机器人的转化。

无论是RTX渲染能力，还是丰富的OpenUSD资源，研发人员并不需要为使用Omniverse平台配备一套价值不菲的硬件加速器系统，Omniverse核心技术以简单的API形式提供，有两种使用方式：其一是通过任何云、多云或虚拟私有云；其二是在Microsoft Azure上通过NVIDIA Omniverse Cloud以托管服务的形式使用这些API。无论选择哪种方式，都可以将OpenUSD和RTX渲染技术以极具性价比的方式融入到研发人员自己的机器人系统中。从这个角度来看，NVIDIA Omniverse平台让工业数据到AI机器人转化的成本显著降低。

截至目前，NVIDIA Omniverse生态伙伴系统拥有Siemens、Synopsys、Continental、Microsoft和Rockwell Automation等行业巨头，他们正将NVIDIA Omniverse的3D虚拟能力带到各行各业。比如，Siemens宣布已通过Omniverse Cloud API将OpenUSD集成到其 Xcelerator平台应用中，使其客户能够将其数字孪生中的3D数据和服务与基于物理学的渲染相统一。

总结而言，NVIDIA Omniverse让数字孪生全面进入3D时代，能够从视觉、特性、动作等各个方面真实地反映物理世界的变化，这对研发工业领域的AI机器人是极其重要的，革新了AI机器人研发和迭代的模式。得益于NVIDIA持续的投入，以及NVIDIA Omniverse不断扩大的生态伙伴系统，技术前瞻性也是NVIDIA Omniverse平台不容忽视的一个优势。如下图所示，研发人员可以通过Omniverse Cloud API提供支持的应用或者基于Omniverse SDK构建，将生成式AI连接到3D工作流，用于生成语言或视觉内容。

基于NVIDIA Omniverse的3D工作流，图源：NVIDIA

写在最后

从第三次生产力革命到第四次生产力革命，机器人的地位发生了转变，成为主要的社会生产力。具体到工业场景，过去数十年的工业自动化进程积累了大量的数据，为研发机器人打下了坚实的基础，如何从数据高效转化为AI机器人，是企业决胜未来的关键。

为实现“AI+机器人”更好地落地，NVIDIA提供了Metropolis、Isaac、Omniverse以及硬件平台（Jetson平台等）四大法宝，加速AI机器人系统的研发进程。其中，NVIDIA Omniverse提供了一种基于物理世界的3D虚拟环境，通过OpenUSD和RTX渲染技术，让机器人研发系统具有极强的可视化特性，并真实反映物理世界的变化，使得数据到AI机器人的转化变得非常高效和高性价比。借助NVIDIA这些工具，机器人成为主要的社会生产力指日可待。