0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于NVIDIA Jetson平台的高效人形机器人控制解决方案

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 2024-09-10 10:25 次阅读

案例简介

国讯芯微(NIIC)专注于自主实时操作系统和 EtherCAT 协议栈的研发与应用十余年,汇聚了一批业内顶尖的工程师和科研人员,始终致力于为智能制造输出自主可控核心技术产品。

国讯芯微的具身智能控制平台 NSPIC-R006NP 具备强大的 GPUCPU 计算能力,内置 NECRO 硬实时操作系统,适配 Ubuntubase 系统,并通过 EtherCAT 多主站 NIIC EtherCAT Master 2.0 将控制逻辑与机器人或系统的物理特性紧密结合,能够实时处理复杂的机器人控制任务。该平台支持多种设备的接口,具有丰富的软件开发工具和生态资源,便于开发者进行定制化开发和优化。

本案例主要应用到 NVIDIAAGX Orin 64GB

X86+AI 芯片控制平台

在具身智能中的挑战

传统异构方案

目前绝大多数人形机器人企业都在采用传统 X86+AI 芯片的具身智能控制平台。然而,这其中存在显著的缺点和痛点。网络延迟问题会导致机器人实时响应能力受限,影响手眼协调等复杂任务执行。其次,RT-Linux 系统的不稳定性和 EtherCAT 协议栈的潜在问题会使得多程序运行时抖动大,运动控制不稳定,从而增加了运行风险。再者,X86 与 AI 芯片间的协同工作十分复杂,系统整合难度大,性能下降和延时增加,难以满足全身多关节高性能控制需求。这些痛点限制了机器人在复杂环境中的应用,尤其是在实时可靠性和端到端升级方面。因此,保持系统同构性,实现无缝衔接和高效协作成为人形机器人企业的迫切需求。

NIIC 新型单一 SOC 平台

国讯芯微是目前全球极少数能够在 AI SOC 平台上植入高性能实时操作系统和运动控制平台的企业,NSPIC-R006NP 具身智能控制平台在解决传统 X86+AI 芯片控制平台问题方面取得了显著的进步,通过将感知、识别和决策过程融合在一个一体化的系统中,并利用 NECRO 实时操作系统的多进程和多线程功能,成功实现了 nS 级别的交互速度,相较于传统 X86+AI 芯片控制器的 mS 级别交互速度,这无疑是一个巨大的提升。

wKgaombfrjOAPju4AABslSrXPjQ471.png

NVIDIA 与国讯芯微携手共创

高效人形机器人控制解决方案

新型平台架构

多模态感知的使用使得机器人能够获取更加丰富和准确的环境信息,而基于 GPU(大脑智能决策)的识别过程则能够迅速对这些信息进行处理和分析。CPU(小脑)负责运动控制,能够根据识别结果迅速做出反应,再利用 NECRO 实时操作系统的多进程和多线程功能,最后成功实现纳秒级别的交互速度。这种一体化的设计不仅提高了系统的实时性和响应速度,还有助于减少数据传输延迟和网络稳定性问题。由于所有过程都在一个系统中完成,有效降低了整合性的挑战,使得整个系统更加稳定和可靠。

wKgZombfrj-AOm_dAAP7_Aj5EW4382.png

强大的 AI 计算能力

NSPIC-R006NP 具身智能控制平台基于 NVIDIA AGX Orin 64GB SOC,高达 275 TOPS 的 AI 算力,能够实现 13B-70B 的大模型推演。

为了进一步提升 AI 性能,NSPIC-R006NP 特别利用了 NVIDIA CUDA 和先进的 AI 大模型技术,能够在短时间内完成大量高性能、高精度的目标识别、图像处理和分析任务,极大地提升了人形机器控制器的感知和决策能力。

核心软件:

实时操作系统 NECRO

人形机器人所有的数据采集、数据训练必须高速同步,如果采集到的视觉是 1 秒之前的数据,而雷达却是 5 秒之后的数据,那么大模型的训练就失去了意义。而实时操作系统所带来的价值,就是保证大模型的训练建立在相同的时间基础上,所有的多模态感知采集和计算都是时间精准的,能够向训练服务器推送相同时间轴的同步数据,这样才能完成 transformer,才能真正实现端到端。

国讯芯微 100% 自主研发的 NECRO 囚牛实时操作系统作为管理整个信号传递的核心组件,微秒级操作系统抖动、纳秒级中断响应速度,这样强力的性能能够确保信号在系统中的高效、准确传递,为机器人的实时感知、决策和执行提供坚实基础。Cyclictest 最大值不超过 2uS,在满载、满 CPU、满内存、满 IO、满存储、满内存压力之下,最大值不超过 10uS,从而实现最佳的整体性能。

wKgZombfrkuAG623AAE37pXJznU832.png

EC 抖动 4uS 以内

在开发过程中,国讯芯微严格遵循 AGX 芯片手册和全寄存器手册的规范,确保系统的稳定性和兼容性,成功地将 NECRO 囚牛内核移植到 Orin 系列上,并为其量身打造了相应的板级支持包(BSP)。

核心软件:EtherCAT 多主站同步

在具身智能控制中,ETherCAT 通信确保了机器人能够快速、准确地执行决策,实现全身关节的协同运动。

国讯芯微自主知识产权 EtherCAT 多主站 NIIC EtherCAT Master 2.0 正是如此,可以有效减少数据传输的延迟和抖动。NIIC EtherCAT Master 2.0 能够确保每个主站独立工作,最小控制周期都为 125uS,多主站之间可以实现 nS 级数据同步。可将双手、双腿、头与躯干等所有的传感器分配到不同的主站中,以 125uS 的 2 次方倍数控制周期同相位高速协同。

wKgaombfrk-ATa3UAAD3Nd-jOGU642.png

多模态生态

国讯芯微打通了多模态生态中的各个环节,在这个生态中,国讯芯微以 AGX 作为核心控制,不仅整合了尖端的硬件组件,如关节、灵巧手、全 GMSL 视觉系统,还配备了雷达、环形六麦听觉传感器、电子皮肤、触摸传感器以及唇语识别摄像头等,为机器人提供了全方位的感知和交互能力。可打包支持提供给人形机器人企业,无需再进行软件 SDK 适配、多方采购等繁琐的适配工作。

NSPIC-R006NP 通过实时同步采集的高质量数据集,然后利用视觉-语言模型 VLM 进行数据处理或分析,并将该模型或其输出结果加载到 AGX 的 GPU 上,以实现快速推理或计算。同时,NSPIC-R006NP还提供 Isaac Sim 仿真平台上的 NSPIC-R006NP 控制器仿真模型,帮助客户在复杂环境中测试和优化算法,加速机器人和 AI 系统的开发。

关于端到端的加速,国讯芯微认为高质量数据集的实时并发采集,能够有机会在更少的真实物理世界参数模型下加速完成大模型的训练,并减少推理模型的容量,而且人形机器人并非是个全才,也和人类一样有分工,未来的具身不会是一个通用就能解决一切问题,而是各类应用集的 7B/8B 模型的集群,根据不同场景切换,因此如果可以将特定场景的 7B/8B 模型在 AGX 内以 30-40 Tokens/S 来推理,是有可能直接推理出全身动力学和轨迹规划的,也就是 MBC 将是通过 transformer 架构由 GPU 推出来的最优解,同时结合 CPU 已经成熟积累的 WPC 算法,实现更好的行为预测和执行。国讯芯微的目标是如何在现有软硬件架构下把硬件利用率发挥到极致。同时,成本也是人形机器人能否快速进入市场的核心要素。

NVIDIA 推动国讯芯微

人形机器人控制器技术升级

“做最好的控制器架构,让算法和工艺有最肥沃的土壤,服务于大家是我们的核心理念。”国讯芯微联合创始人兼 CTO 蒋琛表示。

NVIDIA AGX Orin 64GB 提供了丰富的开发工具和资源,为 NSPIC-R006NP 提供了领先的 AI 计算能力和运动控制能力,使得开发者能够更快速、更高效地开发出高性能的人形机器人产品,有助于企业缩短研发周期,降低研发成本,帮助国讯芯微控制器在市场上获得更强的竞争力,保证实现人形机器人控制最优方案。

人形机器人作为下一个 AI 浪潮,未来产业化落地将创造大量的控制器需求;控制器相比执行器更为“无形”,但对机器人本体的表现起到至关重要的作用,且长期的发展迭代可能成为拉开距离的关键点,是各家公司的核心技术。

国讯芯微(NIIC)在国产实时操作系统和软 PLC 运动控制行业扎根十多年,始终致力于为智能制造输出自主化可控核心技术产品。

公司研发自主化 NOM 系列产品,并结合自主研发的工业实时操作系统 NECRO 和 NECRO SUPER STUDIO 软 PLC IDE 构成了一套完整的控制系统平台产品,为智能制造领域提供实时操作系统 SDK、IDE 工具链和完整的自动化、运动控制解决方案。

国讯芯微于 2023 年研发了全国首款具身智能控制平台 NSPIC-R006NP,实现大小脑端到端协同控制,先后荣获“Leaderobot 2024 年度人形机器人核心驱动奖”、“2024 年人形机器人供应链优质企业”。

*本文中图片来源于国讯芯微,若您有任何疑问或需要使用本文中图片,请联系国讯芯微。

NVIDIA 初创加速计划

国讯芯微(NIIC)是 NVIDIA 初创加速计划 (NVIDIA Inception) 会员企业。 NVIDIA 初创加速计划为免费会员制,旨在培养颠覆行业格局的优秀创业公司。该计划联合国内外知名的风投机构、创业孵化器、创业加速器、行业合作伙伴以及科技创业媒体等,打造创业加速生态系统。能够提供产品折扣、技术支持、市场宣传、融资对接、业务推荐等一系列服务,加速创业公司的发展。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    211

    文章

    28328

    浏览量

    206824
  • NVIDIA
    +关注

    关注

    14

    文章

    4967

    浏览量

    102916
  • 操作系统
    +关注

    关注

    37

    文章

    6776

    浏览量

    123257

原文标题:初创加速计划 | 基于 NVIDIA Jetson 平台,国讯芯微实现大小脑端到端协同控制

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    英飞凌为NVIDIA Jetson边缘AI平台提供AIROC™ Wi-Fi/蓝牙®解决方案

    公司(FSE代码:IFX / OTCQX代码:IFNNY)近日宣布,为NVIDIA Jetson边缘AI平台提供AIROC™ Wi-Fi和蓝牙®连接解决方案。    
    的头像 发表于 06-10 16:08 3056次阅读
    英飞凌为<b class='flag-5'>NVIDIA</b> <b class='flag-5'>Jetson</b>边缘AI<b class='flag-5'>平台</b>提供AIROC™ Wi-Fi/蓝牙®<b class='flag-5'>解决方案</b>

    NVIDIA 加速人形机器人发展

    —SIGGRAPH— 当地时间 2024 年 7 月 29 日— 为加速全球人形机器人的发展,NVIDIA 于今日宣布,为全球领先的机器人制造商、AI 模型开发者和软件制造商提供一套
    发表于 07-30 09:15 732次阅读
    <b class='flag-5'>NVIDIA</b> 加速<b class='flag-5'>人形</b><b class='flag-5'>机器人</b>发展

    为什么人形机器人更讨人喜欢?

    、生活习惯等兼容,可以更多地利用为人专门设计的方方面面,因而在人类世界中更得心应手。谷歌CEO桑达尔·皮查伊 人形机器人集机、电、材料、计算机、传感器、控制技术等多门学科与技术于一体,由电力驱动,通过
    发表于 05-12 09:55

    智能扫地机器人解决方案

    扫地机器人工作。二 智能扫地机器人控制方案简介1. 方案概述智能扫地机器人
    发表于 05-27 13:31

    RIO嵌入式控制平台怎么助力机器人应用?

    自动或半自动机器人常常需要嵌入式控制系统,从而能够结合高度智能化的确定性控制,并且可以方便地连接到不同的传感器和执行器上。NI提供了多种嵌入式硬件平台,以满足复杂系统的需求。从尖端的
    发表于 11-06 07:50

    NVIDIA Jetson的相关资料分享

    Jetson概述爆炸式增长的AI模型的复杂性专为自主机器开发人员设计的AI计算板加快AI处理的SDK“JetPack”概述NVIDIA Jetson
    发表于 11-09 08:26

    NVIDIA Jetson介绍

    NVIDIA Jetson有哪些产品成员、软件堆栈以及面向行业的解决方案?本课程将系统介绍Jetson的硬件平台、软件资源、生态以及应用
    发表于 12-14 08:05

    【教程1】人形街舞机器人-套件检测教程

    多自由度人形双足舞蹈机器人——疯壳·机器人开发系列套件检测教程内容简介本文档主要介绍在如何验证多自由度人形双足街舞机器人套件正常,包括具体线
    发表于 08-12 15:55

    高动态人形机器人“夸父”通过OpenHarmony 3.2 Release版本兼容性测评

    鸿联合乐聚(深圳)机器人技术有限公司(简称“乐聚”)联合打造,通过KaihongOS构建了“人形机器人+”开放生态平台。近日,夸父人形
    发表于 12-20 09:31

    NVIDIA机器人解决方案亮相智博会

    在近日落幕的2019年全球人工智能产品应用博览会(智博会)上,NVIDIA展出了其基于最新AI计算机NVIDIA Jetson Nano的机器人解决
    的头像 发表于 05-16 15:03 2802次阅读

    利用NVIDIA Jetson Nano开发机器人应用

      R2-D2 机器人的一些组件包括 Sabertooth 电机控制器、索尼相机、两个踏板车电机、Arduino、NVIDIA Jetson Nano、一个用于主动潜望镜机制的 Mus
    的头像 发表于 04-18 09:46 1871次阅读

    NVIDIA Jetson 助力创乐博人工智能教育机器人

    借助 NVIDIA 后端到前端全栈式开发优势, 湖南创乐博智能科技有限公司 结合机器人硬件本体,在教育机器人市场获得了较大的认可度,同时通过 NVIDIA
    的头像 发表于 04-01 01:40 961次阅读

    基于 NVIDIA Jetson 使用硬件在环设计机器人

    Isaac 平台 应用于这些领域的。 NVIDIA Isaac 平台NVIDIA Isaac Sim 和 NVIDIA Isaac R
    的头像 发表于 06-14 18:35 765次阅读
    基于 <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Jetson</b> 使用硬件在环设计<b class='flag-5'>机器人</b>

    使用机器学习和NVIDIA Jetson边缘AI和机器人平台打造机器人导盲犬

    Selin Alara Ornek 是一名富有远见的高中生。她使用机器学习和 NVIDIA Jetson 边缘 AI 和机器人平台,为视障人士打造了
    的头像 发表于 11-08 10:05 369次阅读

    使用NVIDIA Jetson打造机器人导盲犬

    Selin Alara Ornek 是一名富有远见的高中生。她使用机器学习和 NVIDIA Jetson边缘 AI 和机器人平台,为视障人士打造了
    的头像 发表于 11-09 13:51 217次阅读