电子发烧友网报道(文/周凯扬)作为最考验场景适用度和成本控制的应用之一,机器人市场在随着进一步接入高性能AI芯片,再度开启了新的蓝海赛道。比如人形机器人已经有了接入大语言模型的趋势,我们也已经在不少行业展会上看到了类似的demo。
机器人市场的白刃战已经不再仅仅是运动控制系统和视觉感知系统的比拼了,谁能在新时代把握AI算力的红利,就有可能率先抢下这一蓝海市场的第一块蛋糕。而赋予这一红利的前提,恰恰就是机器人AI芯片以及相关的软件开发平台。
接入大语言模型,AI自动生成代码
作为AI芯片领域的龙头,英伟达的Jetson AGX Orin在去年一经发布,就获得了机器人行业生态的追捧。200TOPS@INT8的算力相比上一代的Jetson Nano、Jetson Xavier都有了数倍的提升。而上一代产品仍是当时乃至现在的主流产品,Jetson的开发生态拥有100万开发者和6000多家公司,小米的Cyberone、宇树的B1等产品都在使用Jetson硬件作为感知计算平台。
不过Jetson AGX Orin面向的依然是行业级的市场,面对消费级的产品,仍需要入门级与中端级的产品来替代原先的Nano和Xavier。因此英伟达随即又发布了全新的Jetson Orin Nano和Jetson Orin NX,根据配置不同,最高算力分别可至40TOPS和100TOPS。
与Jetson AGX Orin一同更新的Metropolis、Omniverse Isaac和TAO的工具套件,进一步减少了AI部署所需的时间成本,又能解决感知、自然语言理解等机器人开发过程中的挑战。自去年第四季度英伟达开始供货以来,今年新发布的一众机器人产品纷纷用上了这颗芯片,而其作用也不再只是用于感知计算。
以国产机器人厂商宇树为例,他们发布的Unitree Go2 EDU版本可以选配英伟达Jetson Orin高算力模组,以提供额外的40到100TOPS算力,结合来看选配的最低是8GB的Jetson Orin Nano,以及16GB的Jetson Orin NX。Unitree Go2也接入了GPT,在与人进行问答交互时也更加智能,并非程序式的反应。
这对于陪伴型机器人来说,或许意味着跨世代的进步,在接入GPT后,一切交互活动都会变得人性化。在理解指令语义后,也能通过GPT的代码生成能力自动生成机器人的控制代码,从而在无需额外编程的情况下,触发更为复杂的动作指令。而目前Jetson是接入大模型最为全面的机器人硬件平台,故而为国产机器人厂商结合国产大模型也提供了支持。
AI定制化需求与开发平台易用性
地平线虽是国产自动驾驶芯片的龙头厂商,但这家名字里带了Robotics的公司,也在稳步推进着机器人的开发。在去年,地平线推出了国内首个软硬一体的机器人开发平台Horizon Hobot Platform,以及基于最新旭日X3芯片打造的旭日X3派开发板。
Hobot平台除了包括旭日3芯片外,还包括机器人操作系统TogetherROS,机器人参考算法Boxs等。旭日3集成了全新的伯努利2.0 BPU架构,可以提供5TOPS的算力。而TogetherROS在兼容ROS2通用操作系统的同时,对旭日芯片进行了底层优化,提高了部分CV算子的性能。除了与传感器和软件厂商达成合作以外,地平线也与不少机器人本体厂商紧密合作,诸如松灵机器人、智科特机器人等。
而今年地平线推出了全新的RDK系列机器人开发者套件,基于此原先的旭日X3派升级成了RDK X3,上半年也发布了集成度更高的RDK X3模组,四核Cortex-A53的CPU主频升级至1.5GHz,可以满足机器人开发者客户更多的定制化需求。
而在7月的地平线2023机器人开发者创享日上,地平线又发布了RDK X3 2.0以及RDK Ultra。RDK Ultra则是地平线为机器人开发准备的一套高性能、大算力套件,其端侧推理算力可达96TOPS,同时配备了8核Cortex-A55 CPU提供高性能处理能力。同时为了更好地降低开发者的适配与学习成本,RDK Ultra的硬件接口甚至兼容Jetson Orin系列开发板。
与此同时,基于下一代芯片旭日5的RDK X5套件也已经在开发过程中了,预计将于2024年面世。地平线也透露了该平台的一些性能指标,比如8TOPS的BPU算力,8核Cortex A55的CPU将主频进一步提升至1.8GHz,且这次更是配备了Arm Mali GPU。
在机器人开发者创享日上,同样获得升级的还有TogetherROS。升级到2.0版本的TogetherROS引入了更多的算法与应用实例,其中包括了一众因为算力升级而得以实现的复杂算法,比如BEV视觉3D感知、深度学习视觉巡线等等。
为了对机器人应用进行更有针对性的开发,地平线也推出了Node Hub,通过将SLAM、目标检测、定位和自主导航等功能节点化,从而使得不同类型的机器人只需将这些节点串联起来即可完成应用开发,譬如需要SLAM、自主导航和运动控制的物流机器人,或是需要运动规划和目标检测的分拣机器人等等。
AI计算的同时兼顾可靠性与实时性
另一个常常被大家忽略的硬件平台,同样可以助力AI机器人的开发,那就是AMD/赛灵思的Versal AI Edge系列。该系列通过标量引擎、自适应引擎和智能引擎的结合,提供了一个比GPU提供更高AI能耗比的平台。在通用的控制嵌入式计算上,双核Cortex-A72和双核Cortex-R5F足以满足Linux应用和实时控制的需求,而自适应引擎则用于支持各种传感器的融合算法。
其智能引擎由AI引擎和DSP引擎构成,每个AI引擎都由多个引擎块构成2D阵列,而每个引擎块都包含了一个VLIW的单指令多数据向量处理器,主频高达1.3GHz,且专门针对机器学习和高级信号处理进行了优化,足以满足机器人实时控制的低时延。
值得一提的是,AMD提供的这一AI引擎分为两种,一种是同时平衡ML和DSP负载的AIE引擎,一种是专注于ML的AIE-ML引擎,前者的高级信号处理能力更高,而后者的机器学习推理性能更高。这也是为何Versal AI Edge在智能引擎中加入了一个独立的DSP引擎,这样一来无论是机器人AI应用中的深度学习,还是感知计算中的信号处理,都能在单一平台上完成。
不过从用例来看,Versal AI Edge系列还是更适合用于行业级的机器人,诸如工业协作机器人、医用手术机器人等等。这类应用往往需要数量大于消费级机器人的异构传感器输入,且对于预测性维护、远程诊断之类的机器学习应用需求更高。况且从其标量引擎的配置和自适应引擎对TSN网络的支持上来看,也是为了在工业、医疗等环境中实现ROS下最快的响应速度。
写在最后
对于机器人市场来说,追求小型化、低功耗、高算力的AI计算芯片必然是未来几年的大势所趋。与之匹配的电机/电机控制芯片以及传感器,也已经开启了新一轮的技术升级,目标即形成感知层、计算层和执行层的完美融合。单从技术积累来看,自动驾驶芯片厂商很有可能是率先吃到甜头的厂商,但它们不少仍需要更多的精力来接入不同的AI模型,才能跟上新的交互潮流。
机器人市场的白刃战已经不再仅仅是运动控制系统和视觉感知系统的比拼了,谁能在新时代把握AI算力的红利,就有可能率先抢下这一蓝海市场的第一块蛋糕。而赋予这一红利的前提,恰恰就是机器人AI芯片以及相关的软件开发平台。
接入大语言模型,AI自动生成代码
作为AI芯片领域的龙头,英伟达的Jetson AGX Orin在去年一经发布,就获得了机器人行业生态的追捧。200TOPS@INT8的算力相比上一代的Jetson Nano、Jetson Xavier都有了数倍的提升。而上一代产品仍是当时乃至现在的主流产品,Jetson的开发生态拥有100万开发者和6000多家公司,小米的Cyberone、宇树的B1等产品都在使用Jetson硬件作为感知计算平台。
不过Jetson AGX Orin面向的依然是行业级的市场,面对消费级的产品,仍需要入门级与中端级的产品来替代原先的Nano和Xavier。因此英伟达随即又发布了全新的Jetson Orin Nano和Jetson Orin NX,根据配置不同,最高算力分别可至40TOPS和100TOPS。
与Jetson AGX Orin一同更新的Metropolis、Omniverse Isaac和TAO的工具套件,进一步减少了AI部署所需的时间成本,又能解决感知、自然语言理解等机器人开发过程中的挑战。自去年第四季度英伟达开始供货以来,今年新发布的一众机器人产品纷纷用上了这颗芯片,而其作用也不再只是用于感知计算。
以国产机器人厂商宇树为例,他们发布的Unitree Go2 EDU版本可以选配英伟达Jetson Orin高算力模组,以提供额外的40到100TOPS算力,结合来看选配的最低是8GB的Jetson Orin Nano,以及16GB的Jetson Orin NX。Unitree Go2也接入了GPT,在与人进行问答交互时也更加智能,并非程序式的反应。
这对于陪伴型机器人来说,或许意味着跨世代的进步,在接入GPT后,一切交互活动都会变得人性化。在理解指令语义后,也能通过GPT的代码生成能力自动生成机器人的控制代码,从而在无需额外编程的情况下,触发更为复杂的动作指令。而目前Jetson是接入大模型最为全面的机器人硬件平台,故而为国产机器人厂商结合国产大模型也提供了支持。
AI定制化需求与开发平台易用性
地平线虽是国产自动驾驶芯片的龙头厂商,但这家名字里带了Robotics的公司,也在稳步推进着机器人的开发。在去年,地平线推出了国内首个软硬一体的机器人开发平台Horizon Hobot Platform,以及基于最新旭日X3芯片打造的旭日X3派开发板。
Hobot平台除了包括旭日3芯片外,还包括机器人操作系统TogetherROS,机器人参考算法Boxs等。旭日3集成了全新的伯努利2.0 BPU架构,可以提供5TOPS的算力。而TogetherROS在兼容ROS2通用操作系统的同时,对旭日芯片进行了底层优化,提高了部分CV算子的性能。除了与传感器和软件厂商达成合作以外,地平线也与不少机器人本体厂商紧密合作,诸如松灵机器人、智科特机器人等。
而今年地平线推出了全新的RDK系列机器人开发者套件,基于此原先的旭日X3派升级成了RDK X3,上半年也发布了集成度更高的RDK X3模组,四核Cortex-A53的CPU主频升级至1.5GHz,可以满足机器人开发者客户更多的定制化需求。
而在7月的地平线2023机器人开发者创享日上,地平线又发布了RDK X3 2.0以及RDK Ultra。RDK Ultra则是地平线为机器人开发准备的一套高性能、大算力套件,其端侧推理算力可达96TOPS,同时配备了8核Cortex-A55 CPU提供高性能处理能力。同时为了更好地降低开发者的适配与学习成本,RDK Ultra的硬件接口甚至兼容Jetson Orin系列开发板。
与此同时,基于下一代芯片旭日5的RDK X5套件也已经在开发过程中了,预计将于2024年面世。地平线也透露了该平台的一些性能指标,比如8TOPS的BPU算力,8核Cortex A55的CPU将主频进一步提升至1.8GHz,且这次更是配备了Arm Mali GPU。
在机器人开发者创享日上,同样获得升级的还有TogetherROS。升级到2.0版本的TogetherROS引入了更多的算法与应用实例,其中包括了一众因为算力升级而得以实现的复杂算法,比如BEV视觉3D感知、深度学习视觉巡线等等。
为了对机器人应用进行更有针对性的开发,地平线也推出了Node Hub,通过将SLAM、目标检测、定位和自主导航等功能节点化,从而使得不同类型的机器人只需将这些节点串联起来即可完成应用开发,譬如需要SLAM、自主导航和运动控制的物流机器人,或是需要运动规划和目标检测的分拣机器人等等。
AI计算的同时兼顾可靠性与实时性
另一个常常被大家忽略的硬件平台,同样可以助力AI机器人的开发,那就是AMD/赛灵思的Versal AI Edge系列。该系列通过标量引擎、自适应引擎和智能引擎的结合,提供了一个比GPU提供更高AI能耗比的平台。在通用的控制嵌入式计算上,双核Cortex-A72和双核Cortex-R5F足以满足Linux应用和实时控制的需求,而自适应引擎则用于支持各种传感器的融合算法。
其智能引擎由AI引擎和DSP引擎构成,每个AI引擎都由多个引擎块构成2D阵列,而每个引擎块都包含了一个VLIW的单指令多数据向量处理器,主频高达1.3GHz,且专门针对机器学习和高级信号处理进行了优化,足以满足机器人实时控制的低时延。
值得一提的是,AMD提供的这一AI引擎分为两种,一种是同时平衡ML和DSP负载的AIE引擎,一种是专注于ML的AIE-ML引擎,前者的高级信号处理能力更高,而后者的机器学习推理性能更高。这也是为何Versal AI Edge在智能引擎中加入了一个独立的DSP引擎,这样一来无论是机器人AI应用中的深度学习,还是感知计算中的信号处理,都能在单一平台上完成。
不过从用例来看,Versal AI Edge系列还是更适合用于行业级的机器人,诸如工业协作机器人、医用手术机器人等等。这类应用往往需要数量大于消费级机器人的异构传感器输入,且对于预测性维护、远程诊断之类的机器学习应用需求更高。况且从其标量引擎的配置和自适应引擎对TSN网络的支持上来看,也是为了在工业、医疗等环境中实现ROS下最快的响应速度。
写在最后
对于机器人市场来说,追求小型化、低功耗、高算力的AI计算芯片必然是未来几年的大势所趋。与之匹配的电机/电机控制芯片以及传感器,也已经开启了新一轮的技术升级,目标即形成感知层、计算层和执行层的完美融合。单从技术积累来看,自动驾驶芯片厂商很有可能是率先吃到甜头的厂商,但它们不少仍需要更多的精力来接入不同的AI模型,才能跟上新的交互潮流。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
机器人
+关注
关注
210文章
28205浏览量
206525 -
英伟达
+关注
关注
22文章
3747浏览量
90833 -
AI芯片
+关注
关注
17文章
1859浏览量
34909
发布评论请先 登录
相关推荐
【书籍评测活动NO.51】具身智能机器人系统 | 了解AI的下一个浪潮!
早就听大佬们说,具身智能是人工智能的下一波浪潮,也是AI未来的趋势!
最近,具身智能的概念更是炙手可热,备受瞩目!
不论是这几天稚晖君开源人形机器人全套图纸+代码,引发圈内热议。
还是各类具身智能
发表于 11-11 10:20
工业机器人常用的编程方式
机器人完成特定的任务。编程可以手动完成,也可以通过计算机辅助设计(CAD)软件自动生成。编程方式的选择取决于任务的复杂性、机器人的类型、以及所需的灵活性和效率。 1. 手动编程 1.1
Al大模型机器人
理解能力强大: AI大模型机器人可以理解和生成自然语言,能够进行复杂的对话和语言任务。它们能够识别语言中的语义、语境和情感,并据此作出适当的回应。广泛的知识储备: 这些模型基于大规模的数据集进行训练,拥有
发表于 07-05 08:52
如何使用PLC控制机器人
随着工业自动化技术的飞速发展,机器人技术作为其中的重要组成部分,其应用范围日益广泛。在机器人的控制系统中,PLC(Programmable Logic Controller,可编程逻辑
基于FPGA EtherCAT的六自由度机器人视觉伺服控制设计
,为工业自动化提供了一套切实可行的方案。
本文针对基于机器视觉的工业机器人进行研究,主要工作包括以下几点:
(1)设计了基于 伊瑟特的六自由度机器人视觉伺服
发表于 05-29 16:17
鸿海台厂全面进军全球AI人形机器人市场
随着英伟达新平台的发布,AI人形机器人不再是梦想。台资企业也紧跟步伐,积极布局这一新兴市场。其中,鸿海集团在“3+3”战略中,重点关注电动汽车、数字健康以及机器人三个未来趋势行业,充分
软银集团AI芯片与机器人布局,成AI巨头
据悉,该芯片将由台积电(2330)操刀生产。软银集团对AI发展的热情高涨,其与鸿海(2317)集团在人形机器人Pepper项目上的成功合作,以及桦汉(6414)在AI相关领域的实力,引
蓝芯科技正式发布智能搬运机器人VMR-FR31510L
4月18日,蓝芯科技正式发布智能搬运机器人VMR-FR31510L。 该产品搭载蓝芯核心技术LX-MRDVS(蓝芯-移动机器人深度视觉系统)
NVIDIA Isaac机器人平台升级,加速AI机器人技术革新
NVIDIA Isaac机器人平台近期实现重大升级,通过引入最新的生成式AI技术和先进的仿真技术,显著加速了AI机器人技术的发展步伐。该平台
生成式AI通过NVIDIA Isaac平台提高机器人的智能化水平
今日,NVIDIA 机器人和边缘计算副总裁 Deepu Talla 在 CES 上的特别演讲中,详细介绍了 NVIDIA 及合作伙伴是如何将生成式 AI 与机器人技术相结合的。
海默机器人:回顾2023,展望2024
导语时光荏苒,转瞬间已经来到2024年的门槛。回首过去的一年,海默机器人在机器人领域取得了巨大的进步与突破,同时也为未来的发展奠定了坚实的基础。在新的一年里,我们将持续创新,以更高的目
【开源项目】Emo:基于树莓派 4B DIY 能笑会动的桌面机器人
复杂的功能,我们采用 Python 的 multiprocessing 包,这使机器人能够同时执行多个任务,从而提高运行效率。
我们已经为你编写好项目代码,你只需克隆到本地即可使用。
git
发表于 12-26 15:18
评论