大模型接入机器人，对端侧芯片提出高要求

电子发烧友网报道（文/李弯弯）作为人工智能发展的一个重要分支，具身智能常被人提及。简单来说，人工智能系统主要关注于数据处理和算法的优化，好比是人的大脑，而具身智能则更加注重机器与环境的互动和交流，是大脑和身体的结合。

那么具身智能终端有哪些？在日前芯原AI专题技术研讨会上，神顶科技（南京）有限公司董事长兼CEO袁帝文展示了一些例子，如工业机器人、人形机器人、自动驾驶、低空飞行、MR/AR、AGV/AMR等。而且，袁帝文认为，具身智能终端的发展需要大模型和3D空间计算。

国内外科技企业致力于将大模型接入机器人

自从2022年底大模型技术进入大众视野以来，国内外科技企业都在积极推进大模型的技术和应用，而将大模型接入机器人也是各大科技企业、机器人公司重点研究的方向。

早在2023年7月，AI科学家李飞飞带领的团队发布了具身智能最新成果，即大模型接入机器人，把复杂指令转化成具体行动规划，人类可以很随意地用自然语言给机器人下达指令，机器人也无需额外数据和训练。

李飞飞团队将该系统命名为VoxPoser，相比传统方法需要进行额外的预训练，这个方法用大模型指导机器人如何与环境进行交互，直接解决了机器人训练数据稀缺的问题。

可以看到，随着大模型技术的发展，过去一年多时间来，从 OpenAI 到 Google DeepMind，几乎所有掌握人工智能技术的大型科技公司，都在致力于将支持聊天机器人的多功能学习算法接入机器人中。这样做的目的是让机器人具备常识性知识，从而能够处理各种任务。

如有消息称，随着对人工智能机器人投资的升温，OpenAI将重启其机器人业务，目前正在积极招募研究工程师，以重建曾经解散的机器人团队。

特斯拉的人形机器人也是备受关注，6月14日凌晨，特斯拉在美国得克萨斯州总部举行2024年股东大会，马斯克在大会上表示，特斯拉将于2025年开始“限量生产”人形机器人Optimus，并于明年在自有工厂测试类人机器人。他预测，明年特斯拉将拥有“超过1000个，甚至数千个在运行的Optimus机器人”。

近期，国产机器人领域也动作频频，全球首例纯电驱全尺寸人形机器人“天工”首次在北京人形机器人创新中心实现“拟人奔跑”、宇树科技发布瞄准老年人陪护市场的新型人形机器人Unitree G1、工业版人形机器人Walker S进入蔚来总装车间“实训”当起“见习厂工”等。

科大讯飞近日也表示，公司已于2023年全球“1024开发者节”上正式发布了“大模型+具身智能”的人形机器人技术原型。2024年5月31日，公司启动讯飞机器人超脑平台2.0项目，将以视听融合的多模感知交互和基于大模型的机器人大脑，通过软硬件一体的方式构建机器人新交互，将讯飞星火大模型进一步赋能机器人领域。

过去大半年时间，手机和PC大模型迅猛发展，手机和PC通过大语言模型可以提供非常多服务，如智能办公助手、个性化推荐系统、图象与视频处理、健康监测与管理、教育与学习、创意写作与内容创作。袁帝文在日前的大会上谈到，大模型在手机和PC上的发展，其实也有助于机器人大模型的发展。因为机器人本身就是一个终端，它所需要的功能包含了手机和PC的基本功能。

不过，袁帝文认为，机器人大模型的挑战要高于手机和PC。首先是，机器人需要多模态数据处理，使机器人综合利用多种感知信息，全面理解环境和任务需求；其次是自主导航和定位需求，机器人需要自主移动，进行路程规划和障碍物避让；第三是物理空间交互，机器人不仅处理信息，还要能与物理环境交互，执行搬运、组装、清洁等物理任务；第四，实时性要求，机器人执行任务时需要低延迟的控制系统，确保动作的准确性和及时性，特别是在高速移动或精细操作时。

大模型机器人对芯片有更高要求

据袁帝文介绍，机器人部署AI大模型面临3D空间计算、多传感器融合、高实时性的要求。
3D空间计算，即机器人在真实的物理空间中自主导航，进行各种操作，需要精确和高帧率的空间计算能力；多传感器融合，即需要对不同传感器产生的数据，进行空间及时间上的同步和融合；高实时性，即高精度、高实时性的3D空间计算能力软硬件协同优化。



这使得机器人对计算资源、内存和带宽、功耗要求较高。计算资源方面：机器人大模型通常包含数十亿以上的参数，需要具备强大算力来实时处理这些模型的推理和计算；内存和带宽方面：由于模型参数量大，需要大量的内存来存储和访问模型参数和中间计算结果；功耗方面：对于移动机器人来说，电池寿面是一个关键问题，芯片需要平衡计算和功耗，保证电池供电。

机器人大模型端侧芯片的关键技术之一是高实时性NPU。一是需要有更高算力· 多核并行，以提升多模型运行的并发性能，提升运算的吞吐量；二是高效Transforme运算，提升Transformer的运算效率和利用率，提升大模型的实时性能；三是低比特量化，降低内存需求、降低存储需求、降低带宽需求、提升运行的实时性；四是权重压缩，提升带宽利用率、降低系统带宽需求、降低数据搬运的延时、提升模型运行的实时性。



机器人大模型端侧芯片关键技术二是3D空间计算处理能力。其一，空间计算专用处理单元——深度计算引擎，同等计算算力资源远超嵌入式CPU；最先进的3D感知处理器，提供工业级别三维点云信息；类人化融合数据信息、赋予同步多维度感知能力。

其二，空间计算专用处理单元——感知融合引擎，对于三维世界的感知，可以通过多个3D传感器，融合出质量更高、细节更丰富的三维世界信息；独特的时间融合单元，使得多个传感器之间的感知时刻偏差小于0.1ms，使得精细多传感器感知和控制精度大幅提高。没有一个传感器在任何场景下都适用，所以多传感器融合非常重要。


写在最后


最近，人们都在谈“物理智能”“物理AI”，Meta人工智能研究员之前说过，“真正智能的最后一步必须是物理智能（physical intelligence）。”而机器人与之前的手机、PC有所不同，它会进一步推进人工智能的发展，让人工智能从数字世界走向物理世界。