0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

GLaDOS交互机器人入选Hackster.io挑战赛9个优胜作品之一

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 2024-05-10 11:33 次阅读

其他优胜作品包括 AI 驱动的虚拟试衣应用和一款能够寻找遗失物品的机器人等。

YouTube 机器人技术主播 Dave Niewinski 开发的机器人五花八门,从可驾驶的“La-Z-Boy”椅子到由 AI 引导的扔沙包机器人、马车比赛机器人等。

他最近的交互式电子动画 GLaDOS 项目成为了 Hackster AI 创新挑战赛的九个优胜作品之一。约 100 名参赛者通过创建开源项目、推动 AI 在边缘计算、机器人和物联网领域的应用,来角逐由 NVIDIA 与 Sparkfun 提供的奖品。

Niewinski 根据视频游戏开发商 Valve 的第一人称解谜系列游戏《传送门》(Portal)中的 GLaDOS 向导,设计出了一个创新机器人,该机器人赢得了生成式 AI 应用组第一名。

另两位优胜者 Andrei Ciobanu 和 Allen Tao 分别获得了边缘生成式 AI 模型和边缘 AI 应用组的一等奖。Ciobanu 利用生成式 AI 帮助实现虚拟试衣,而 Tao 所开发的基于 ROS 的机器人可通过绘制家庭内部地图来帮助寻找物品。

将 LLM 应用于机器人

Niewinski 在其位于加拿大安大略省滑铁卢的 Armoury Labs 开发定制化的机器人应用。他使用 NVIDIA Jetson 平台开发边缘 AI 和机器人技术,并根据自己的经验创建开源教程和 YouTube 视频。

为了给自己配备一名实验室私人助理,他制作了一个自己的 GLaDOS 交互机器人。该机器人使用基于 Transformer 的语音识别、文本转语音和大语言模型(LLM)处理查询,这些功能与模型均在 NVIDIA Jetson AGX Orin 上运行,可与机械臂和摄像头进行交互。

GLaDOS 可以追踪 Niewinski 在实验室中的行踪,能够朝不同的方向移动来面对他,并对询问作出快速反应。

Niewinski 表示:“我喜欢用机器人做一些出乎人们意料的事情。”

他希望这个助手的声音能像《传送门》中的原版 GLaDOS 一样,并且能够迅速作出反应。幸运的是,游戏公司 Valve 把《传送门》和《传送门 2》中的所有语音台词都放在了自己的网站上,Niewinski 可以下载音频来训练模型。

他提到:“使用 Jetson 的话,一般的问答语音都能快速运行。”

Niewinski 利用 NVIDIA 的开源 NeMo 套件对 GLaDOS 的语音进行了微调,训练出一个名为 FastPitch 的频谱生成器网络和一个名为 HiFiGAN 的声码器网络来提高音频质量。

这两个网络都被部署到搭载 NVIDIA Riva 的 Orin 上,将语音识别与合成功能的运行速度优化到数倍于语音的实时速度,使其能够与 LLM 同步运行并保持流畅的交互传输。

为了让 GLaDOS 生成符合现实的回答,Niewinski 使用了一个名为 OpenChat 的本地托管 LLM,该模型在 Docker 中运行,来自 jetson-containers。所有这些 AI 都在 Jetson 模块上运行,使用的是由 CUDA 和 JetPack 构建的最新开源 ML 软件堆栈。

为了让 GLaDOS 能够移动,Niewinski 专门为宇树科技 Z1 机械臂开发了交互功能。GLaDOS 可以通过一个立体摄像头和多个模型来观察和追踪人类语言,其机械臂周围装上了 3D 打印的 GLaDOS 头部和身体外壳。

借助生成式 AI 试遍新款服装

来自罗马尼亚的 Winner Ciobanu 希望借助生成式 AI 提升虚拟试衣体验,他的作品 EdgeStyle: Fashion Preview at the Edge 夺得了第一名。

他使用 YOLOv5、SAM、OpenPose 等 AI 模型,从图像和视频中提取并完善数据,然后使用 Stable Diffusion 生成图像,他表示Stable Diffusion是实现精准虚拟试穿的关键所在。

Ciobanu 提到,这个系统教会了模型如何将衣服“穿”在不同姿势的人身上,从而增强了试穿的真实感。

“这个系统非常方便,可以让用户不用真的去实际试穿,就能看到衣服穿在身上的效果。”

他表示,NVIDIA JetPack SDK 提供了在 Jetson Orin 上顺利运行 AI 模型所需的所有工具。

“AI 技术日新月异,拥有一套稳定的工具非常有用。它确实为我们这些开发者节约了时间,减少了麻烦,让我们能够摆脱技术问题的困扰,把更多精力放在构建很酷的东西上。”

让机器人帮助寻找遗失物品

加拿大安大略省的获奖者 Winner Tao 创造的机器人可以帮助人们在家中寻找遗失物品。他的 An Eye for an Item 项目赢得了 Hackster 挑战赛的第一名。

Tao 提到:“寻找丢失的物品是一件苦差事,而近期零样本物体检测和 LLM 领域的最新进展使计算机可以根据文字或图片描述为我们检测任意物体,这带来了实现自动化的可能性。”

Tao 表示自己需要机器人的计算能力来对任何非结构化环境中的物体进行分类,比如客厅、大型仓库等。他还需要机器人执行实时计算以进行导航定位,并在更大规模的物体检测模型上进行推理。

他表示:“Jetson Orin 是一个绝佳的选择,它支持从使用 NanoDB 查询文本和图像到实时里程反馈等一切功能,包括使用 Isaac ROS 的硬件来加速 AprilTag 检测进行漂移校正。”



审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    211

    文章

    28800

    浏览量

    209113
  • 语音识别
    +关注

    关注

    38

    文章

    1750

    浏览量

    113072
  • ROS
    ROS
    +关注

    关注

    1

    文章

    281

    浏览量

    17156
  • 边缘计算
    +关注

    关注

    22

    文章

    3139

    浏览量

    49691
  • ai技术
    +关注

    关注

    1

    文章

    1304

    浏览量

    24561

原文标题:AI 大显身手:GLaDOS 交互机器人入选 Hackster.io 挑战赛 9 个优胜作品之一

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    相关推荐

    探索具身智能边界,地瓜机器人邀你共战ICRA 2025 Sim2Real挑战赛

    探索具身智能边界,地瓜机器人邀你共战ICRA 2025 Sim2Real挑战赛
    的头像 发表于 01-13 20:18 230次阅读
    探索具身智能边界,地瓜<b class='flag-5'>机器人</b>邀你共战ICRA 2025 Sim2Real<b class='flag-5'>挑战赛</b>

    物理仿真人形机器人的统全身控制策略

    创建动作自然并对各种控制输入做出智能响应的交互式仿真人形机器人仍是计算机动画和机器人技术领域最具挑战性的问题之一。NVIDIA Isaac
    的头像 发表于 01-06 12:31 332次阅读
    物理仿真人形<b class='flag-5'>机器人</b>的统<b class='flag-5'>一</b>全身控制策略

    【「具身智能机器人系统」阅读体验】2.具身智能机器人的基础模块

    具身智能机器人的基础模块,这个是本书的第二部分内容,主要分为四部分:机器人计算系统,自主机器人的感知系统,自主机器人的定位系统,自主
    发表于 01-04 19:22

    【「具身智能机器人系统」阅读体验】1.初步理解具身智能

    影响与发展,提供了全球及国内行业趋势的见解。书中详细讨论了这新兴领域面临的诸多挑战,从应用的不确定性、昂贵的成本到伦理问题,为读者呈现了当前形势的现实视角。 接下来,书中深入探讨了具身智能机器人的历史
    发表于 12-28 21:12

    【「具身智能机器人系统」阅读体验】1.全书概览与第章学习

    讲解如何构造具身智能基础模型的方法和步骤,包括数据采集、预处理、模型训练和评估等。 在第四部分,介绍了具身智能机器人的计算挑战,包括计算加速、算法安全性和系统可靠性等内容。 最后,在第五部分介绍了
    发表于 12-27 14:50

    【「具身智能机器人系统」阅读体验】+数据在具身人工智能中的价值

    熟练程度,但由于其多模态性质,训练 EAI 模型需要更多的机器人数据。这些机器人数据包括各种传感输入和交互类型,不仅极具挑战性,而且收集成本高昂。 训练 EAI 的第
    发表于 12-24 00:33

    EDA精英挑战赛果公布!思尔芯“战队”薪火相承斩获“麒麟杯”

    2024中国研究生创芯大赛·EDA精英挑战赛12月7-8日,2024中国研究生创芯大赛·EDA精英挑战赛(原“集成电路EDA设计精英挑战赛”)总决赛及颁奖典礼在南京成功举办。此次大赛,思尔芯作为核心
    的头像 发表于 12-11 01:03 479次阅读
    EDA精英<b class='flag-5'>挑战赛</b><b class='flag-5'>赛</b>果公布!思尔芯“战队”薪火相承斩获“麒麟杯”

    2024年ICPC与华为挑战赛冠军杯圆满落幕

    近日,2024年ICPC&华为挑战赛冠军杯在深圳圆满落幕。该活动由华为和ICPC联合举办,汇聚全球顶尖的编程人才,共同探讨和解决具有挑战性的工业界真实问题,并对未来技术发展趋势及关键挑战展开讨论。今年的
    的头像 发表于 10-27 16:00 935次阅读

    开源项目!用ESP32做一个可爱的无用机器人

    巧妙设计的杠杆将开关推回“关”位置。这种玩具很常见,许多人已经制作并上传到YouTube上。 作者每年都会挑战自己制作技术产品,今年他决定制作这个复杂的项目——可爱无用机器人。这
    发表于 09-03 09:34

    开源项目!用ESP32做一个可爱的无用机器人

    巧妙设计的杠杆将开关推回“关”位置。这种玩具很常见,许多人已经制作并上传到YouTube上。 作者每年都会挑战自己制作技术产品,今年他决定制作这个复杂的项目——可爱无用机器人。这
    发表于 08-30 14:50

    AI4Science黑客松光子计算挑战赛成功举办

    经过数月角逐,第二届AI4Science黑客松竞赛日前落下帷幕。在曦智科技主持的光子计算挑战赛中,参赛选手何自强和来自东北大学的参赛队伍The Power of Light获得完优胜奖。
    的头像 发表于 08-07 09:58 650次阅读

    思尔芯题正式发布,邀你共战EDA精英挑战赛

    题发布COMPETITIONRELEASE2024中国研究生创芯大赛·EDA精英挑战赛(原“集成电路EDA设计精英挑战赛”)现已正式拉开帷幕。作为核心出题企业之一思尔芯(S2C),已
    的头像 发表于 08-03 08:24 782次阅读
    思尔芯<b class='flag-5'>赛</b>题正式发布,邀你共战EDA精英<b class='flag-5'>挑战赛</b>!

    abb机器人io通信和信号设置过程

    引言 ABB机器人作为工业自动化领域的重要设备,其IO通信和信号设置是实现机器人与外部设备进行数据交换和控制的关键。本文将详细介绍ABB机器人IO
    的头像 发表于 06-17 09:22 3245次阅读

    入围全球机器人顶会ICRA 2024!毫末在RoboDrive2024挑战赛崭露头角

    5月15日, 毫末智行出席全球机器人顶级会议 ICRA 2024,并在 RoboDrive2024 挑战赛的第三赛道——Occ 语义占用预测任务取得第三名。 当日,毫末与其他优胜团队
    的头像 发表于 05-17 10:32 495次阅读
    入围全球<b class='flag-5'>机器人</b>顶会ICRA 2024!毫末在RoboDrive2024<b class='flag-5'>挑战赛</b>崭露头角

    人形机器人场景应用全解析,2024睿抗 AI ROBOT创新挑战赛火热报名中!

    的互动中,即发展具身智能。    为了推广并深化具身智能的创新和应用,“睿抗机器人开发者大赛——AI ROBOT创新挑战赛”应用而生,大赛旨在激发全国高校学生的研究热情,探索AI与机器人技术的融合,展示尖端技术成果。    这
    的头像 发表于 05-14 10:49 1587次阅读
    人形<b class='flag-5'>机器人</b>场景应用全解析,2024睿抗 AI ROBOT创新<b class='flag-5'>挑战赛</b>火热报名中!