0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

奥比中光在VALSE 2021上展示最新的3D智能抠图算法

互联网科技 来源:互联网科技 作者:互联网科技 2021-10-11 11:29 次阅读

10月8日至10日,“CV界”盛宴VALSE 2021(视觉与学习青年学者研讨会)在杭州国际博览中心举行。大会金牌赞助商奥比中光携3D智能抠图算法开发者套件等全新技术方案与产品,以“感知·3D全视界”为主题参展,吸引现场青年学者与专业观众驻足交流。9日上午,奥比中光研究院算法团队负责人钱贝贝博士在大会上发表了《3D视觉 更懂世界——从感知到认知》的演讲,分享了奥比中光3D视觉感知技术从深度信息获取到三维重建、落地应用过程的研发突破。

精细到头发丝,奥比中光3D智能抠图算法来了

在演讲中,钱贝贝博士围绕3D感知、3D重建、3D识别等话题,分享了奥比中光3D视觉感知技术的基本原理与公司最新算法研发突破。基于硬件级的高精度3D信息与前沿深度估计算法,奥比中光可实现基于纹理增强的三维人脸重建、人体重建,并通过3D识别算法开发出各类3D智能应用。

今年3月,奥比中光研究院徐玉华博士在CVPR发表论文 “Bilateral Grid Learning for Stereo Matching Networks”,提出了一种能够以高分辨率回归视差图的方法,可在双目深度估计过程中同时保持高效率与高精度,显著改善了传统方法在弱纹理、边缘情况下深度估计不准、信息缺失等情况,使得深度图更加完整。

pYYBAGFjr6qABAvgAAJUgAzXb5M953.png

奥比中光研究院算法团队负责人钱贝贝博士在VALSE 2021发表演讲。

现场,钱贝贝博士展示了团队最新研发的3D智能抠图算法全新技术方案。该方案实现了基于背景建模的轻量化前景抠图,能够同时抠取清晰的3D人像及物品,可广泛用于直播带货、视频会议、游戏渲染、场景理解、自动驾驶、目标跟踪、混合显示、电影制作等场景。

钱贝贝博士介绍,主播在直播带货场景中同时要售卖许多款商品,在抠图时,如果用传统2D抠图常用的语义分割、显著性检测等方式,容易受物品类别及显著性等限制,难以准确从杂乱的背景中抠取主播与商品。奥比中光通过背景+人图软分割的方法,设计了轻量化的Stage Block网络框架,并基于大量数据训练,实现了人、物与背景的精确分割,并可根据不同需求平衡抠图的精度与速度。

在真实数据集的测试表现中,相比于其它方式,基于背景建模的轻量化前景抠图的各方面数据都有了显著提升,其FLOPs降低89.9%,Param降低 87.7%。

poYBAGFjr6uAJOEOAAHbM8S6bWM668.png

图注:基于背景建模的轻量化前景抠图与其它方式效果对比。

除了能同时抠取人像与物品,抠取自定义距离背景也是奥比中光3D智能抠图的一大亮点。3D抠图支持用户自定义抠图距离,可过滤掉背景中不相关的人物,起到保护隐私的作用。如用户在家中参加视频会议时,可以调整3D抠图距离,不让其他参会者看到自己的家庭成员。

pYYBAGFjr66ALgK3AAT9_GwNv8E730.png

图注:现有在线视频会议软件中的2D抠图和奥比中光3D抠图效果对比。

此外,钱贝贝博士介绍,3D智能抠图对于细节的还原也更为精确,可以更好地抠取头发、手指等细节。“这是由于3D相机采集的深度信息为算法提供了先验信息,有利于算法将细节处抠取得更为完整。相比之下,2D抠图算法容易导致细节丢失,需要配合更高的分辨率才能够抠取细节,但更高的分辨率会导致算法速度变慢,体验变差。”

poYBAGFjr7KAe--cAAS02cmMi40872.png

图注:观众在奥比中光展位上观看3D智能抠图算法演示。

iToF应用开发DIY,奥比中光开发者套件也来了

在VALSE 2021展位现场,奥比中光还带来了iToF开发者套件及3D视觉机器人开发套件等产品,获得不少开发者驻足和青睐。

今年9月,奥比中光发布iToF智能视觉平台,提供从芯片、模组、智能算法到整机的全栈式方案,满足了AIoT多元化的iToF方案需求。在VALSE 2021上展出的iToF开发者套件包含奥比中光基于iToF智能视觉平台开发的相机Femto,搭载高品质iToF感光芯片,适用于0.2m-5m距离内3D对象扫描及深度数据测量,可用于开发视频安防监控、扫地机器人、3D扫描、物流包裹检测等产品应用。

pYYBAGFjr7OAHK9DAAT00iQE41U618.png

图注:观众在奥比中光展位上观看Femto、开发者套件等产品演示。

另一款ORBBEC MR100则是以3D视觉硬件及软件算法为基础的移动机器人开发平台。ORBBEC MR100搭载了奥比中光Astra Pro深度相机、单线激光雷达、英伟达Jetson nano高性能处理器、串联机械臂、柔性机械爪等部件,内置ROS melodic系统,支持3D人体骨骼识别、3D视觉目标跟随、物体识别、三维空间重建与导航等,还可以运行深度学习,支持拓展语音交互等功能。

pYYBAGFjr7aAfTLMAAUMP_HhUVw255.png

图注:现场观众了解奥比中光3D视觉机器人开发套件小车。

在VALSE 2021展位上,奥比中光现场开启了3D视觉开发者社区与人才招聘直达入口,为众多有志于3D视觉行业的青年人才提供了专业渠道。

西安电子科技大学研一学生董天成表示,“对奥比中光的3D视觉技术很感兴趣,未来会继续关注3D视觉开发者社区,希望毕业后有机会去奥比中光西安研究院工作。”
fqj

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    211

    文章

    28389

    浏览量

    206925
  • 3D视觉
    +关注

    关注

    4

    文章

    431

    浏览量

    27521
收藏 人收藏

    评论

    相关推荐

    光与英伟达深化机器人场景合作

    光在最新互动平台动态宣布,公司与全球领先的图形处理器(GPU)制造商英伟达在机器人领域展开了深度合作,标志着双方在推动
    的头像 发表于 08-01 17:17 951次阅读

    光和VelogicFit用创新3D运动分析技术助力重伤车手夺冠

    近期,光与合作伙伴Velogicfit拍摄了一部纪录片,讲述了创新3D运动分析技术帮助美国女自行车手萨曼莎·博斯科(Samantha Bosco) 夺得世界冠军的故事。该纪录片由
    的头像 发表于 07-25 09:24 540次阅读

    光AMR机器人OEM项目首批成功下线交付

    近日,光在东莞自营工厂举办了AMR机器人OEM项目首批下线交付仪式。此次交付的AMR机器人是
    的头像 发表于 07-01 10:28 593次阅读

    3D相机打造高质量、低成本的3D动作捕捉与3D动画内容生成方案

      在过去几十年里,动作捕捉(MoCap)技术经历了显著的发展,广泛被应用于电影、游戏、虚拟现实、医疗等多个领域。近期,光合作客户Moverse使用Orbbec Femto系列3D
    的头像 发表于 06-25 16:37 1068次阅读

    OpenCV携3D相机亮相CVPR 2024

    和机器学习软件库,提供丰富的图像处理和计算机视觉算法光与OpenCV的深入合作,使得复杂的3D感知项目开发变得简单高效。全球开发者及
    的头像 发表于 06-21 09:38 550次阅读

    光英伟达联办3D视觉创新应用竞赛圆满收官

    5月15日,光与NVIDIA(英伟达)联合主办的“2024第四届3D视觉创新应用竞赛”圆满落幕。
    的头像 发表于 05-30 09:37 423次阅读
    <b class='flag-5'>奥</b><b class='flag-5'>比</b><b class='flag-5'>中</b>光英伟达联办<b class='flag-5'>3D</b>视觉创新应用竞赛圆满收官

    光联合英伟达,实现更高效的自主机器人导航

    5月6日-9日,光在美国芝加哥举办的北美最大自动化技术展Automate 2024亮相,带来了新一代全场景双目3D相机——Gemini
    的头像 发表于 05-11 09:18 732次阅读

    重磅| 光全新双目系列3D相机,搭载自研芯片,为智能机器人而生

      4月29日,光正式发布全新Gemini 330系列双目3D相机,首发产品包括Gemini 335、Gemini 335L两款通用型高性能双目
    发表于 04-30 18:00 458次阅读
    重磅| <b class='flag-5'>奥</b><b class='flag-5'>比</b><b class='flag-5'>中</b>光全新双目系列<b class='flag-5'>3D</b>相机,搭载自研芯片,为<b class='flag-5'>智能</b>机器人而生

    光正式发布全新Gemini 330系列双目3D相机

    4月29日,光正式发布全新Gemini 330系列双目3D相机,首发产品包括Gemini 335、Gemini 335L两款通用型高性能双目3
    的头像 发表于 04-30 10:41 632次阅读
    <b class='flag-5'>奥</b><b class='flag-5'>比</b><b class='flag-5'>中</b>光正式发布全新Gemini 330系列双目<b class='flag-5'>3D</b>相机

    光携多款3D相机深度参与国内3D视觉最高规格会议

    4月19日-21日,国内3D视觉最高规格会议China 3DV 2024大会在深圳举行。光作为大会铂金赞助商,携多款不同技术路线的
    的头像 发表于 04-24 09:26 445次阅读
    <b class='flag-5'>奥</b><b class='flag-5'>比</b><b class='flag-5'>中</b>光携多款<b class='flag-5'>3D</b>相机深度参与国内<b class='flag-5'>3D</b>视觉最高规格会议

    光与创想三维联合打造的高精度3D扫描仪正式发布

    4月9日,光与战略合作伙伴创想三维联合打造的高精度3D扫描仪CR-Scan Otter、CR-Scan Raptor正式发布。
    的头像 发表于 04-12 09:06 649次阅读

    光迎来英特尔、微软3D相机业务重要成员

    今日,光宣布全球业务团队迎来重要扩充:为配合公司国际化战略,前英特尔RealSense销售负责人Michael McSweeney现已出任
    的头像 发表于 03-26 09:37 442次阅读

    3D相机及方案亮相,携手NVIDIA探索机器人应用革新

    3月18日-21日,光作为英伟达NPN合作伙伴亮相NVIDIA GTC 2024 AI开发者大会,在美国加州圣何塞会议中心带来基于
    的头像 发表于 03-22 09:37 355次阅读

    3D相机及方案亮相,携手NVIDIA探索机器人应用革新

    3月18日-22日,光作为英伟达NPN合作伙伴亮相NVIDIA GTC 2024 AI开发者大会,在美国加州圣何塞会议中心带来基于
    的头像 发表于 03-19 17:20 658次阅读

    北美国际物流展览会盛大开幕,3D相机亮相引关注

    在亚特兰大世界会议中心,美国最具影响力的国际物流制造业和供应链盛会——北美国际物流展览会(MODEX)拉开帷幕。作为物流行业的顶级盛会,MODEX吸引了来自世界各地的众多参展商和观众。在这场盛大的展会上,光凭借其创新的
    的头像 发表于 03-15 09:28 651次阅读