近日,肇观电子正式发布3D深度计算+AI加速芯片——D163A,可广泛应用于包括各种形态机器人、AGV、无人机、可穿戴设备等多个领域。
我们所处的现实世界是一个三维空间,即3D立体空间;高级动物如哺乳类长了一双眼睛,通过左右眼观察到的信息的差别来判断物体的远近。而普通的照相机拍摄出来的照片却是平面的,二维的。
如果要用计算机视觉的方式来获得环境空间信息,根据二维照片的输入,怎么实现呢?
对空间立体信息的感知能力是智能设备比如无人机、无人车、机器人的最重要的能力之一。四周物体和自己的相对位置比如方向、距离、运动方向、运动速度、运动加速度等信息,对于机器人在空间中判断自身位置以及和周围物体互动十分重要。
我们如果想让机器人从点A到点B,机器人首先要确定什么是点A,什么是点B,如何从点A走到点B,如何规划初始路径,中间遇到障碍该如何动态调整路径……完成这些任务都需要机器人具有几何解算能力,而3D深度计算是几何解算的基础任务之一。
双目立体视觉、结构光、飞行时间传感器(ToF)、激光雷达这些诸多技术路线都是为了解决3D深度信息获取问题而生,每一种技术路线都由信号获取(传感器)和信号处理(计算)两部分组成。
双目立体视觉
双目立体视觉是计算机视觉的一个经典领域,其技术路线具有信息量大、不受阳光干扰、距离范围从近到远、无多径干扰问题、传感器成本低等诸多优点,颇受学术界和工业界青睐;其代表应用为斯巴鲁汽车的Eyesight高级辅助驾驶系统、无人机的飞行避障系统、火星车的视觉模块、波士顿动力的机器人的视觉系统;但立体视觉需要消耗大量的计算力来处理,因此在传统观点来看代价十分高昂。
结构光、飞行时间传感器(ToF)、激光雷达这些技术主要是利用主动发射特定信息,然后让接收器选择性接收这些信息的原理,本质上是通过增加传感器的复杂度来降低对计算的要求,达到在算力不足的情况下获取深度信息的目的,在各自领域有着诸多应用。
随着应用日益复杂,工程师往往在通过传感器获取到这些原始信息之后,需要在后端计算引擎上面做降噪、增强、融合等各种进一步加工,这需要有充足算力的芯片来处理。
肇观电子推出了D163A芯片,具有包括深度计算几何引擎和AI计算引擎在内的一系列加速器,将计算机视觉领域的应用推进了一大步。
D163A是一个完整的SoC主控芯片,其具有CPU、DSP、ISP、Codec、CV加速引擎、MCU、AI计算引擎和丰富的接口等在内的一系列组件,支持Linux和RTOS操作系统,是一款适合作为信号处理的核心芯片。
D163A有着业界领先的数字信号处理能力,支持200余种通用数学计算算子,例如三角函数、对数、快速傅里叶变换、HoG、SVM、RANSAC,等等。
除了强大的3D深度计算能力和数字信号处理能力,D163A有着业界领先的AI计算加速能力包括领先的每TOPs处理帧数,实时数据流处理能力,支持高精度FP16神经网络模型无损部署以及高性能的INT8网络支持能力。
D163A搭配肇观电子推出的“5分钟部署”的AI应用开发平台Infer Studio,助力AI算法快速商用;
可支持双目立体视觉、结构光、飞行时间传感器(ToF)、激光雷达等各种传感器的信号处理,包括采集、降噪、增强、融合等后处理算法的加速;其高性能低功耗、适用于端侧应用;
接口丰富,支持千兆以太网和USB3.0,支持各种操作系统,既可用作主控芯片也可用作协处理器芯片。
D163A在机器人自主避障、车与车之间的距离测算、活体检测、手势识别、空间定位、工业相机、AR/VR等各个方面具有广泛的应用,搭载D163A的模组和系统已经在包括智能叉车、可穿戴设备、无人机、工业检测等多个领域批量商用。
让智能设备具有人一样的视觉感知和理解能力,在复杂的环境中完成复杂的工作,帮助到人们的工作和生活的方方面面,是肇观电子始终不变的追求目标。肇观电子此次发布3D深度计算+AI加速芯片D163A,是公司发展的又一项里程碑式事件,将助力打造机器人的“视觉系统”,推动智能机器人时代的加速到来。
原文标题:肇观电子发布3D深度计算+AI加速芯片D163A,打造机器人的“视觉系统”
文章出处:【微信公众号:你好张江】欢迎添加关注!文章转载请注明出处。
责任编辑:haq
-
芯片
+关注
关注
453文章
50384浏览量
421739 -
3D
+关注
关注
9文章
2861浏览量
107314 -
AI
+关注
关注
87文章
30098浏览量
268380
原文标题:肇观电子发布3D深度计算+AI加速芯片D163A,打造机器人的“视觉系统”
文章出处:【微信号:zjpark,微信公众号:你好张江】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论