黑芝麻智能科技演讲实录

黑芝麻智能科技致力于提供基于图像处理、计算图像以及人工智能的嵌入式视觉感知平台。安创成长营五期Demo Day现场，黑芝麻智能科技荣获“最具潜力奖”，安创加速器联合创始人杨宇欣先生为团队颁奖。

安创加速器联合创始人杨宇欣先生

为“最具潜力奖”团队黑芝麻智能科技颁奖

黑芝麻智能科技演讲实录

非常高兴，也很感谢安创加速器给我们提供了这样的舞台，为大家介绍黑芝麻智能科技。我们的slogan是“用芯，看懂世界”，提供基于图像处理、计算图像以及人工智能的嵌入式视觉感知平台，不仅要看清楚世界，而且要理解世界。我们致力于成为全球领先的自动驾驶感知技术方案提供商。

最近，总会看到一些关于自动驾驶车祸的报道： Uber的感知系统不稳定，所以把warning关掉了，结果发生了车祸；特斯拉没有把隔离带识别出来，结果直接撞了上去；右下角的是Mobileye无人驾驶测试车，没有识别出红绿灯，直接闯过去了。如果我们没有一个好的感知系统，自动驾驶根本无法谈起。

我们认为，一个准确的、稳定的、可靠的感知系统需要有四个方面的功能：清晰的视觉、优质的算法、多传感器融合、足够的计算能力。

这是我们提出的解决方案。面对复杂的外部环境，如车、人、道路、交通标识等，通过传感器感知信号，利用控光技术把光场进行处理（摄像头），使得摄像头能够在实现在各种特殊工况条件下成像。再通过毫米波雷达、超声波雷达、GPS、IMU与摄像头融合，将这些信号传入到黑芝麻感知系统。

在黑芝麻感知系统中搭载独特的图像处理技术，感知理解算法以及优化的计算平台。关于感知理解算法，比如人的特征、行为和场景的识别等；我们还有一个优化的SoC计算平台，这样能够将感知结果传达给下游自动驾驶企业去做决策、控制。因此，黑芝麻提供的是端到端、全栈式的感知解决方案。

这是我们第一次对外展示SoC的架构。上面中间的部分是Arm 架构CPU，蓝色部分都是黑芝麻的技术，包含ISP、Codec、计算机视觉和神经网络等。和国内很多企业只关注神经网络加速相比，我们的技术更加丰富。

目前，汽车是我们着重关注的领域。利用黑芝麻的独特技术，黑芝麻能够开发出车规级的芯片，实现的功能包括支持多种传感器的输入，针对超低光、超高动态范围的图像处理，也能够满足L3、L4自动驾驶的计算能力。同Mobileye EyeQ4和EyeQ5相比，黑芝麻感知芯片单位功耗下计算能力有优势。

我们的高动态成像当中经常会出现这样的情景，通过黑芝麻的算法能够得到完整的、比较清晰的图片，这样能够为深度学习、网络加速提供很好的图像信息来源。

这个DEMO展示了我们在不同工况下，有效识别出车道和汽车、行人、交通标志，在弯道，大逆光、低光、雨/雾天等情况下都能进行识别。

接下来这个demo展示了黑芝麻利用多种传感器的融合，进行高精度定位。绿色的是我们定位的轨迹，红色的是普通GPS信号的轨迹。可以看到，经过传感器融合后的定位跟实际位置几乎没有偏差。

黑芝麻智能成立于2016年8月，在硅谷、上海、深圳、武汉都建立了自己的研发机构和办事处，员工接近100人，都来自于细分领域的顶级公司，包括OV、Ambarella、高通、英伟达，甚至美国国防部，平均工作时间也都超过15年。

现在你们整机厂方面的进展情况怎么样？

车规级的芯片我们选择了三家有代表性的汽车厂，一个是中国实力最强的主机厂，另一个是中国新能源汽车当中的佼佼者，还有一个是新势力造车的典型代表。

有没有明确的计划和时间表？

有的，因为是车规级的，目前芯片设计部分已经结束，完成所有验证要到2021年。

刚才我们看到了很棒的视频展示，团队过去在传感器方面有很多积累，非常恶劣的环境下表现非常好，大家对这方面应该没有任何疑问，能否分享一下具体团队成员的情况和经验？如何把车规级的SoC做出来？

我们的团队成员在产业工作年限都超过15年，曾在行业尖端企业，比如高通、安霸等工作，在芯片的设计和验证方面有着丰富的经验。

智能网联汽车规划当中提到，中国需要有自主的智能驾驶计算平台，国家也有一些战略推动整车厂方面建立自主的计算平台，现在这些大的整车厂大概是什么进程？

现在中国的自主品牌主机厂都有一个很明确的A/B方案，A方案就是刚才说的外围公司，B方案就是黑芝麻，所以需要跟着自主品牌一起成长。

传感器方面现在的合作力度是比较紧密的，因为直接会决定信息的获取，整个合作的过程当中对传感器是怎样的影响力？

芯片的功能特征是有雷达、GPS等其他传感器的接口。

比如激光雷达，全球短期内有没有比较容易做出来的？

目前激光雷达商业化确实比较难，成本也比较高，目前我们只是留了接口，但还没有进行具体布局，实现商业化还需要一定时间。

现在算法是已经固化到里面了吗？

我们没有固化，就是留了接口。我们有ISP，加上神经网络、SOC架构当中还有基于RISK-V保密和加密安全方面。

基于视觉的识别都是你们自己做的吗？

是的。

第三方有些很知名的，专门做机器视觉的公司，他们的算法也可以应用于你们的芯片吗？

可以。

所以CNN加速不依赖于自己的算法？

我们是比较开放的平台。会给第三方开发两种选择：一是用我们提供的神经网络开发工具直接进行原始网络的硬件合成； 二是用我们提供的神经网络开发工具进行网络的深度优化，包括剪裁和再训练。

黑芝麻智能科技（上海）有限公司是一家视觉感知核心技术开发与应用提供商，该公司正致力于成为全球嵌入式图像处理、计算机视觉的领跑者。2016年8月，分别在上海和美国加州硅谷成立研发中心。团队成员已接近100人，核心团队成员皆有15年以上产业工作经验。公司核心业务为提供图像处理、计算图像的解决方案，以及基于人工智能的嵌入式视觉感知平台。目前公司已经完成A+轮融资。