在评估AI硬件时,规格竞赛(能效、性能和对各种算法的支持)绝对是重要的。
但是,当系统公司把在GPU上开发的AI模型移植到其他类型的硬件时发生的精度损失怎么处理呢?这就是DeepX的特色。
上周,AI芯片初创公司DeepX的创始人Lokwon Kim,在加州Santa Clara的展会上推出了一系列AI加速器。Kim声称,这些芯片将实现“无处不在的AI,人人可用的AI。”
Kim选择了嵌入式视觉峰会作为他的首次公开亮相。需明确的是,DeepX是一个刚加入这个拥挤赛道的初创公司。然而,DeepX在韩国却有着深厚的根基。通过向韩国政府积极地营销,Kim已经把DeepX在AI领域的研发变成了一个国家项目。
DeepX从政府那里筹集了4000万美元,还在韩国的风投圈中筹集了2000万美元。根据Kim的说法,今年晚些时候将计划进行B轮融资。
DeepX正在推出一系列用于边缘设备嵌入式视觉产品的AI加速器。它还开发了包括编译器和运行时在内的软件开发套件DXNN。DeepX认为DXNN是其皇冠上的明珠。
据报道,DXNN可以简化深度学习模型部署到DeepX的AI SoC的过程。其编译器提供了高性能量化、模型优化和NPU推理编译的工具。其运行时包括NPU设备驱动程序、带有API的运行时和NPU固件。
最重要的是,该公司声称,DXNN支持“以浮点格式训练的DNN模型的自动量化”。
DeepX并没有凭空创造出其AI硬件架构。Kim说,自2016年创立公司以来,“我们实际上已经与数百家全球公司坐下来进行了面谈。”
Kim观察到,“可扩展性、AI精度以及功率/性能效率”是边缘AI系统开发者一直在苦苦挣扎的三个领域。DeepX的目标是在其AI加速器上实现GPU级的AI精度,同时提供高吞吐量和低功耗。
DeepX的源起
在DeepX之前,Kim是Apple的AP的首席设计师,参与开发了A10、A11 Bionic和A12 Bionic。
Kim创办DeepX的灵感来源于他2010年在IBM的T.J. Watson研究中心做访问学者的经历。他当时的工作是开发深度学习MPU,这是DARPA指派给IBM的一个项目。
当时Kim是UCLA的博士生,自那以后,他一直沉迷于在MPU上运行DNN的想法。
即使在加入Apple后,Kim也一直坚持着自己的AI创业梦想。“我实际上已经把我的想法带给了Apple的高层管理人员。”他们拒绝了,于是Kim结束了在Apple的工作,并返回韩国。
Kim表示,他非常敬仰张忠谋。半导体行业对张忠谋的贡献有很大的感激之情。张忠谋离开美国,在台湾创办了TSMC。这个起初并不被看好的企业最终成为了全球最大的代工巨头。
Kim说,TSMC对台湾的重要性(无论是经济上还是政治上)已不言而喻。通过利用AI的力量,Kim希望在他的祖国取得类似的重要地位。
这是一个大胆的说法。但是Kim的想法反映了这个时代。无论是好是坏,地缘政治已经成为先进半导体发展的内在因素。
战略
DeepX设计了同属一系列的四款AI加速器,所有的焦点都集中在视觉应用上。其策略是为多个边缘视觉AI领域提供可扩展的解决方案。
DX-L1,适用于IP摄像头、车内监控、机器人摄像头和无人机等摄像头应用。
DX-L1包含四核RISC-V、ISP、MIPI和视频编码器,提供12 eTOPS的AI性能。Kim指的eTOPS是“相当于GPU的TOPS的性能度量标准”。
DX-L2支持3-4个摄像头的边缘AI视觉系统,提供38 eTOPS。
DX-M1,配备了双核ARM核和ISP,支持10个摄像头,提供200 eTOPS。
DX-H1,提供1600 eTOPS,将以PCIe卡的形式生产,可以部署在能够执行大规模AI操作的边缘服务器中。通过支持10,000个摄像头,DX-H1可以服务于安装了大量监控摄像头的工厂。H1具有与M1类似的双核ARM核和ISP模块。
所有四种芯片都由三星代工,其中L1和L2采用28nm制程。M1是14nm,H1则使用5nm工艺。价格范围从10美元(L1)、20美元(L2)到50美元(M1)和1500美元(H1)不等。
准确性
除了提供低功耗和性能效率外,DeepX还将资源集中在量化工作上,以保证GPU级的准确性。
基于自身经验,DeepX专注于解决准确性降低的问题上。Kim指出,将原本在浮点格式GPU上训练的AI模型移植到其它硬件上,都会导致准确性降低。
因此,DeepX的团队寻找了每个数据路径中准确性降低的点。结果就是DeepX在其SDK,即DXNN中称之为“世界顶级的量化器”。
市场细分
过去几年中,许多AI硬件创业公司被汽车行业所诱惑,梦想着他们的AI芯片将成为下一代车辆平台的计算机大脑。
相反,Kim得出的结论是,对于一家初创公司来说,向车厂销售AI芯片是一个糟糕的选择。因为汽车芯片需要经过漫长的验证时间,ASIL B和C等认证作业增加了很多困难。即使解决了这些障碍,芯片销量也微乎其微。
相反,Kim的策略是与车厂合作,为DeepX MPU授权IP,包括软件。Kim解释说,DeepX一直被OEM忽视,现在却开始收到OEM要求评估DeepX芯片的请求。
这可能意味着两件事。
首先,许多欧洲车厂向Kim暗示,他们对下一代车辆平台仍未做出决定。
其次,一些领先的车厂已经投入资源使用Nvidia的GPU开发自己的AI模型。但现在,当他们将模型移植到其他硬件上时,准确性降低问题正在出现。这迫使他们重新寻找另一种AI硬件解决方案。
Kim表示,DeepX只会为车厂提供IP授权。对于其他应用领域,其业务模式则是直接销售芯片。
Kim表示,DeepX的AI芯片的最佳应用场景是机器人,无论是配送机器人还是在工厂内作业的机器人。
Nvidia显然已经通过GPU赢得了AI市场。然而,AI竞赛的下一章或许在于如何将在GPU上训练的AI模型有效地移植到非GPU硬件上。
审核编辑:刘清
-
加速器
+关注
关注
2文章
799浏览量
37873 -
SoC设计
+关注
关注
1文章
148浏览量
18774 -
MPU
+关注
关注
0文章
359浏览量
48796 -
NPU
+关注
关注
2文章
284浏览量
18611 -
ai硬件
+关注
关注
0文章
12浏览量
2400
原文标题:DeepX的AI加速器能够脱颖而出吗?
文章出处:【微信号:Astroys,微信公众号:Astroys】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论