总部在加利福尼亚州欧文市的Syntiant公司和总部在德克萨斯州奥斯汀的Mythic公司都认为,它们可以使用嵌入式闪存来大大减少执行深度学习计算所需的电力。它们可能都是对的。
越来越多的公司希望推出加速其他计算繁重的深度学习应用的芯片,并且在某种程度上它们都有相似之处,因为“这些是面向相同形态的一类问题的解决方案”,Mythic创始人兼CTODaveFick解释说。
当在CPU中执行深度学习计算时,那类问题在形态上就像数据的交通堵塞。神经网络由连接和表示那些连接有多强的“权重”组成,必须移动这些权重以便它们可以在正确的时间和位置以数字方式被表示,是如今的深度学习中主要的耗能之处。
Syntiant的CEOKurtBush解释说:“我们的方法是通过在内存中进行计算来完全消除内存带宽和内存功耗的penalties问题”。
Syntiant和Mythic这两家公司所采用的方法中,网络权重实际上是存储在闪存单元阵列中的电荷水平。电荷改变了流过电池的电流量,电池是以电流可产出至关重要的“乘法和累加”运算的方式排列的,这样的运算是能从日落中读出停止信号或从“大灰狮子狗”中读出“OKGoogle”的网络所需要的。
因为权重总是在它们需要在的位置,所以不需要花费任何时间或精力来移动它们。计算的模拟性质也使得功耗保持在低水平。虽然训练神经网络通常是通过使用相当精确的(8位或16位)数字进行计算来实现的,但实际上,使用经过训练的网络(称为推理)可以更快地完成,并且可以使用更低精度的数字(5位或者甚至3位)作为权重以更低的功耗完成。Busch说:“通过模拟计算,你可以建立低精度但非常非常准确的乘法和累加运算”。
Mythic的目标是每次乘法和累加运算仅消耗0.5焦耳,这将导致每瓦特可支持约4万亿次操作(TOPS/W)。Syntiant希望达到20TOPS/W。根据Syntiant的说法,NvidiaVoltaV100GPU可以达到0.4TOPS/W。然而,Fick指出,在机器学习领域,真正的苹果对苹果(apples-to-apples)的比较是很难确定的。
每个创业公司在多大范围使用模拟电路,是它们之间的关键差异。Syntiant的整个网络都是模拟的,而Mythic环绕着带有可编程数字电路的模拟闪存阵列。Mythic使用周围的电路来增加其芯片可以运行的网络的大小和类型的灵活性。Fick说:“在我们的芯片上,所有的网络拓扑的运行效率大致相同”。
这种差异也会影响两家公司的目标客户和应用程序。在Syntiant,“我们经常说,Mythic百分之百出现在投资会议上,而从不对顾客这样表现殷勤”,Busch说。两家公司都表示他们正在寻求增加处在前沿的人工智能领域的客户。但人工智能是一个宽泛的范畴,包括从自动驾驶汽车到人工智能增强助听器的所有内容。
Syntiant正在寻求较小的、通常为毫瓦级的电力应用。它的第一个设备将能执行诸如识别唤醒词和识别说话者之类的事情。
Mythic正在开发需要更复杂网络的应用程序,这些网络能够在具有很低的一位数瓦特功率的系统中处理高分辨率视频,例如自动无人机和智能手机。Fick说,这些应用程序所需的每秒操作数与Syntiant的那些应用程序所追求的每秒操作数之间存在数量级的差异。
-
智能手机
+关注
关注
66文章
18454浏览量
179970 -
嵌入式
+关注
关注
5076文章
19048浏览量
303901 -
无人机
+关注
关注
228文章
10368浏览量
179823 -
深度学习
+关注
关注
73文章
5495浏览量
121044
原文标题:两家初创公司都使用嵌入式闪存来减少执行深度学习计算所需的电力
文章出处:【微信号:IEEE_China,微信公众号:IEEE电气电子工程师】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论