AI算力与功耗如何平衡？清华大学尹首一教授解读IoT场景中AI应用落地痛点

本站原创，作者：章鹰，电子发烧友执行副主编。

12月20日，在深圳会展中心2号馆2A会议室，由雷锋网主办的AI IoT+智慧城市高峰论坛上，清华大学微纳电子系副主任、微电子学研究所副所长尹首一就物联网场景中如何实现AI应用，带来了精彩的观点分享。

图：清华大学微纳电子系副主任、微电子学研究所副所长，尹首一教授

趋势一：综合安全和通讯延迟问题，智能设备端设实现AI计算已成为趋势。

清华大学微纳电子系副主任、微电子学研究所副所长，尹首一教授表示，不仅学术界还是企业界都在思考：如何在IoT中，实现无处不在的AI应用？

最近10年，深度神经网络的崛起使深度学习成为AI的基础背景和技术，让AI在深度学习的驱动下获得了空前的发展，每天享受的便利，比如语音助手、百度DureOS，互联网上的电子购物等背后的计算都在云上。

智能终端的AI计算成为趋势。考虑通讯延时、基于硬件设备、个人隐私考虑，我们需要在终端设备、传感器，各种设备端上实现AI计算。这已经成为电子行业的巨头共识，百分之九十以上的物联网设备上使用CPU是arm公司提供的内核，Google首席科学家在全球半导体大会上报告上说，Google认为，IoT景下，未来AI计算一定是分布式、分层次、分等级的综合系统。

趋势二：未来的AI计算一定是分布式、分层次、分等级的综合系统，一部分分布在云端的IOT，也有在IOT末端的各种AI计算，催生出在智能终端上的深度学习的芯片市场，据美国咨询公司的测算，2015年到2025年，将会产生700亿美金的深度学习AI芯片市场。
 

趋势三、要满足各种场景下AI计算的需求，需要考虑算力和功耗问题的平衡。例如智能手机对语音技术的应用，智能家电中有严苛的功耗约束，因而要在功耗受限场景下实现AI算法和运算就成为关键。
 

比如让手机随时随地与人做语音识别，需要语音识别能力，AI算力最大忍受的功耗是1-2毫瓦，否则手机耗电过大，影响整体体验；又比如智能家电、智能眼镜有非常严苛的功耗约束，大概在几百毫瓦左右，如何在这些功耗下实现这些AI的功能和运算，这个是需要解决的关键问题。

趋势四：未来AI芯片组必须要满足三个条件：可编程、计算／内存访问友好型、超高效能／超低功耗。
 

目前从国际学术界来看，从两个方向进行努力：第一、算法模型的紧凑、压缩。2016年，神经网络已经压缩到１比特，其效能与全精度的神经网络存在很少差异，只存在一个百分点，在绝大多数场景可以忽略不计。第二、硬件架构上的变革，硬件架构一直在演进，但是在功耗上无法满足毫瓦级的需求，甚至更高标准的需求，这对未来新架构的研发提出了挑战。

趋势五、未来计算架构创新，将是实现无处不在AI应用的关键

如何从硬件角度实现更低功耗的AI计算？2013年，中科院寒武纪推出指令集的架构方式，到2018年韩国科学院提出的新方案，优化神经网络路线。2017年，美国的国防部高级计划研究局（DARPA），为了保证美国在未来十年到2030年仍然保持国际半导体和电子电芯的领先地位，发起了三个方向的研究计划，其中最主要研究方向之一是来自于计算架构，这里有一个被称为软件定义硬件的研究计划，它是探讨运行时快速重构的硬件架构，也就是前面提到的CGRA架构。

目前的CPU+SW、CPU+GPU、CPU+FPGA、CPU+ASIC的作法都不是理想的架构。可重构架构在实现更高能效的同时，能够在相比于CPU、GPU、FPGA更高的能量效率的同时还有可编程性。

基于这种架构，清华微电子所相关课题组研发出了全新的Thinker系列芯片，使用了可重构计算芯片架构。在这个架构中，Thinker可以根据控制单元的要求配置计算单元阵列并执行，也可以根据软件的要求将划分后的任务送到数据通道执行。而且，不同于冯诺依曼等效架构，可重构计算模式为函数化的硬件架构。

目前，Thinker系列芯片已经推出了面向通用神经网络计算的Thinker 1代，面向极低功耗神经网路计算的Thinker 2，以及面向极低功耗语音应用的Thinker S。

尹首一介绍说：“从2006年开始我们连续设计了几个芯片，第一款芯片可以实现5万亿次的计算每瓦，第二颗芯片功耗效率比进一步提升，第三颗芯片是可以用于智能音箱的语音交互，芯片功耗只需要240微瓦，这样就可以把AI计算的芯片嵌入到任何一个可穿戴便携设备里，比如说智能手机、手表这样的电池非常有限，仍然可以把语音交互的入口嵌进去，实现机器与用户之间自然的语音交互。

2017年，获得图灵奖荣誉的是两位计算机体系结构的大师，他们在图灵奖的获奖感言里提到，今天是计算机体系结构的新的黄金时代， 让我们大家一起拥抱今天这个计算机架构和AI的双重黄金时代。

在全天峰会上，腾讯云张羿、华为OceanConnect物联网平台首席架构师苗彩霞、百度AI安全技术总监聂科峰、ZNV力维首席技术官曹友盛、阿里云IoT高级算法专家、智能城市架构师田辉、京东城市计算事业部高级专家陈旭旭、北京毫米科技COO兼联合创始人徐旭、Semtech市场战略总监甘泉、和而泰地产事业部总经理潘子健等业界大咖都发表了精彩的演讲。

活动尾声，Semtech市场战略总监甘泉、康行科技联合创始人潘江宇、和而泰地产事业部总经理潘子健、清华大学深圳研究生博士后&绿米算法工程师曲晓峰在现场进行了圆桌对话，议题是《AIoT技术和智慧趁势应用的融合》。

Semtech市场战略总监甘泉表示，AIoT要想做好，前提是大量的数据能够“喂养”，而目前，前端传感器的数量并不够多，收集的资料、数据信息也不够多。现在，loRa技术提供很好的渠道，阿里腾讯京东都在涌入，全球也有每年50%的市场增长，loRa技术势必会作为物联网连接的主流技术成长。

康行科技联合创始人潘江宇则认为，AIoT和IoT的差距就在于是否客户能迅速上手，有新的体验，带有刷脸、语音识别、智能互动的场景就是AIoT呈现的状态。此外，两者之家处理数据的方式也不一样，通过AI的方式处理能够反馈给设备，形成工具性的产品，用更加便捷的应用帮助人们的生活。他强调，技术要上天，但是产品要落地。

和而泰地产事业部总经理潘子健指出，4年之前他们就预测到IoT到AIoT的爆发，也在同年推出了C-life平台。从智能到智慧的升级，要有数据和计算以及服务，所以IoT到AIoT的升级或者爆发是一个必然。而和而泰从一开始做IoT就是瞄准计算、瞄准AI、瞄准服务。目前地产业都在“去地产化”，更加重视智能与服务，这又是一波新的契机。