全球范围内尚无公认评测指标 建立人工智能芯片评测标准非常重要

近日，清华大学发布的《2018人工智能芯片研究报告》（以下简称《报告》）指出，人工智能芯片是人工智能时代的技术核心之一。目前人工智能还处于面向行业应用阶段，生态上尚未形成垄断，国产处理器厂商与国外竞争对手在人工智能这一全新赛场上处在同一起跑线上。

然而，“当前国内缺失人工智能芯片的相关评测标准。”在中国科协主办的第二届“风向标——中国创新创业先锋论坛”上，人工智能芯片企业鲲云科技创始人牛昕宇指出，这造成大家不知道自己研发的芯片在国际上处于什么样的水平。而获知一款芯片性能如何，最直接的方法是进行评测。“这就需要一套公认的评测标准”。

人工智能芯片评测到底多重要、多紧迫？怎样建立一套公认的评测标准？对此，记者采访了相关业内专家。

全球范围内尚无公认评测指标

牛昕宇向科技日报记者表示，国际上，缺乏统一的芯片评测标准也是一个比较大的问题，包括英伟达、英特尔等公司的芯片性能也主要依靠芯片厂商自家发布。“全球多个机构都在尝试给出评测方案，然而现状就是无公认基准测试方法和指标。”中国人工智能产业发展联盟评估认证工作组组长曹峰说。

“从政府、用户、系统集成厂商到算法开发者，全部无法准确评价所使用芯片的技术水平以及在国内外所处的地位，无法选取最适用于自己需求的底层芯片，芯片企业无法清晰确认自己的技术优势及目标市场。”牛昕宇对此感慨颇深。

人工智能芯片与传统计算芯片不同，它要求高效实现深度学习算法对海量数据高吞吐量等高并行化任务的处理。曹峰介绍，当前人工智能芯片主要分两大体系，冯诺依曼体系和非冯诺依曼体系。

冯诺依曼体系以五大架构芯片为代表，分别是CPU、GPU、DSP、FPGA和ASIC，在深度学习训练环节和终端推断方面发挥重大作用。非冯诺依曼体系，以IBM TrueNorth芯片为代表，采用人脑神经元的结构来提升计算能力，但目前还处于实验室阶段。

中国信息通信研究院DNN Benchmark项目负责人张蔚敏指出，人工智能在不同算法、不同场景下，对芯片提出了不同的要求。硬件架构、延迟、带宽、能耗、神经网络模型、参数都是用户方选择人工智能芯片的重要参考。

人工智能芯片为何要评测？“当前，AI芯片的功能日益复杂化、多样化，一方面，芯片厂商纷纷给出不同的衡量标准，声称其产品在计算性能、单位能耗算力等方面处于行业领先水平；另一方面，需求方却关心如何能从厂商给出的信息中判断出芯片是否能实际满足其真实场景的计算需求。”曹峰强调，“针对这一现状，一个与真实场景紧密相连的、同时跨产品可比的测试评估方案的出现，迫在眉睫。”

“统一的芯片标准会降低芯片厂商、人工智能算法厂商的沟通成本，建立一个有序的竞争环境。”牛昕宇表示，国外现在有一些人工智能算法竞赛，在一定程度上起到了对于人工智能算法的评测作用。我国人工智能企业也在尝试给出评测方案，比如阿里的AI matrix，寒武纪的Benchip，以及百度的Deepbench等。

公司自行摸索增加开发成本

事实上，我国庞大的人工智能应用市场对底层芯片需求巨大，但本土人工智能芯片产业尚处于起步阶段。“有一套衡量人工智能芯片性能的公认指标，我们才能知道自己前方的目标线在哪里。”牛昕宇呼吁道。

当前，“应用领域的差异性和实现选择的多样性导致很多测评难题。”曹峰举例，如何让评测指标在不同级别的设备中横向可比？面对云端和终端的应用差异化现状，如何构建相应的基准测试？如何为不同测试项目分配权重，以获得一个相对公正客观、有代表性的评分？

这种现状让人工智能整个行业倍感焦虑。“对人工智能行业的从业者来说，缺乏标准意味着缺乏统一的行业交流接口。”牛昕宇在接触大量人工智能应用研发领域一线情况后发现，在制定人工智能整体方案时，如果无法对于底层芯片所能够提供的性能和算力有一个准确的了解，难以在项目规划初期就确定整体方案，需要在项目开发过程中不断试错来测试方案。“相当于每家公司要承担部分芯片评测任务，大大提高了开发门槛。”

缺乏评测标准带来诸多问题，人工智能芯片公司对此有更深刻的体会，牛昕宇直陈痛点，“无法通过公开统一的渠道来确定自家芯片技术在国际的地位，需要每家公司自行摸索，增加了芯片公司的成本。”

《报告》指出，长期以来，中国在CPU、GPU、DSP等处理器设计上一直处于追赶地位。然而，人工智能的兴起，无疑为中国在处理器领域的发展提供绝佳机遇。传统的计算架构无法支撑深度学习的大规模并行计算需求，人工智能芯片是人工智能时代的技术核心之一，决定了平台的基础架构和发展生态。

建议政府牵头制定评测标准

当前国内外都将人工智能视为产业突围的重大机遇。人工智能芯片作为底层技术，其应用领域也遍布金融、股票交易、商品推荐、安防以及无人驾驶等众多领域。如何为蓬勃发展的人工智能芯片建立一套评测标准？

“确实需要国家牵头来认证标准。”牛昕宇建议道，可以组织业内用户企业形成需求标准，由落地应用牵引芯片评测标准。

当前，在国家发改委、科技部、工信部、网信办指导下，由中国信息通信研究院等单位发起的中国人工智能产业发展联盟，愈加重视芯片评估认证工作。目前已经联合阿里巴巴集团、百度、寒武纪科技等多家企业，推出了AIIA DNN benchmark——人工智能端侧芯片基准测试评估方案。

张蔚敏表示，该方案为芯片企业提供第三方评测结果，同时为应用企业提供选型参考，帮助产品找到合适其应用场景的芯片。目标为客观反映当前以提升深度学习处理能力的AI加速器现状，所有指标旨在提供客观比对维度。以“版本迭代、不断丰富、不断完善”的工作方式，为更多评测应用场景、评测指标等提供评估方案。

“这是解决缺失人工智能芯片评测标准问题的一个起步。”牛昕宇进一步建议，今后希望有第三方机构能够公开评测标准和流程，由芯片公司、算法公司、系统集成厂商、最终用户共同商议通过；每年定期发布国内芯片公司以及国际芯片巨头的芯片评测结果；政府对于人工智能芯片行业的支持政策可以参考评测结果。