通过嵌入式AI解决方案来深挖终端计算性能

把人工智能做到终端上去已成为物联网时代发展的一个趋势，在智能终端设备上，深度学习带来了前所未有的交互体验变革，同时也对计算力有了更高的要求。

在诸多实际的AI商用场景中，普遍对数据处理的实时性和速度要求都比较高，不可能所有数据都上传到云端跑一遍，因此目前市场上有从专用嵌入式AI芯片入手来解决终端计算能力问题的，也有的厂商致力于最大化挖掘终端的计算性能进而实现事半功倍的计算效果。

如果不是开发者，可能不太清楚OpenBLAS的价值所在，OpenBLAS支持几乎全部的主流CPU处理器和常见的操作系统，同时都能达到比较好的性能优化，进入了很多主流的Linux安装包，其用户广泛，从开源项目Julia语言、GNU octave，到深度学习的mxnet、Caffe，乃至IBM、ARM、英伟达等公司也都在他们的产品里边使用了OpenBLAS。

2014年底张先轶离开中科院去了美国，先后在UT Austin做研究员以及MIT博士后等科研工作经历，辗转两所知名高校探索最新的技术方向，彼时，深度学习和人工智能逐渐兴起，在大洋彼岸的中国，更是掀起了一场前所未有的技术变革浪潮。

“在MIT的经历对于我创业来说比较关键，那里的创业氛围非常好，各种创业比赛比较多，还有一个中国留学生的创业论坛。”通过一些沙龙和组织活动，张先轶结识了很多一线创业者汲取创业经验和帮助，正在犹豫接下来是留美工作还是回国的节点上，他最终作出了回国创业的决定。

2016年下半年澎峰科技注册成立，交接完工作的张先轶年底回国开始组建自己的团队，除了自己比较擅长的底层算法框架，团队也强化了软硬件基因，中科院背景的贾海鹏博士加入负责软件研发进展，华中科技大学赵华龙博士负责硬件产品集成。

在框架层，澎峰科技开源了一种轻量级的深度学习推理框架inferXlite，相比较目前的传统通用框架具备小、轻、快的优势，代码<100k，接口支持任何网络模型，可移植任何硬件平台，几乎没有依赖库，框架设计与性能加速分离，从框架层面对于算法加速给予了充分的考量。

为何要把这么一套框架做开源？张先轶有自己的考虑：“其实还是想进一步建立我们技术的美誉度，然后吸引更多开发者来用我们的东西，对于公司长远的发展这是一个比较好的做法。作为我们这样的技术公司直接去推和销售不一定能做的多么广，而由开发者实际体验后对未来的商业转化更有益处，另外，直白点说，也能显示我们做的技术比较牛。”

在性能层，澎峰科技推出了三款产品：深度学习优化矩阵计算库PerfBLAS、深度神经网络计算库PerfDNN、以及高性能计算机视觉库PerfCV。PerfBLAS针对ARM等嵌入式平台进行深度学习卷积算法优化，可广泛用于移动平台，手机、机器人、无人机等领域。PerfDNN是一个跨平台的轻量级深度学习算法库，实现了深度神经网络的核心算法；PerfCV是一个跨平台高性能计算机视觉库，实现了深度学习中主要的图像预处理算法，包括cvtColor、resize、warm_affine、warm_perspective等，PerfCV可在GPU、x86、ARM等多个硬件平台上实现高性能。

基于核心的软件框架和多种计算库，澎峰科技得以集成出一体化的硬件产品：嵌入式深度学习开发平台PerfBox和Perf-V工程板。据了解，PerfBOX采用六核64位ARM处理器，集成了ARM Mali-T860四核GPU，并拥有2GB/4GB DDR3和16G/32GB的eMMC，可用来做为学习、开发、部署深度学习应用的平台。Perf-V工程板则是澎峰科技为RISC-V开源社区设计的FPGA开发板，具备很强的灵活性，移植了多种RISC-V处理器架构，并配备丰富的学习资料，为RISC-V处理器设计和FPGA产品开发提供了一个很好的实验平台。

据了解，澎峰科技的目标客户群体，大概分为两种类别，但可以确定是终端为主，偏视觉计算处理的方向，因为计算机视觉领域对计算性能的需求更为强烈。一类客户是移动APP类应用，澎峰科技可以提供整套优化技术的软件包SDK给客户嵌入到APP中，这部分主要是以提供软件服务为主；另一方面就是提供PerfBox硬件产品和Perf-V工程板，会面向智能硬件和智能终端设备的厂商，根据具体需求做灵活配置比如存储、内存、芯片的选型等，软硬优势互补从整体考量上提供高性价比的嵌入式方案。