0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

Xilinx赛灵思官微 来源:djl 作者:赛灵思Yao Fu、Eph 2019-07-30 08:59 次阅读

与其他 FPGA DSP 架构相比,赛灵思的集成 DSP 架构在 INT8 深度学习运算上能实现 1.75 倍的解决方案级性能。

概要

本白皮书探讨将 INT8 运算用于实现在赛灵思 DSP48E2 片上、使用深度学习推断和计算机视觉功能的嵌入式视觉应用,以及这种方案与其他 FPGA 的对比。与占用相同资源数量的其他 FPGA 相比,赛灵思的 DSP 架构对 INT8 乘法累加 (MACC) 运算能实现 1.75 倍的峰值解决方案级性能。由于嵌入式视觉应用可以在不牺牲准确性的情况下使用较低位精度,因此需要高效的 INT8 实现方案。

赛灵思的 DSP 架构和库针对 INT8 运算进行了精心优化。本白皮书介绍如何使用赛灵思 16nm 和 20nm All Programmable 器件中的 DSP48E2 Slice,在共享相同内核权重的同时处理两个并行的 INT8 MACC 运算。本白皮书还阐述了要运用赛灵思这一独特技术,为何输入的最小位宽为 24 位。此外本白皮书还详细介绍了如何以 SIMD 模式使用 DSP48E2 Slice,供基本算术运算使用。另外还提供在深度学习领域或其他计算机视觉处理任务领域如何将这些功能用于嵌入式视觉的实例。

用于深度学习和计算机视觉的 INT8

嵌入式视觉是专业术语,指的是在嵌入式平台上实现用于现实用途的计算机视觉算法。虽然计算机视觉算法近年来有明显改进,要在降低功耗的条件下将这样复杂且高计算强度的算法移植到嵌入式平台上却是一大挑战。以更低功耗处理更多运算是一个亘古不变的需求,无论是对过滤、角点检测等传统计算机视觉算法还是对深度学习算法。

深度神经网络凭借人类级 AI 功能已推动众多应用不断演进并重新对其定义。鉴于这类算法提供的超高精度,这些网络是嵌入式设备中的主要工作负载。随着更精确的深度学习模型被开发出来,它们的复杂性也带来了高计算强度和高内存带宽方面的难题。能效要求正推动深度学习推断新模式开发方面的创新,这些模式需要的计算强度和内存带宽较低,但绝不能以牺牲准确性和吞吐量为代价。降低这一开销将最终提升能效,降低所需的总功耗。

除了节省计算过程中的耗电,较低位宽的计算还能降低内存带宽所需的功耗,因为在内存事务数量不变的情况下传输的位数减少了。

研究显示要保持同样的准确性[ 参考资料 1][ 参考资料 2][ 参考资料 3],深度学习推断中无需浮点计算,而且图像分类等许多应用只需要 INT8 或更低定点计算精度来保持可接受的推断准确性[ 参考资料 2][ 参考资料 3]。表 1 列出了精调网络以及卷积层和完全相连层的动态定点参数及输出。括号内的数字代表未精调的准确性。

表 1 :带定点精度的 CNN 模型

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

对用于深度学习的 INT8 运算的优化也直接地适用于大量传统计算机视觉功能。这些算法一般工作在 8 位到 16 位整数表达式。OpenVX[ 参考资料 4]是一种近期提议的计算机视觉标准,规定了每个通道 INT8 表达式的用法。大多数计算机视觉应用需要某些程度的过滤,而过滤能够分解为一套点积运算。赛灵思 DSP48E2 Slice 上的 SIMD 运算模式为实现视觉算法涉及的运算提供额外选择。

赛灵思 DSP Slice 片上的 INT8 运算

UltraScale 和 UltraScale+ FPGA、Zynq UltraScale+ MPSoC(可编程逻辑)中的赛灵思 DSP48E2 Slice 设计用于完成一次乘法和加法运算,最大可在一个时钟周期内高效地实现 18x27 位相乘和 48 位累加,如图 1 所示。除了采用回送或链接多个 DSP48E2 Slice,乘法累加 (MACC) 也能使用赛灵思器件高效完成。

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

图 1 :使用 MACC 模式的 DSP48E2 Slice

INT8 计算本身就能发挥宽 27 位带宽的优势。在传统应用中,预加法器一般用于高效实现(A+B)xC 类型的运算,但这类型运算不常见于深度学习和计算机视觉应用中。将 (A+B)xC 的结果分解为 AxC 和 BxC,然后在独立的数据流中进行累加,使之适用于典型深度学习和计算机视觉计算的要求。

对 INT8 MACC 运算来说,拥有 18x27 位乘法器很占优势。乘法器的输入中至少有一个必须为最小 24 位,同时进位累加器必须为 32 位宽,才能在一个 DSP48E2 Slice 上同时进行两个 INT8 MACC 运算。27 位输入可与 48 位累加器相结合,实现 1.75 倍的解决方案性能提升(DSP 乘法器与 INT8 MACC 之比为 1.75:1)。其他厂商提供的 FPGA 在单个 DSP 模块中只提供 18x19 乘法器,DSP 乘法器与 INT8 MACC 之比仅为 1:1。

可扩展的 INT8 优化

目标是找到一种能够对输入 a 、b 和 c 进行高效编码的方法,这样 a 、b 和 c 之间的相乘结果可以轻松分解为 a x c 和 b x c。鉴于公共输入 c,这种方法可以推断为单个指令,拥有公共系数的 2 个数据。

在更低精度计算中,例如 INT8 乘法中,高位 10 位或 19 位输入用 0 或 1 填充,仅携带 1 位信息。对最终的 45 位乘积的高位 29 位来说,情况一样。这样就可以使用高位 19 位来进行另一个运算,同时不影响低位 8 位和 16 位输入。

总的来说,要把未使用的高位用于另一计算必须遵循两条规则:

1. 高位不应影响低位的计算。

2. 低位计算对高位的任何影响必须可检测、可恢复。

为满足上述规则,高位乘积结果的最低有效位不得进入低位 16 位。因此高位的输入应至少从第 17 位开始。对一个 8 位的高位输入,总输入宽位至少为 16+8=24 位。这种最小 24 位输入大小只能保证用一个乘法器同时完成两次相乘,但仍然足以实现总体 1.75 倍的 MACC 吞吐量。

接下来的步骤是在一个 DSP48E2 Slice 中并行计算 ac 和 bc 。DSP48E2 Slice 被用作一个带有一个 27 位预加法器(输入和输出均为 27 位宽)和一个 27x18 乘法器的算术单元。见图 2。

1. 通过预加法器在 DSP48E2 乘法器的 27 位端口 p 打包 8 位输入 a 和 b,这样 2 位向量能尽量分隔开。输入 a 左移位仅 18 位,这样从第一项得到的 27 位结果中的两个符号位 a 以避免在 b<0 和 a=–128 时预加法器中发生溢值。a 的移位量为 18,恰好与 DSP48E2 乘法器端口 B 的宽度一样。

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

图 2 :8 位优化

2. DSP48E2 27x18 乘法器用于计算打包的 27 位端口 p 和以二进制补码格式表达在 18 位 c 中的 8 位系数的积。现在该 45 位乘积是二进制补码格式的两个 44 位项的和:ac 左移位 18 位以及 bc 。

后加法器可用于累加上述包含单独的高位乘积项和低位乘积项的 45 位乘积。在累加单个 45 位积时,对高位项和低位项进行了校正累加。最终的累加结果如果没有溢值,可以用简单运算分开。

这种方法的局限在于每个 DSP48E2 Slice 能累加的乘积项的数量。由于高位项和低位项间始终保持两位(图 3),可以保证在低位不溢值的情况下累加多达 7 个项。在七个乘积项后,需要使用额外的 DSP48E2 Slice 来克服这一局限。执行 7x2 INT8 乘法- 加法运算,与拥有相同数量乘法器的竞争型器件相比 INT8 MACC 运算的效率提升 1.75 倍。

根据实际用例的要求,这种方法有多种变化形式。使用修正线性单元(ReLU)的卷积神经网络产生非负激活,而无符号 INT8 格式产生额外一位精度和 1.78 倍峰值吞吐量提升。

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

图 3 :用单个 DSP48E2 Slice 打包两个 INT8 乘运算

DSP48E2 SIMD 模式

DSP48E2 Slice 的后加法器分裂成四个 12 位或两个 24 位 SIMA ALU(参见图 4),以执行并行加法、减法、累加或逐位逻辑运算。在 SIMD 模式下,DSP48E2 Slice 的预加法器和乘法器不可用。在每个周期上,ALUMODE[3:0] 控制总线选择运算,而 OPMODE[8:0] 控制总线则选择操作数 W、X、Y 和 Z。如果考虑 24 位运算,DSP48E2 Slice 的 P 寄存器能存储处理两个输入阵列的结果。对每一个阵列按顺序求和,每个周期一个元。吞吐量由此变为每个周期产生两个新结果。详细说明,请参阅《UltraScale 架构 DSP Slice 用户指南》(UG579)(关键字“SIMD”、“ALUMODE”和“OPMODE”)[ 参考资料 5 ]。

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

图 4 :DSP48E2 双 24 位 SIMD 模式

映射 INT8 优化到深度学习应用

新型神经网络大部分是从这个初始概念模型[ 参考资料 6 ]衍生而来。见图 5。

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

图 5 :概念和深度神经网络

虽然从标准感知器结构开始已有相当程度的演进,现代深度学习(也称为深度神经网络 (DNN))的基本运算仍然是类感知器的运算,只是有有更大的总体规模和更深的堆叠感知器结构。图 5 显示了感知器的基本运算。在每个典型的深度学习推断中它穿过多个层,最终重复数百万至数十亿次。如图 6 所示,在神经网络层中,计算 m 个感知器/ 神经元输出中的每一个输出的主要计算运算包括:

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

将全部的 n 个输入样本

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

乘以对应的内核权重

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

并累加结果

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

其中:f(x) 可以是任何选择的激活函数。

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

图 6 :深度学习中的感知器

如果的精度限定为 INT8,该乘积之和是 INT8 优化方法中介绍的并行 MACC 中的第一个。第二个乘积和使用相同输入,但内核权重不同。第二个感知器/ 神经元输出的结果是

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

见图 7。

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

图 7 :使用共享输入并行得到两个乘积项和

使用 INT8 优化方法将值向左移位 18 位,每个 DSP48E2 Slice 就得出最终输出值的部分且独立的一部分。用于每个 DSP48E2 Slice 的累加器有 48 位宽并链接到下一个 Slice。为避免移位饱和影响到计算,链接的模块数量被限制为 7 个,即对总共 n 个输入样本使用 2n 个 MACC 和 n 个 DSP Slice。

典型的 DNN 每层有数百到数千个输入样本。但是在完成 7 个项的累加后,48 位累加器的低位项可能饱和,因此每 7 个项之和就需要一个额外的 DSP48E2 Slice。这相当于每 7 个 DSP48E2 Slice 和 14 个 MACC,另加一个 DSP48E2 Slice 用于防止过饱和,从而带来 7/4 或 1.75 倍的吞吐量提升。

在卷积神经网络(CNN)中,卷积层一般主要使用同一组权重,从而形成 axw 和 bxw 类型的并行 MACC 运算。因此除输入共享外,还可以使用权重共享(见图 8)。

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

图 8 :权重共享和输入共享比较

创建 INT8 链接 MACC 的其他方法

还可以使用可编程逻辑中与 DSP48E2 Slice 工作频率近似的可用 LUT(即未被设计其余部分使用的 LUT)来构建 INT8 链接 MACC。

使用可用 LUT 能显著提高深度学习性能,一些情况下可提升达 3 倍之多。在许多情况下,对于其他非FPGA 架构而言,在计算可用深度学习运算时这些可用的计算资源并未考虑在内。

赛灵思 FPGA 和 MPSoC 中的编程逻辑是独有的,因为它能并行且高效地处理不同工作负载。例如赛灵思 FPGA 和 MPSoC 能并行执行 CNN 图像分类、网络加密和数据压缩。本深度学习性能比较分析未将MACC LUT 考虑在内,因为一般 LUT 用于执行其他并行功能比用于执行 MACC 功能时更有价值。

映射 INT8 优化到计算机视觉功能

Khronos OpenVX 标准定义了一套计算机视觉处理模块,对下列用例尤为重要:面部、身体和手势跟踪;智能视频监控;高级驾驶员辅助系统 (ADAS) ;对象和情景再现;增强现实;目测;机器人等。表 2 显示了 INT8 优化适用的计算机视觉相关功能。

表 2 :适用于计算机视觉功能的 INT8 优化

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

可扩展 INT8 优化可检查同时处理两个有共享系数的数据项的兼容性。SIMD 可检查能从 DSP48E2 Slice 中的四个操作数和算子受益的模块。数据和权重遵循 8 位限制的所有滤波器相关模块都能从这种可扩展 INT8 方法获益。大多数其他涉及基本图像算术(例如加/ 减或比较等)的模块能运用 DSP48E2 的 SIMD 运算。

使用可扩展 INT8 优化的定制 2D 卷积

在计算机视觉功能环境中,大部分预处理任务会涉及一定程度的过滤。因为图像主要使用每个通道 8 位的方式表达,深度学习应用中对 INT8 运算的优化能应用到图像处理中的二维过滤运算。唯一的局限是滤波器中的系数的精度必须能够用 8 位表达。这对诸如索贝尔、Scharr、拉普拉斯或其他边缘检测滤波器等常见滤波器而言,一般来说是正确的。

使用下列方法之一即可发挥 DSP48E2 Slice 内的双乘法器模式的作用:

对同一通道在多像素输出上运算:在这种模式下可以并行计算出两个输出像素。因为在图像中滤波器系数在像素间共享,因此能同时计算位置 (x,y) 和 (x,y+1) 的像素。按照滤波器计算顺序,每个滤波器系数与两个不同输入像素相乘。这意味着在可编程逻辑中提供的资源不变的情况下,性能提高了 1.75 倍。

对不同通道或图像的多像素输出进行运算:如果正在处理的图像有多个通道且滤波器在不同通道间共享,对处于相同位置 (x,y) 的像素,滤波器的系数可在多通道间共享。相同的方法可扩展用于同时运算多个图像。

使用 SIMD 运算的中值滤波器

图像处理中常用的中值滤波器也用于消噪。在图像上使用中值滤波器涉及用预设大小的窗口扫描图像,计算进入该窗口的像素的中值,使用中值替换中心像素。中值计算属于高计算强度。它涉及为值排序,然后找到位于列表中间的值。排序流程是一个比较运算序列。

要使用可编程逻辑上的 DSP 实现中值滤波器,可以对算法做改动。每次比较运算可以分为减法运算及后续的符号位检查。对减法运算,DSP48E2 Slice 能够以四个 12 位或两个 24 位模式进行运算。要充分利用 DSP48E2 Slice,可以并行运算多个像素。假定每个像素为单通道,深度小于 12 位,就可以同时处理四个输出像素。对每个输出像素存在多个排序运算,这些排序运算都可以使用 DSP48E2 Slice 中的减法运算。结果的符号位可以使用最小的逻辑在 DSP48E2 Slice 之外检查。比较的总数量取决于用于排序值的算法。

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

图 9 :中值滤波器的 DSP48E2 运算模式

竞争分析

在竞争分析中使用英特尔(前 Altera)的 Arria 10 器件与赛灵思的 Zynq UltraScale+ MPSoC 对比。在进行嵌入式视觉应用计算效率比较时,选择的器件有可比的 DSP 密度和器件功耗:

• Arria 10 SoC :SX220、SX270 和 SX480

• Zynq UltraScale+ MPSoC :ZU3、ZU7 和 ZU9 器件

重点比较能用于包括深度学习和计算机视觉在内的众多应用的通用 MACC 性能。

英特尔的 MACC 性能基于运用预加法器的算子。但是这种实现方案产生的是乘积项的和,而非单独的乘积项。因此英特尔的预加法器不适用高效深度学习或计算机视觉运算。

在本计算效率分析中,每个器件的功耗使用赛灵思的2016.4 版 Power Estimator 工具和英特尔的 16.0.1 版 EPE Power Estimate 工具进行估算,并根据下列假设得出:

1. 90% DSP 占用率

2. 英特尔器件 - 速度等级为:2L, 最大频率下供电电压为 0.9V

3. 赛灵思器件 - 速度等级为 1L, 最大频率下供电电压为 0.72V

4. 时钟速率为 DSP Fmax 时逻辑利用率为 70%

5. 时钟速率为 DSP 最大频率的一半时,Block RAM 利用率为 90%

6. DSP 翻转率为 12.5%

7. 功耗特征:“典型功耗”

图 10 所示的即为深度学习和计算机视觉运算的能效对比。与英特尔的 Arria 10 SoC 器件相比,赛灵思器件能让深度学习和计算机视觉运算的计算效率提高 3-7 倍。

赛灵思INT8优化为嵌入式视觉应用提供性能和计算方法

图 10 :INT8 深度学习和计算机视觉能效对比:赛灵思对比英特尔

结 论

本白皮书探讨了如何在赛灵思 DSP48E2 Slice 上优化 INT8 深度学习和计算机视觉运算,从而实现 1.75 倍的性能提升。赛灵思 DSP48E2 Slice 可用于在共享相同内核权重的同时处理两个并行的 INT8 MACC 运算。为高效实现 INT8,需要 24 位输入宽度,这一优势只有赛灵思 DSP48E2 Slice 支持。同样的优势还能用于计算机视觉运算,例如过滤任务及其它图像操作任务。赛灵思的 DSP48E2 Slice 的 SIMD 模式为开展四个 12 位或两个 24 位 SIMD 运算提供了新的途径。

总之,赛灵思的 Zynq UltraScale+ MPSoC 非常适用于 INT8 工作负载,使之成为为嵌入式视觉领域大量应用加速的理想选择。赛灵思不断创新新的基于软/ 硬件的方法,以加速嵌入式视觉应用领域的深度学习和计算机视觉功能。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 计算机视觉
    +关注

    关注

    8

    文章

    1698

    浏览量

    45980
  • 嵌入式视觉
    +关注

    关注

    8

    文章

    117

    浏览量

    59143
  • 深度学习
    +关注

    关注

    73

    文章

    5500

    浏览量

    121117
收藏 人收藏

    评论

    相关推荐

    采用FPGA实现DisplayPort详细教程【内部资料】

    ,以及如何使用我们即将推出的 XAPP“使用 MicroBlazeTM 嵌入式系统实施 DisplayPort Source PolicyMaker 控制系统参考设计作者:Carol Fields
    发表于 03-01 11:10

    用OpenCV和Vivado HLS加速基于Zynq SoC的嵌入式视觉应用开发

    设计流程  为了进一步帮助嵌入式视觉开发人员创建Smarter Vision系统,在Vivado中增加了对OpenCV
    发表于 04-21 15:49

    XilinxFPGA技术及应用线上公开课

    ` 本帖最后由 MGJOY 于 2017-4-10 15:07 编辑 本周三,4月12日,FPGA技术及应用线上公开课。欢迎大家观看、学习交流~分享主题【
    发表于 04-10 15:06

    基于Spartan-3A的视频分析

    视频分析对性能处理的要求可充分发挥FPGA的并行架构、嵌入式和DSP处理能力所带来的优点。
    发表于 05-16 10:26 1185次阅读
    基于<b class='flag-5'>赛</b><b class='flag-5'>灵</b><b class='flag-5'>思</b>Spartan-3A的视频分析

    收购嵌入式Linux方案提供商PetaLogix

    All Programmable技术和器件的全球领先企业公司(Xilinx, Inc. (NASDAQ:XLNX) )今天宣布收购嵌入式Linux解决方案
    发表于 08-30 16:59 653次阅读

    收购嵌入式Linux方案提供商PetaLogix

    公司(Xilinx)宣布收购嵌入式Linux解决方案提供商PetaLogix。随着Linux解决方案成为越来越多依赖
    发表于 09-05 09:14 571次阅读

    玩转Xilinx嵌入式视觉开发者专区 让视觉系统开发更加简单

    Programmable 的差异化嵌入式视觉应用。通过嵌入式视觉开发者专区,
    发表于 11-10 14:49 994次阅读

    强化嵌入式视觉应用与工业物联网产品系列

    与软件定义SDSoC开发环境公用版。这些新产品、开发环境及强化产业生态系的结合,使该公司客户得以在快速成长的嵌入式视觉应用与工业物联网市场中,创造具更高差异化与灵活性的应用。
    发表于 02-08 17:37 203次阅读

    Xilinx INT8 优化开发嵌入式视觉

    INT8 优化为使用深度学习推断和传统计算视觉
    的头像 发表于 09-22 17:27 5495次阅读

    嵌入式视觉的发展趋势及其算法示例

    在这篇文章中,前机器视觉市场战略总监Aaron Behman 针对嵌入式视觉方面的问题进行
    发表于 11-15 17:27 5476次阅读

    DSP48E2 Slice 上优化 INT8 深度学习运算分析

    学习每秒运算次数 (OPS) 上相比其它 FPGA,能实现 1.75 倍的峰值解决方案级性能。由于深度学习推断可以在不牺牲准确性的情况下使用较低位精度,因此需要高效的 INT8 实现方案。
    发表于 11-16 14:23 1.5w次阅读
    DSP48E2 Slice 上<b class='flag-5'>优化</b> <b class='flag-5'>INT8</b> 深度学习运算分析

    扩大生态系统,重塑嵌入式视觉、工业物联网系统设计的未来

    的系统正在重塑嵌入式视觉和工业物联网 (IIoT) 的未来。于今年 2 月在德国纽伦堡举办的嵌入式
    的头像 发表于 02-14 03:09 3515次阅读
    <b class='flag-5'>赛</b><b class='flag-5'>灵</b><b class='flag-5'>思</b>扩大生态系统,重塑<b class='flag-5'>嵌入式</b><b class='flag-5'>视觉</b>、工业物联网系统设计的未来

    Arm携手助力嵌入式开发人员获取成熟的Arm IP

    Arm和(Xilinx)强强联合,将业界最强大、最成熟的嵌入式生态系统优势与赛FPGA
    的头像 发表于 10-11 10:05 3169次阅读

    INT8优化为嵌入式视觉应用性能计算方法

    的 DSP 架构和库针对 INT8 运算进行了精心优化。本白皮书介绍如何使用
    的头像 发表于 07-29 11:19 2486次阅读

    性能优良的FPGA嵌入式处理器平台

    公司昨天宣布了由独立的第三方对运行Accelerated Technology公司(AT)的Nucleus实时操作系统(RTOS)的32位MicroBlaze处理器平台进行的测试结果,再次证明了
    发表于 06-28 11:38 2324次阅读