Kneron KL630 基于耐能智慧神经网路架构的超高弹性配置之AI 相机应用方案

Kneron KL630系列芯片采用TSMC 28nm先进技术节点，是专为各种专业和消费IP摄像机设计的新一代SoC，包括安全摄像机、家庭摄像机、视频门铃摄像机、防抖摄像机、180°和360°全景摄像机，以及作为家用电器和机器人相机。KL630系列芯片支持快速开发高质量和多镜头相机应用程序，提供多达 4 通道视频输入、独立的高级多 ISP 管道（包括多曝光高动态范围融合）以及专门的视频质量增强功能，适用于多个宽-角度镜头和传感器，加上片上去扭曲、拼接和混合，所有这些都用于高质量的实时全景摄像机视频处理。其中内钳Kneron 第三代神经网路架构内核，因此即时反应并分辨特定物件，减低误判率。整体方案特点:

• 可重构NPU

耐能是可重构NPU领域的领导者，在行业创新提出动态存储DMA提升记忆体访问效率，以及动态支持同一个神经网路的不同数据精度需求，使得NPU芯片有ASIC高性能而又不牺牲数据密集型算法的可编程性。凭借独特创新的架构和优异的性能，耐能团队获得IEEE CAS 2021年Darlington最佳论文奖。耐能第4代可重构NPU可以支持同时运行CNN和Transformer网路，既可做机器视觉，也可运行语义分析，且运算能效优异，为终端用户提供更高性能、低功耗以及低成本的解决方案，可适用于各种终端设备的AI应用。

与仅面向特定应用的普通AI模型不同，耐能的可重构人工神经网路（RANN）技术更加灵活，可满足不同应用需求并适应各种计算体系架构。

影像辨识软体同硬件产品具有的特点一致，耐能的AI模型与算法除了具有低延迟、高算力和强性能等特点外，还可平衡性能、模型大小和复杂性。

耐能轻量级图像识别算法主要包括人脸识别、身体与手势识别、物体与场景识别等。在开发的标准SDK的释放，就包括了这些模型。

第五代 ISP可以记录具有可感知细节、真实色调层次和更低噪声的图像和视频。其特点如下:

• “Color Consistent”技术动态补偿，减少颜色不连续和强度
• “HDR”技术在高对比度场景中提供更清晰的细节，呈现更丰富准确的色彩呈现，让真实世界的视觉体验更加逼真。
• “Smart Edge Enhancement”技术改善了由于镜头和传感器的轻微错位而导致的局部图像模糊（失焦）
• “多镜头和传感器 ISP”技术可补偿由于生产差异而从多个镜头和传感器源拼接和/或融合的视频的颜色和亮度偏差

智能 HEVC 编码器尽可能显著减少无用或不重要的数据，并在不中断网络带宽的情况下保持高质量的视频。

• 具有动态 ROI、GOP、FPS 和降噪的最新发展，可智能检测感兴趣区域，尤其是动态场景中的运动量；以不同的强度应用降噪；并相应地调整图片组和帧率，以在不丢失每个重要细节的情况下实现出色的比特率节省
• 与视频监控应用中的 H.264 编码器相比，智能 HEVC 编码器可实现极低的比特率，从而节省高达 60% 的网络带宽和本地存储成本
• 鱼眼引擎去扭曲、拼接、混合

支持180°/360°多通道鱼眼去扭曲引擎引入了一种创新方式，结合了高性能硬件加速鱼眼去扭曲器，允许实时去扭曲过程以显著节省 CPU 负载，并灵活支持各种鱼眼的几何校正/广角镜头提供业界领先的全景视频形成质量。

去扭曲

• 支持多达 4 路视频输入
• 基于像素/块的转换的算法优化

拼接和混合

• 基于特征的匹配
• 几何模型拼接
• 补偿不同传感器的颜色偏差

示意图如下

智能视频分析

AI On-Device”是基于神经网络的设计，实时分析实时视频的视觉特征，根据经过训练的人（尤其是人脸）、宠物、汽车和任何感兴趣的对象进行分类，以进行目标检测以及认出，以便允许最终客户拥有更好的隐私保护、数据本地化和更低的数据访问延迟，以响应在设备站点上运行的任务。

• 无缝定制与内部 ISP 和去扭曲引擎的集成，即使使用广角/鱼眼镜头也能实现高精度检测和识别

音频增强和智能

创造性地应用机器学习方法来增强语音和音频信号处理。VATICS 音频技术激发了新颖而优雅的解决方案，以解决该领域最具挑战性和长期存在的技术难题，例如噪声抑制、声学回声消除、自动增益控制、动态范围控制等。优点包括，

• 具有竞争力的性能，占地面积更小。与市场上的解决方案相比，最多减少 30% 的计算资源
• 较低的硬件设计限制
• 基于机器学习的内部引擎减少了巨大的人工调整工作

高效能的应用工具PQ Tool 跟 Fisheye Correction Tool

PQ Tool，提供快速完整的影像调整工具

EZ调谐

有10个设置与17个区块一致，以适应当前架构中的iso变化。我们可以通过键入或直接拉动卷轴来改变数值。可以查看如下附图

Fisheye Correction Tool

可以及时调整及时检视

KL630系列芯片提供设计上的弹性，可以基于PCB版端的设计考量，有支援外挂记忆体与内建记忆体的选型，包括了多个系列，如下表所列:

KL630系列之AI相机 (安防、家用、其他应用)的选型表如下表:

Kneron 同步提供方块示意图与主要的AP 函数，让客户可以快速上手。

KL630系列之AI相机 (行车纪录器)的选型表如下表:

Kneron 同步提供方块示意图与主要的AP 函数，让客户可以快速上手。

KL630系列之AI相机 (工业相机)的选型表如下表:

Kneron 同步提供方块示意图与主要的AP 函数，让客户可以快速上手。

KL630系列之AI相机 (与防抖相机)

在监控系统中，摄像机被安装在高高的电线杆或车辆或移动设备上，可能会因风、运动或手的作用而晃动。

数位/电子图像稳定（DIS/EIS）是一种高效的视频流校正方法，可以减少视频晃动和滚动快门效应。它依靠陀螺仪感测器产生用于EIS的角速度信号，而EIS校正导致图像在当前帧中被裁剪和重新缩放。MotionProcess库为ImgSigProcess（ISPE）计算一个翘曲矩阵，以执行视频稳定和滚动快门校正，提高图像品质。

主要原理是利用三轴角速度和加速速度。在一段时间内，陀螺仪感测器将总的角度加起来，并计算出它在一帧中应该修正多少角度位移。如下图所示:

请注意，水准/垂直位移不会导致陀螺仪感测器被操作。陀螺仪应该与镜头保持距离，越多越好。

Kneron 的方案还可以根据影像的位置进行不同的配置调整。如下图所示，考虑影像跟调整的位置，包括调整的RATIO、鱼眼校正都可以一并被应用:

资料来源: Kneron 原厂