伴随高阶自动驾驶技术发展,智能汽车车载传感器数量越来越多,自动驾驶神经网络模型算法复杂度越来越高,相关功能也越来越丰富,感知算法也从传统的2D视觉向更先进的3D融合感知范式转变,这在为客户带来更加安全的自动驾驶体验的同时,对开发效率提出了更高的挑战。怎么降低模型优化和适配的复杂性,提高开发效率和模型性能,已成为智能驾驶技术开发关键。
2024北京国际车展,黑芝麻智能展示了一套自研的开发工具BST-DAL(Deep-learning Acceleration Library),它是一个基于PyTorch的加速库,支持在多种预训练模型上使用,旨在简化复杂任务的模型适配和优化,可显著提高模型在华山、武当系列SoC芯片上的运行速度,用户只需修改几行代码,提供一些基本的超参数,就可实现在自己的原始训练环境中剪枝,降低整体开发成本。该库支持模块化设计和扩展性,通过统一API,用户只需少量代码即可轻松集成到训练环境中。
多样优化,轻松部署,运行效率提升
黑芝麻智能BST-DAL集成了多种优化算法,包括剪枝、量化、训练、蒸馏和硬件匹配,支持主流模型结构如CNN、Transformer等,涵盖分类、检测、语义分割等多种任务。在训练阶段,BST-DAL可以自动寻找最佳模型配置,一键完成剪枝和量化,支持混合加速引擎和复杂模型拓扑,其核心功能包含:
黑芝麻智能山海开发工具链
剪枝(Pruning): 集成先进的SOTA剪枝算法,能够自动确定最优剪枝策略,以满足特定硬件需求,从而在保持模型精度的同时显著减少计算和I/O开销
量化(Quantization): 当前车载领域深度学习模型复杂多变,在异构硬件上量化繁琐,部署过程中为了降低精度损失需投入大量精力。为了降低用户量化部署开发成本,BST-DAL量化支持多引擎混合精度量化,用户改动极少代码即可在训练环境中适配QAT功能
训练(Training):采用模块化设计,与PyTorch生态无缝对接,简单易用,保证量化和剪枝后模型精度
蒸馏+硬件匹配(Distillation+Fitting): 结合蒸馏技术自动搜索最优轻量化模型结构,支持参数、layer剪枝和Transformer结构轻量化
性能与精度兼得,开发效率优化
黑芝麻智能BST-DAL深度学习加速库工具,相比于众多开源项目,拥有更快的收敛速度、更高的精度、更适应芯片特性的加速算法、更简便的API及更友好的用户体验。
以华山系列A1000芯片为例为例,使用BST-DAL深度学习加速库处理主流模型ResNet50、Yolov5和LaneAF,可以在保证剪枝后模型精度的同时,减少超过20%的I/O数据流,提升模型性能。
同时,使用BST-DAL的混合精度量化功能可以极大保证模型量化后精度,使其基本与原始浮点一致。
黑芝麻智能BST-DAL加速库还有如下功能的亮点;
集成多种SOTA优化算法,在保证模型精度的同时提升模型性能,确保性能与精度兼得,使得模型在各种复杂任务和场景下都能表现出色。
DAL训练模型可实现最高可达10倍的性能提升,同时维持模型精度,为大模型训练和部署提供了更好的解决方案。
在PC端即可进行模型精度验证,加速开发周期,开发者可以更快地进行模型迭代和调试,从而加快了产品上市速度和响应市场需求的能力 。
自动化的模型配置搜索,简化了优化流程 ,降低了人工干预的需求,确保了模型的最佳性能和稳定性。
基于静态图的QAT量化,只需少量代码即可实现,降低用户使用量化工具的学习成本,提高了模型在嵌入式和移动设备上的部署效率。
支持混合加速引擎,可一次性对多段模型进行优化,更好地适应复杂任务和多模态数据处理需求 。
支持复杂的模型拓扑结构,特别是Transformer模型。 黑芝麻智能BST-DAL为深度学习研究者和开发者提供了一个全面、高效的解决方案,显著降低了模型优化和适配的复杂性,同时提高了开发效率和模型性能。
全面赋能客户,助力部署落地一体化流程
作为中国本土智能汽车芯片的供应商之一,黑芝麻智能深知软硬协同的重要性,以“芯片+开发工具链”的配套模式支持客户提升研发效率,降低综合成本,加速产品量产。工具链及软件是否完善是体现自动驾驶芯片易用性的重要指标。配合华山系列自动驾驶计算芯片,黑芝麻智能发布的山海开发工具链能够提供全面的开发包及算法开发所需的可视化软件工具,满足模型量化、优化、编译、仿真、部署、调试等各个开发环节的需要,并纳入深度学习参考模型库转换用例,大幅降低算法开发门槛,帮助客户进行灵活的模型迁移、部署和整合。目前,山海开发工具链已支持的算子数量已超过140个。
黑芝麻智能与合作伙伴最快仅耗时5周即完成了包含感知算法部署在内的所有上车适配工作的联合开发,使用山海工具链可快速灵活适配第三方感知算法,配套技术开发团队也有效提升了产品落地速度。得益于自主研发的IP核与通用计算加速的设计理念,山海工具链在逐步支持BEV和Transformer模型的部署和硬件加速,以支撑目前行业对无高精地图、城市领航等功能的迫切需求。
审核编辑:刘清
-
神经网络
+关注
关注
42文章
4771浏览量
100720 -
自动驾驶
+关注
关注
784文章
13787浏览量
166406 -
深度学习
+关注
关注
73文章
5500浏览量
121118 -
车载传感器
+关注
关注
0文章
44浏览量
4353 -
黑芝麻智能
+关注
关注
1文章
136浏览量
3327
原文标题:黑芝麻智能BST-DAL深度学习加速库:提升算法模型开发效率,释放SOC极致性能
文章出处:【微信号:BlackSesameTech,微信公众号:黑芝麻智能】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论