AI推理框架软件ONNX Runtime正式支持龙架构
近日，知名AI推理框架开源社区ONNX Runtime正式发布支持龙架构的版本1.17.0。今后，用户可以直接使用ONNX Runtime开源社区发布的版本在龙芯平台完成AI推理类应用的开发和部署，标志着龙架构软件生态得到进一步完善。
ONNX Runtime（ORT）是近年来兴起的AI推理框架软件，被大量AI应用作为基础AI推理引擎。ORT可支持PyTorch、Tensorflow、TFLite等多种格式的模型输入，以及CPU、GPU、IoT、NPU、FPGA等多样化算力后端。
在ONNX Runtime 社区1.17.0版本的研制过程中，龙芯中科技术团队与社区保持紧密合作，期间向ONNX Runtime社区代码仓库提交了7697行代码，对矩阵乘法、卷积、转置等核心算子进行深度向量优化。在社区支持下，龙架构优化代码通过了检视、测试验证等质量保证流程，ONNX Runtime社区自1.17.0版本起正式实现对龙架构的原生支持。
未来，龙芯中科将继续与AI领域的国际开源软件社区携手合作，助力AI领域的生态发展和技术创新，为用户带来更优产品，实现更大价值。
审核编辑：刘清
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
FPGA
+关注
关注
1625文章
21663浏览量
601663 -
龙芯中科
+关注
关注
0文章
260浏览量
7603 -
NPU
+关注
关注
2文章
269浏览量
18536
原文标题：AI推理框架软件ONNX Runtime正式支持龙架构
文章出处：【微信号：gh_53fadbdbd4d4，微信公众号：龙芯中科】欢迎添加关注！文章转载请注明出处。
发布评论请先 登录
相关推荐
基于迅为RK3588开发板的AI图像识别方案
操作）算力的高性能神经网络处理器单元（NPU）。这款NPU不仅拥有强大的计算能力，支持TensorFlow、Caffe、Tflite、Pytorch、Onnx NN、Android NN 等常见框架
发表于 08-13 11:26
摩尔线程携手东华软件完成AI大模型推理测试与适配
近日，摩尔线程与东华软件云筑AI创新中心宣布，双方已完成大模型推理测试与适配。依托摩尔线程的全功能GPU国产算力，东华软件打造安全可信的基于私有化大模型的“智多型（A.I.Cognif
STM CUBE AI错误导入onnx模型报错的原因？
使用cube-AI分析模型时报错，该模型是pytorch的cnn转化成onnx
```
Neural Network Tools for STM32AI v1.7.0 (STM.ai
发表于 05-27 07:15
进一步解读英伟达 Blackwell 架构、NVlink及GB200 超级芯片
，第五代NVLink、InfiniBand网络和NVIDIA
Magnum IO™软件的支持，确保企业和广泛GPU计算集群的高效可扩展性。
HGX B200 深度学习推理能力
英伟达第五代 NVLink
发表于 05-13 17:16
将yolov5s的模型转成.onnx模型，进行cube-ai分析时报错的原因？
报错显示张量不能大于四维的，想请教解决一下，我再此之后通过onnx-simplifier对.onnx进行简化之后再通过cube-ai进行分析还是出现上述报错，恳求指导，谢谢您！
发表于 03-15 06:54
微软推出ONNX Runtime Web，利用WebGPU优化浏览器机器学习性能
作为微软的 JavaScript 库，ONNX Runtime Web 使得网络开发者能在浏览器环境下部署机器学习模型，并提供多种硬件加速的后端支持。
Groq LPU崛起，AI芯片主战场从训练转向推理
人工智能推理的重要性日益凸显，高效运行端侧大模型及AI软件背后的核心技术正是推理。不久的未来，全球芯片制造商的主要市场将全面转向人工智能推理
通过新的ONNX导出器简化模型导出流程
和深度学习模型的基本原理，并提供了一个通用的文件格式，因此你可以保存并与各种工具一起使用,这样你就可以在你喜欢的框架中进行开发而且不用太担心与其相关的推理逻辑。
HarmonyOS：Neural Network Runtime对接AI推理框架开发指导
场景介绍
Neural Network Runtime 作为 AI 推理引擎和加速芯片的桥梁，为 AI 推理引擎提供精简的 Native 接
发表于 12-19 10:09
HarmonyOS：使用MindSpore Lite引擎进行模型推理
使用 MindSpore Lite 推理框架时，需要释放已经创建的模型。
// 释放模型
OH_AI_ModelDestroy(&model);
调测验证
编写 CMakeLists.txt
发表于 12-14 11:41
工商网监
评论