0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

图为科技联合百度飞桨、英伟达共同推出AI软硬一体快速部署方案

八爪鱼快跑 来源:八爪鱼快跑 作者:八爪鱼快跑 2022-12-20 11:01 次阅读

基于图为科技边缘计算机系列产品,仅用三行代码就能搞定百度飞桨AI算法的部署;让AI算法部署变得简单便捷,帮助企业加速AI方案落地进程。

人工智能产业应用发展的越来越快,开发者需要面对的适配部署工作也越来越复杂。层出不穷的算法模型、各种架构的AI硬件、不同场景的部署需求、不同操作系统和开发语言,为AI开发者项目落地带来极大的挑战。

为了解决AI部署落地难题,图为科技受到百度飞桨和英伟达的邀请,完成FastDeploy部署工具在边缘计算机上的验证测试。FastDeploy旨在为AI开发者提供模型部署最优解,具备全场景、简单易用、极致高效三大特点。开发者可以通过FastDeploy这款产品,满足全场景的高性能部署需求,大幅提升AI产业部署的开发效率。

以下展开介绍FastDeploy的全场景、简单易用、极致性能特性和图为科技边缘计算机的能力:

简单易用

·多语言统一部署API,3行代码搞定模型部署

FastDeploy精心的完成了API设计,确保使用不同编程语言的开发者能够享受到统一的API体验。并且,无论使用哪一种编程语言,都只需要3行核心代码就可以实现预置模型的高性能推理。。

pYYBAGOhJXaANT4_AAD5GpVEDsI947.png

FastDeploy中PythonC++统一部署API

·一键体验预置150+热门模型,覆盖20多主流产业应用场景

FastDeploy覆盖20多主流场景,提供了150多个SOTA产业模型的端到端示例,模型类型覆盖CV、NLP、Speech和跨模态等领域,让开发者可以从场景入手,通过预置模型,使用FastDeploy快速部署起来。

poYBAGOhJXeAX7gTAAE178Z8w7w097.png

FastDeploy 预置150多个产业SOTA模型

全场景

·多框架支持,一行命令实现模型协议互转

接下来看看多框架支持的功能,FastDeploy中内置了X2Paddle和Paddle2ONNX模型转换工具。只需要一行命令便可完成其他深度学习框架到飞桨以及ONNX的相互转换,让其他框架的开发者也能通过FastDeploy体验到飞桨模型压缩与推理引擎的端到端优化效果。

poYBAGOhJXiAcpL4AABO7XhlpSc487.png

FastDeploy一行代码切换多端部署

极致高效

·软硬联合自动压缩优化,减少部署资源消耗

性能方面,FastDeploy集成了飞桨压缩与推理的特色,联动自动压缩与推理引擎深度优化,实现了更高效的量化推理部署。利用PaddleSlim ACT自动压缩技术带来的无损压缩体验,以PP-LCNetV2和ERNIE 3.0-Medium模型为例,通过ACT自动压缩技术,操作简易度可以比拟传统离线量化,实现近乎无损的模型压缩效果。

poYBAGOhJXiAftPFAABRmrLATfE754.png

FastDeploy一键自动压缩,减少硬件资源消耗

·端到端前后预处理优化,减少部署资源消耗

FastDeploy在各模型的部署中,重点关注端到端到的部署体验和性能。在服务端对预处理过程进行融合,降低内存创建开销和计算量。在移动端集成百度视觉技术部自研高性能图像处理库FlyCV。结合FastDeploy多后端支持的优势,相较原有部署代码,所有模型端到端性能大幅提升。

pYYBAGOhJXmAcrv-AAA7nqgME7s451.png

FastDeploy前后预处理优化,减少硬件资源消耗

图为科技边缘计算机与飞桨FastDeploy部署工具经过长时间的开发测试,现已达到完美适配轻松部署的效果。目前FastDeploy中支持的150多个AI算法全部通过了图为科技边缘计算机的验证测试,开发者拿到图为边缘计算机后可以直接进行部署应用,极大程度缩短了项目的研发周期。

图为信息科技(深圳)有限公司是一家AI边缘计算机运营服务商,专注边缘计算机的研发、生产、销售、运维等工作。目前基于NVIDIA Jetson系列核心模块所设计的AI边缘计算机,已广泛应用于机器视觉检测、人脸识别、行为识别、智能机器人、智能无人机、自动驾驶、智能安防等领域。

图为科技最新推出的T928边缘计算机,采用NVIDIA® JETSON AGX ORIN™核心板,具备200 TOPS浮点运算能力,万兆网口、IP65防护等级、极致稳定可在-40度环境低温稳定运行;支持数据加密,16路GMSL2接口,可选4G/5G通讯模块,专为自动驾驶而设计。

边缘计算,就用图为边缘计算机!小体积,大算力,更可靠!

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    29922

    浏览量

    268203
  • 人工智能
    +关注

    关注

    1791

    文章

    46734

    浏览量

    237254
  • 英伟达
    +关注

    关注

    22

    文章

    3727

    浏览量

    90728
  • 边缘计算
    +关注

    关注

    22

    文章

    3054

    浏览量

    48516
收藏 人收藏

    评论

    相关推荐

    百度将发布AI智能眼镜

    近日,有知情人士透露,百度旗下的人工智能品牌小计划在即将举行的百度世界大会上推出款全新的AI
    的头像 发表于 11-11 14:50 247次阅读

    百度AI计算平台4.0震撼发布

    在2024年百度云智大会的璀璨舞台上,百度智能云重磅推出AI异构计算平台的全新力作——4.0版本。此次升级,标志着
    的头像 发表于 09-26 14:46 370次阅读

    百度联合英伟举办全球规模最大智能大赛

    近日,科技巨头百度宣布了项激动人心的合作计划:将与英伟联合举办“百度搜索·文心智能
    的头像 发表于 09-02 15:43 301次阅读

    NVIDIA与百度携手革新汽车风阻预测:DNNFluid-Car模型的崛起

    在追求更高效、更环保的汽车设计浪潮中,NVIDIA与百度携手突破传统界限,共同研发了款革命性的3D高精度汽车风阻预测模型——DNNFl
    的头像 发表于 07-09 14:56 1505次阅读

    百度发布文心大模型4.0 Turbo与框架3.0,引领AI技术新篇章

    SUMMIT深度学习开发者大会2024上,向世界展示了百度AI领域的最新成果——文心大模型4.0 Turbo和框架3.0,并详细披露了
    的头像 发表于 06-29 16:03 581次阅读

    百度搜索AI生成内容占比11%

    在2024年举办的百度移动生态万象大会上,百度集团资深副总裁、百度移动生态事业群组总经理何俊杰分享了系列令人瞩目的数据。他透露,百度新搜索
    的头像 发表于 05-31 09:24 663次阅读

    2024百度移动生态万象大会:百度新搜索11%内容已AI生成

    2024百度移动生态万象大会:百度新搜索11%内容已AI生成 今天2024百度移动生态万象大会在江苏苏州举办,特别是AI搜索与
    发表于 05-30 18:58 387次阅读

    日产汽车将搭载百度AI解决方案

    日产汽车与百度达成战略合作,双方正式签署谅解备忘录,共同探索智能技术在汽车领域的应用。根据协议,日产将在中国市场的车型上搭载百度AI解决方案
    的头像 发表于 05-06 14:14 416次阅读

    百度搜索重磅推出AI图片助手

    近日,百度搜索全新上线了款名为“百度AI图片助手”的智能工具,该工具赋予了用户键处理图片的强大能力。无论是搜索中的图片还是用户自主上传的
    的头像 发表于 05-06 10:20 1277次阅读

    【机器视觉】欢创播报 | 百度智能云发布千帆大模型一体

    1 百度智能云发布千帆大模型一体机 编辑 ​ 4月9日上午,百度智能云GENERATE全球生态大会在成都召开。会上,百度智能云发布千帆大模型一体
    的头像 发表于 04-11 10:49 549次阅读
    【机器视觉】欢创播报 | <b class='flag-5'>百度</b>智能云发布千帆大模型<b class='flag-5'>一体</b>机

    百度搜索推出AI拜年新能力

    随着人工智能技术的迅猛发展,百度搜索始终站在技术前沿,致力于为用户提供更加智能化、便捷的服务。百度搜索重磅推出AI拜年新能力,在春节期间,让用户能够更加轻松地表达祝福、传递情感。
    的头像 发表于 02-05 10:54 6035次阅读

    百度搜索推出AI拜年新能力 AI春节仪式感拉满

    春节AI拜年新体验,百度搜索春节期间推出AI拜年大礼包!
    的头像 发表于 02-05 10:38 2.2w次阅读

    斩获「年度舱驾一体方案量产领军供应商」金球奖!百度Apollo领跑智能汽车时代

    近日,凭借在舱驾融合领域的先进技术实力和产品竞争力,百度Apollo斩获高工智能汽车「年度舱驾一体方案量产领军供应商」金球奖。 作为有着“智能汽车奥斯卡”之称的行业奖项,高工金球奖会根据技术、产品
    的头像 发表于 12-21 16:25 509次阅读
    斩获「年度舱驾<b class='flag-5'>一体</b><b class='flag-5'>方案</b>量产领军供应商」金球奖!<b class='flag-5'>百度</b>Apollo领跑智能汽车时代

    紫光展锐T820与百度完成I级兼容性测试 助推端侧AI融合创新

    的阶段性成果。 本次I级兼容性测试完成了计算机视觉技术领域3个模型的验证,经过双方联合严格测试,紫光展锐T820在MobileNet-V1、ResNet50、SSD-MobileNet-V1模型上的精度、速度等各方面表现满足要求,与百度
    的头像 发表于 12-14 16:35 374次阅读
    紫光展锐T820与<b class='flag-5'>百度</b><b class='flag-5'>飞</b><b class='flag-5'>桨</b>完成I级兼容性测试 助推端侧<b class='flag-5'>AI</b>融合创新

    灵动AI百度共拓生成式AI生态,共建行业营销解决方案

    2023年11月23日,“2023百度AI 营销大会”在上海举行,「灵动AI」成为首批共拓计划合作伙伴,与百度共同携手通过生成式
    的头像 发表于 11-29 11:57 832次阅读
    灵动<b class='flag-5'>AI</b>与<b class='flag-5'>百度</b>共拓生成式<b class='flag-5'>AI</b>生态,共建行业营销解决<b class='flag-5'>方案</b>