0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI边缘计算机应用场景广泛!大语言模型与数字人结合方案在边缘侧落地

Carol Li 来源:电子发烧友网 作者:李弯弯 2024-01-16 01:11 次阅读

电子发烧友网报道(文/李弯弯)AI边缘计算机是一种人工智能和边缘计算技术相结合的计算机设备。它可以在本地设备上运行AI模型,实现对设备数据的实时分析和响应,从而减少数据传输到云端的延迟和成本。

当下,AI在边缘侧的部署正在成为趋势,包括近年来备受瞩目的大语言模型,在边缘侧的应用也是业界探索的焦点,AI边缘计算机在这中间扮演着重要角色。为此,电子发烧友近日采访到图为科技华东区域经理吴朗,探讨了AI边缘计算机的应用现状及前景等话题

AI边缘计算机应用场景多样,前景好

AI边缘计算机由处理器、存储器、输入/输出接口电源、散热系统、嵌入式操作系统、AI模型和算法等结构组成。处理器是AI边缘计算机的核心部分,负责执行指令和处理数据。
AI边缘计算机的核心是AI模型和算法,用于实现各种智能化的应用。

图为科技是一家AI边缘计算设备运营服务商,专注边缘计算设备的研发、生产、销售、运维等工作。其基于NVIDIAJetson系列核心模块所设计的AI边缘计算盒子,已广泛应用于机器视觉检测、人脸识别、行为识别、智能机器人、智能无人机、自动驾驶、智能安防等领域。

吴朗告诉电子发烧友:“图为科技的AI边缘计算设备主要是基于ARM架构的方案。其中,大多是基于英伟达Jetson系列核心模块设计,也有少数基于华为昇腾和瑞芯微的方案。”图为科技的边缘计算机涵盖了从最低0.5TOPS算力到最高275TOPS算力的各种产品,能满足多场景不同算力的需求,便于客户拓展AI方案及部署工作。

据他介绍,AI边缘计算机的应用非常广泛,目前在安防领域应用最多,另外,在医疗、车载、交通等领域也有非常多很好的应用场景。比如在医疗领域的影像分析,他们之前有个做眼睛诊疗仪的客户,就需要用到这种AI边缘计算盒子,通过深度学习算法,来辅助拍摄一些图像做实时分析。

在车载领域,目前图为科技的产品可以用于低速无人驾驶,比如,无人清扫车、园区接驳车、各种巡检小车等。吴朗介绍说:“这种AI边缘计算盒子在车载、交通领域的应用场景很多,现在智慧交通是趋势,车路协同、全息路口以及高速上一些车联网场景都用得上。”

不过不同场景技术路线不一样,对设备的要求也有所不同。比如,安防领域主要需要的是视频分析,基本上是纯视觉。而车载领域,有视觉也有雷视融合,包括激光雷达、毫米波雷达、超声波雷达等。它们需要的算力、资源、软硬件平台等都不一样。一般而言,安防场景的算力需求很多在20到30TOPS,而车载场景很多时候需要100TOPS,甚至200TOPS以上。

在车载场景,英伟达的Jetson系列会更有优势,无论是算力还是生态上。英伟达的模块算力会更高,而且它跟上下游厂商的配套更多,比如跟奥比中光、森云智能等厂商的相机产品都有适配。因此,图为科技基于英伟达Jetson系列的设备能够满足更多场景的不同需求。

在吴朗看来,AI计算边缘盒子可以应用的行业和形态很多,市场整体体量很大。不过相比较而言,目前基于X86架构的设备存在的时间比较久,应用也比较多。基于Arm架构这种方式的AI边缘计算机近几年才开始火起来,目前体量不是很大,不过前景会非常好。

大模型与数字人结合在医疗领域成功落地

近年来,大模型技术的研究进展备受关注,同时,业界也在积极探索大语言模型在边缘侧的部署。图为科技在这方面也有研究,并已经有方案成功交付。

据吴朗介绍,图为科技有好几款大模型一体机,算力包括40TOPS、100TOPS和200TOPS,这些一体机可以运行70亿和130亿参数规模的大模型。图为科技可以用百川智能、智谱AI、通亿千问等的开源大模型,自己进行移植适配。

目前图为科技正在推进的大模型一体机应用项目很多,其在某医院的应用方案已经成功交付。这是一个什么样的场景呢?吴朗介绍说,因为就诊的人数比较多,这家医院妇产科门诊接诊压力比较大,他们希望通过AI做一个预诊的方案。

图为科技将大模型一体机与数字人技术结合,做了一个交互式对话方案。这样,患者到医院之后,可以跟显示屏承载的数字人交互式对话,帮助医生过滤掉一些问题。

吴朗进一步介绍:“患者在妇产科需要询问的问题,基本上医院都有对应的数据。公司为其部署上AI大语言模型,基本上之后患者问什么问题,这个数字人都可以回答。回答完之后可以直接生成电子病历,提交给医生。这样可以大大提高效率。”

图为科技这个方案基于通义千问进行训练。去年8月,阿里宣布其自研的大模型通义千问正式开源。只要有数据集,企业基本上可以基于这些开源的大模型训练适合自己场景的大模型。

近几年,数字人的概念及应用也是异常火热,其中在直播领域的应用最多,另外医院、银行等也使用数字人来做虚拟客服。不过,虽然入局者众多、应用也不少,然而过往,数字人仍然存在表情僵硬、语言呆板、交互能力不强等问题。

2023年以来,大语言模型席卷全球,将大模型与数字人技术结合也成为不少企业争先探索的方向,接入大模型的数字人能够很好的改善之前数字人存在的问题。从图为科技这个案例来看,大模型接入数字人的应用也在逐步落地。

写在最后

无论是AI还是近年来兴起的大语言模型,如果要实现规模化商用,在边缘侧部署是关键。AI边缘计算机在这其中承载着极其重要的责任。同时,相比于传统X86架构,ARM架构具有低能耗、低成本、高性能等优势,如此看来基于ARM架构的AI边缘计算机前景可观。不过当前ARM架构也还面临移植适配、软件生态不够好等问题,后续发展仍需业界一起努力。



声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30763

    浏览量

    268907
  • 边缘计算
    +关注

    关注

    22

    文章

    3085

    浏览量

    48903
  • 数字人
    +关注

    关注

    0

    文章

    127

    浏览量

    2028
  • 大模型
    +关注

    关注

    2

    文章

    2427

    浏览量

    2648
收藏 人收藏

    评论

    相关推荐

    AI模型部署边缘设备的奇妙之旅:目标检测模型

    通道数时表现更好。 2.3 神经网络的相关知识点 2.3.1 卷积的基本概念 卷积是一种数学运算,计算机视觉中被广泛应用于特征提取。它通过一个小型矩阵(称为卷积核或滤波器)与输入图像的局部区域进行
    发表于 12-19 14:33

    AI模型部署边缘设备的奇妙之旅:如何在边缘端部署OpenCV

    的算法和模型来解析图像的意义。 实际应用中,这两者往往是紧密结合的,共同作用于解决复杂的问题。例如,一个自动驾驶系统中,图像处理可能会用于清理传感器输入的数据,而
    发表于 12-14 09:31

    探索工业计算机的多元应用场景

    应用于生产线监控、数据采集、设备控制等多个场景。本文将探讨工业计算机不同领域中的多元应用场景,分析其重要性及未来发展趋势。一、制造业中的应用制造业是工业
    的头像 发表于 10-08 15:14 252次阅读
    探索工业<b class='flag-5'>计算机</b>的多元应<b class='flag-5'>用场景</b>

    云天励飞边缘AI推动大模型规模化应用落地

    2024年毫无疑问是大模型应用落地元年,面对灵活多变的任务和复杂的场景环境,用边缘AI打造低成本、高效能、强
    的头像 发表于 09-18 14:59 411次阅读

    华邦电子为边缘设备打造生成式AI性能

    以大模型为基础的云端 AI 广泛赋能各行各业后,边缘设备对于 AI 也释放出巨大需求,
    的头像 发表于 08-19 16:14 594次阅读

    广和通端AI解决方案荣膺MWCS 2024边缘AI计算最佳创新奖

    近日举行的2024世界移动通信大会·上海(MWCS 2024)上,广和通凭借其卓越的端AI解决方案荣获2024信息通信业“新质推荐”——边缘
    的头像 发表于 06-28 15:44 747次阅读

    边缘AI实现性能和功耗的平衡,英飞凌新一代PSOC™ Edge MCU如何做到?

    电子发烧友网报道(文/吴子鹏)传统AI的使用场景有一定局限性,难以面对实际应用场景的多样化,基于云端算力的AI模型对特定
    的头像 发表于 06-26 00:14 5490次阅读
    让<b class='flag-5'>边缘</b><b class='flag-5'>AI</b>实现性能和功耗的平衡,英飞凌新一代PSOC™ Edge MCU如何做到?

    边缘计算网关是什么?有什么应用场景

    数据传输所需的时间,提高响应速度,并减轻核心网络和数据中心的负载。 边缘计算网关的应用场景广泛,主要包括以下几个方面: 1. 工业物联网(IIoT):
    的头像 发表于 06-05 13:54 689次阅读
    <b class='flag-5'>边缘</b><b class='flag-5'>计算</b>网关是什么?有什么应<b class='flag-5'>用场景</b>

    ai边缘盒子有哪些用途?ai视频分析边缘计算盒子详解

    近年来,随着人工智能和边缘计算的发展,一种名为AI边缘盒子的新型设备正逐渐引起广泛关注。作为一种集成了
    的头像 发表于 05-29 14:24 971次阅读
    <b class='flag-5'>ai</b><b class='flag-5'>边缘</b>盒子有哪些用途?<b class='flag-5'>ai</b>视频分析<b class='flag-5'>边缘</b><b class='flag-5'>计算</b>盒子详解

    支持大模型部署和运行的边缘计算SoC芯片

    电子发烧友网报道(文/李弯弯)如今,AI边缘的应用越来越广泛,这其中少不了AI SoC芯片的
    的头像 发表于 05-27 08:00 3403次阅读

    边缘AI芯片提供商超星未来完成数亿元 Pre-B轮融资

    AI产业生态中,计算芯片被视为行业的“卖水”。依据云端/边缘端、训练/推理两大分类标准,AI
    的头像 发表于 05-09 09:38 562次阅读

    纯硅振荡器兼容SiTime边缘计算机中的应用

    纯硅振荡器兼容SiTime边缘计算机中的应用
    的头像 发表于 04-29 10:09 337次阅读
    纯硅振荡器兼容SiTime<b class='flag-5'>在</b><b class='flag-5'>边缘</b><b class='flag-5'>计算机</b>中的应用

    NanoEdge AI的技术原理、应用场景及优势

    能耗并提高数据安全性。本文将对 NanoEdge AI 的技术原理、应用场景以及优势进行综述。 1、技术原理 NanoEdge AI 的核心技术包括边缘
    发表于 03-12 08:09

    什么是AI边缘计算AI边缘计算的特点和优势介绍

    随着人工智能的迅猛发展,AI边缘计算成为了热门话题。那么什么是AI边缘计算呢?简单来说,它是将人
    的头像 发表于 02-01 11:42 883次阅读

    边缘计算的应用场景介绍(边缘计算在哪些领域能得到应用)

    边缘计算是世界上的一项备受关注的新兴技术,并且近年来迅速崛起得到了很多应用。边缘计算是什么?就是通过将
    的头像 发表于 02-01 10:47 1075次阅读
    <b class='flag-5'>边缘</b><b class='flag-5'>计算</b>的应<b class='flag-5'>用场景</b>介绍(<b class='flag-5'>边缘</b><b class='flag-5'>计算</b>在哪些领域能得到应用)