0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

骁龙888每秒26万亿次运算的第六代AI引擎能玩出什么新花样?

芯片晶圆切割保护膜 来源:芯片晶圆切割保护膜 作者:芯片晶圆切割保护 2020-12-30 16:47 次阅读

智能手机推动了AI的普及,AI美颜、AI夜景、AI语音助手等功能也让众多消费者感受到了AI的乐趣,雷锋网此前的文章《拯救拍照手残党,告别选择困难!手机AI还有这么多新奇玩法》曾介绍过。

动图主要展示效果,画质有压缩

随着手机AI引擎的快速提升,旗舰移动平台的AI体验也达到了新的高度。

以旗舰移动平台高通骁龙8系列为例,去年推出的骁龙865的AI性能已经达到了每秒15万亿次运算(15 TOPS),是骁龙855的2倍,相比骁龙845提升达5倍。本月最新推出的骁龙888,AI性能高达26 TOPS,同时每瓦特性能相比骁龙865提升了3倍。

手机需要高达26 TOPS的AI性能吗?这么高的AI算力能玩出什么新花样?

高通技术公司产品管理副总裁Ziad Asghar的答案是:“AI性能大幅提升的主要来自客户的需求,他们期待看到AI在新领域实现应用,比如视频、游戏、安全等。”

26 TOPS顶级AI性能让4K视频也能再创作

更高的AI性能自然要让拍照体验再上一个台阶,特别是骁龙888已经将双ISP升级为三ISP,Qualcomm Spectra 580 ISP就让智能手机的图像质量达到全新水平。

比如,在低环境光下,Spectra 580的速度结合骁龙888集成的第六代高通AI引擎,仅0.1Lux的照度,也拍摄出细节惊人的照片。以往,在近乎黑暗的场景下,即便找到可用的光源,保持手机稳定,拍摄的效果也未必理想,有了骁龙888的三ISP加上高性能AI,就能拍出清晰明亮的照片。

相比极端环境下的拍照,根据场景自动对焦、自动曝光和自动白平衡的3A算法日常使用的频率更高。同样是最新推出的高通第十代3A算法,首次融合了AI,能基于特征分析更快、更准的自动对焦和自动曝光。

更方便的是,虹软基于Spectra 580和第六代高通AI引擎推出的“傻瓜相机”,可以自动跟踪人物,自动缩放带来真正的“傻瓜相机”体验。

虹软“傻瓜相机”

能够让手机拍照如此智能的第六代高通AI引擎,非常关键的组成部分是Hexagon 780处理器。Hexagon 780延续了高通AI引擎标量、张量和向量加速器的异构架构,同时又进行了升级,让加速器之间的物理距离几乎消失。

不仅如此,高通还让三个加速器拥有了一个很大的共享内存,让数据可以更快、更高效的共享和移动。由此带来的是,在某些用例中,数据交互时效最多提高上千倍。

加速器间更小的物理距离和很大的共享内存,无论对AI性能提升还是降低功耗都非常有利。这是因为,在AI计算中,数据搬运的耗能远大于计算。而电池供电的手机对于用最少能耗实现最高性能有更迫切的需求。

Hexagon 780的标量加速器性能相比前代提升50%,张量加速器速度是前代的2倍。作为第六代AI引擎的一部分,最新的Adreno 660 GPU AI性能也提升了43%。另外,通过新的指令集,如4输入混合精度点积,以及波浪矩阵乘法,能够加快浮点运算。

最终,第六代高通AI引擎的性能大幅提升至26 TOPS,并且,每瓦特性能比前代提升3倍。这意味着,第六代高通AI引擎兼顾了高性能和低耗能。

26 TOPS的第六代高通AI引擎,在提升AI拍照体验之余,已经能够再创作4K视频。无论是从原始视频中删除一个任务、重建一个背景,还是将新的人物插入到视频场景中,一切看起来都很自然。

高通与Tetras.AI公司的合作,实现了以30fps的速度在每一帧画面中实时去除背景,分辨率最高可以达到4K。

借助Super Movie应用,无论是想和击剑冠军对抗,还是T台走秀都变得轻而易举,还能先预览再开始表演和录制。

传感器中枢让手机更智能

26 TOPS的AI性能能让4K视频的再创作也变得轻松,也能让游戏也变得更加流畅。但并非所有的AI功能都需要超强的AI性能,那些随时待命的AI功能,像语音助理,对性能的要求不高,但对功耗要求苛刻。

去年,骁龙865首次集成了传感器中枢,今年骁龙888的传感器中枢升级到第二代。高通第二代传感器中枢中集成的专用低功耗AI处理器性能提升达到5倍,但功耗不到1毫安。传感器中枢额外的AI性能可以分担Hexagon 780处理器80%的工作负载,满足各种AI性能需求应用的同时,兼顾低功耗。

一个很好的例子是,利用高通第二代传感器中枢,能够减少Hexagon处理器上“Ok,Google”侦测算法38%的负载。

高通第二代传感器中枢还是让手机更加智能的关键所在,因为新一代的传感器中枢可以从手机所有部分,包括麦克风等传感器以及连接功能实时收集数据,并创建情境感知的应用。

有两个例子,高通与Audio Analytic的合作让手机可以识别周围的声学场景,根据所处的环境调节铃声音量,这样从嘈杂的咖啡厅切换到安静的会议室就不会再出现尴尬的情况。

另一个例子是高通与Mobilize Solutions合作,让手机可以根据所处的位置,推荐适合特殊场景的社交媒体滤镜。

传感器中枢还有更多潜能,在没有信号的停车场通过手机追踪停车的位置,或者通过手机上的红外传感器检测皮肤状态获得合适的护肤品推荐都是很好的探索。高通第二代传感器中枢还可以结合5GWi-Fi蓝牙等新增的数据源,创造更多智能应用。

这就需要更加灵活和易用的软件。

手机AI创新的大时代到来

高通是首个将终端侧AI SDK推向市场的公司,高通的神经网络处理SDK已经在全球超过5亿台安卓终端上为AI功能提供支持。第六代高通神经网络处理SDK不仅支持更多模型,对搭载骁龙平台的笔记本的AI用例也实现了支持。

当然,为了让开发者能够轻松访问高通的AI引擎,高通与谷歌就最新的TensorFlow Micro框架合作,针对Hexagon处理器和高通传感器中枢进行优化,通过软件充分发挥第六代AI引擎的硬件优势。

不止于此,此前与骁龙865同时发布的Hexagon NN Direct可以让开发者从应用程序直接访问Hexagon,这种让AI应用充分利用硬件加速的做法受到广泛认可。

骁龙888时代,这个解决方案也升级为AI引擎Direct,为整个移动平台带来统一的Direct应用程序接口的能力。也就是说,高通AI引擎Direct软件为开发者提供的直接访问硬件的途径,不仅针对Hexagon 780处理器,还包括高通Adreno GPU和Kryo CPU

降低AI开发难度的同时,高通也在不断满足AI应用的定制化需求。去年,“用户定义算子”是第五代高通AI引擎的一部分,开发人员能够在OpenCL中或使用Hexagon软件开发包编写自定义算子,然后将其插入到高通神经网络处理SDK中。

但这对有经验的开发者也是一个复杂冗余的过程,为了更容易实现定制化,如今Hexagon处理器已经支持开源编译器TVM,可以用几行简短的Python代码编写自定义算子,为Hexagon编译,直接插入AI引擎Direct框架。

软件优化除了易用性和自定义,针对AI模型的优化也能带来显著提升。高通在去年公布了AI模型增效的成果,Snapchat使用这个AI模型增效工具包,量化一系列AI镜头模型,提高了人脸识别的准确性和性能。

今年,高通增加了更多支持以实现更好的网络量化,还增加了循环神经网络(RNN)和长短时记忆神经网络(LSTM)的支持,这有助于在保持准确性的同时最大限度提高功耗与性能的平衡。

高性能的硬件和灵活易用的软件都已经准备好,接下来AI创新的核心无疑是开发者。在AI生态的建设上,高通的态度也是开放,包括计划与开源社区在TVM编译器方面,以及在GitHub上开源AI模型增效工具包。

今年,高通也在中国举办了首届AI创新挑战赛。

原文标题:骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

文章出处:【微信公众号:芯片晶圆切割保护膜】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 高通
    +关注

    关注

    76

    文章

    7431

    浏览量

    190251
  • 智能手机
    +关注

    关注

    66

    文章

    18419

    浏览量

    179736
  • AI
    AI
    +关注

    关注

    87

    文章

    29872

    浏览量

    268170
  • 高通骁龙
    +关注

    关注

    7

    文章

    1227

    浏览量

    43212

原文标题:骁龙888每秒26万亿次运算的第六代AI引擎,玩出了什么新花样?

文章出处:【微信号:gh_639cc27d0014,微信公众号:芯片晶圆切割保护膜】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    联想推出第六代垂直液冷技术AI服务器

    在今日举办的联想2024年度全球创新盛会Tech World上,联想集团震撼发布了其第六代Neptune垂直液冷产品——ThinkSystem N1380 Neptune,这款产品专为生成式AI计算量身打造,再次彰显了联想在高性能计算和液冷技术领域的卓越实力与创新能力。
    的头像 发表于 10-16 17:15 559次阅读

    SK海力士开发出第六代10纳米级DDR5 DRAM

    SK海力士宣布了一项重大技术突破,成功开发出全球首款采用第六代10纳米级(1c)工艺的16Gb DDR5 DRAM。这一里程碑式的成就标志着SK海力士在半导体存储技术领域的领先地位。
    的头像 发表于 08-29 16:39 619次阅读

    商用清洁赛道,普渡清洁机器人如何玩出新花样?

    商用清洁赛道,普渡清洁机器人如何玩出新花样? 前言 每次技术革命,都将对传统模式带来颠覆性改变。 目前,我国产业结构正进入快速升级阶段,智能制造春潮涌动,各行各业正在经历一轮智能化转型升级的变革
    的头像 发表于 08-14 10:21 416次阅读

    百度携手江铃新能源推出第六代Robotaxi车型

    百度近日宣布,其自动驾驶出租车业务“萝卜快跑”正式推出第六代车型——颐驰06,这是百度Apollo与江铃新能源的联合力作。新车出厂价定为20.46万元,首批交付量高达1000辆。
    的头像 发表于 05-20 14:36 2733次阅读

    5G AI CPE和智能机器人登场 生成式AI向端侧设备下沉加速

    的 M4 芯片拥有专用于 AI 工作负载的神经引擎(NPU),采用 16 核设计,每秒可提供 38 万亿操作。   5月13日晚,国内手机
    的头像 发表于 05-17 00:03 2922次阅读
    5G <b class='flag-5'>AI</b> CPE和智能机器人登场  生成式<b class='flag-5'>AI</b>向端侧设备下沉加速

    谷歌发布第六代TPU芯片Trillium,挑战GPT-4o

    分析人士认为,谷歌积极推进自主研发芯片,按照其规划,第七和第八产品将分别与联发科、世芯合作生产。此次第六代TPU的推出,有望引领CSP(云端服务提供商)厂商投入自研芯片领域。
    的头像 发表于 05-16 18:05 1331次阅读

    百度Apollo推出第六代无人车颐驰06,定价为20.46万元,萝卜快跑

     据悉,颐驰 06 搭载了百度 Apollo 第六代智能化系统解决方案,配备了 7 类共 40 个传感器,计算平台算力高达 1200 Tops,且具备全方位安全冗余功能。
    的头像 发表于 05-15 11:39 914次阅读

    谷歌将推出第六代数据中心AI芯片Trillium TPU

    在今日举行的I/O 2024开发者大会上,谷歌公司震撼发布了其第六代数据中心AI芯片——Trillium Tensor处理器单元(TPU)。据谷歌首席执行官皮查伊透露,这款新型TPU预计在年内交付,届时将带来前所未有的计算性能飞跃。
    的头像 发表于 05-15 11:18 581次阅读

    高通推出第三7+移动平台

    在科技日新月异的今天,高通技术公司再度引领行业风向标,正式推出备受瞩目的第三7+移动平台。此次更新不仅将终端侧生成式AI技术首次引入
    的头像 发表于 03-25 10:23 1203次阅读

    高通推出迄今为止最强大的7系移动平台—第三®7+移动平台

    高通技术公司今日宣布推出第三®7+移动平台,将终端侧生成式AI引入7系。
    的头像 发表于 03-22 10:38 1812次阅读

    为什么说第三8s恰逢其时?

    日前,高通举办新品发布会,推出了8旗舰移动平台诞生以来的第一款新生旗舰平台:第三8s
    的头像 发表于 03-21 21:04 2795次阅读
    为什么说第三<b class='flag-5'>代</b><b class='flag-5'>骁</b><b class='flag-5'>龙</b>8s恰逢其时?

    X Elite处理器在AI生成图片性能超群,英特尔亦被超越

    高通公司称,该款处理器内置AI协处理器(NPU),性能达到惊人的45 TOPS(每秒万亿运算)。视频通过实例对比英特尔酷睿 Ultra 7
    的头像 发表于 02-28 14:09 710次阅读

    OpenAI发布首个文生视频模型Sora

    开发出热门聊天机器人ChatGPT后,OpenAI继续在生成式人工智能上玩出新花样
    的头像 发表于 02-19 13:56 969次阅读

    小马智行第六代自动驾驶车型在京开启全无人载客测试

    小马智行近日宣布,其搭载第六代L4自动驾驶软硬件系统的丰田赛那自动驾驶乘用车(Robotaxi)已经获得在北京进行“车内无人,车外远程”自动驾驶载人示范应用的许可。这一里程碑式的进展标志着小马智行在自动驾驶技术领域的持续突破和领先地位。
    的头像 发表于 02-18 11:12 758次阅读

    一款单芯片UWB IC,让汽车超宽带应用玩出新花样

    恩智浦官网精彩导览 NCJ29D6单芯片UWB 下一的汽车UWB解决方案会是什么样?从恩智浦新近推出的Trimension NCJ29D6超宽带IC身上,你一定能够找到答案。这个完全集成的汽车单
    的头像 发表于 12-15 16:25 940次阅读
    一款单芯片UWB IC,让汽车超宽带应用<b class='flag-5'>玩出新花样</b>!