0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Google发布新API,支持训练更小更快的AI模型

独爱72H 来源:雷锋网 作者:佚名 2020-04-09 21:55 次阅读

(文章来源:雷锋网)
Google发布了 Quantification Aware Training(QAT)API,使开发人员可以利用量化的优势来训练和部署模型AI模型。通过这个API,可以将输入值从大集合映射到较小集合的输出,同时,保持接近原始状态的准确性。

新的API的目标是支持开发更小、更快、更高效的机器学习(ML)模型,这些模型非常适合在现有的设备上运行,例如那些计算资源非常宝贵的中小型企业环境中的设备。

通常,从较高精度到较低精度的过程有很多噪声。因为量化把小范围的浮点数压缩为固定数量的信息存储区中,这导致信息损失,类似于将小数值表示为整数时的舍入误差(例如,在范围[2.0,2.3]中的所有值都可以在相同的存储中表示。)。问题在于,当在多个计算中使用有损数时,精度损失就会累积,这就需要为下一次计算重新标度。

谷歌新发布的QAT API通过在AI模型训练过程中模拟低精度计算来解决此问题。在整个训练过程中,将量化误差作为噪声引入,QAT API的算法会尝试将误差最小化,以便它学习这个过程中的变量,让量化有更强的鲁棒性。训练图是利用了将浮点对象转换为低精度值,然后再将低精度值转换回浮点的操作,从而确保了在计算中引入了量化损失,并确保了进一步的计算也可以模拟低精度。

谷歌在报告中给出的测试结果显示,在开源Imagenet数据集的图像分类模型(MobilenetV1 224)上进行测试,结果显示未经量化的精度为71.03%,量化后的精度达到了71.06%。

Google发布新API,支持训练更小更快的AI模型

针对相同数据集测试的另一种分类模型(Nasnet-Mobile)中测试,在量化后仅有1%的精度损失(74%至73%)。除了模拟精度降低的计算外,QAT API还负责记录必要的统计信息,以量化训练整个模型或模型的一部分。比如,这可以使开发人员能够通过调用模型训练API将模型转换为量化的TensorFlow Lite模型。或者,开发人员可以在模拟量化如何影响不同硬件后端的准确性的同时尝试各种量化策略。

Google发布新API,支持训练更小更快的AI模型

Google表示,在默认情况下,作为TensorFlow模型优化工具包一部分的QAT API配置为与TensorFlow Lite中提供的量化执行支持一起使用,TensorFlow Lite是Google的工具集,旨在将其TensorFlow机器学习框架上构建的模型能够适应于移动设备,嵌入式物联网设备。“我们很高兴看到QAT API如何进一步使TensorFlow用户在其支持TensorFlow Lite的产品中突破有效执行的界限,以及它如何为研究新的量化算法和进一步开发具有不同精度特性的新硬件平台打开大门”,Google在博客中写道。

QAT API的正式发布是在TensorFlow Dev Summit上,也是在发布了用于训练量子模型的机器学习框架TensorFlow Quantum之后发布。谷歌也在会议的会话中预览了QAT API。
(责任编辑:fqj)

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 谷歌
    +关注

    关注

    27

    文章

    6142

    浏览量

    105110
  • API
    API
    +关注

    关注

    2

    文章

    1486

    浏览量

    61820
收藏 人收藏

    评论

    相关推荐

    在设备上利用AI Edge Torch生成式API部署自定义大语言模型

    MediaPipe LLM Inference API 让开发者们能够将一些最受欢迎的 LLM 部署到设备上。现在,我们很高兴能进一步拓展对模型支持范围,并让大家部署到设备,而且具备优秀的性能表现。今天
    的头像 发表于 11-14 10:23 341次阅读
    在设备上利用<b class='flag-5'>AI</b> Edge Torch生成式<b class='flag-5'>API</b>部署自定义大语言<b class='flag-5'>模型</b>

    Google AI Edge Torch的特性详解

    我们很高兴地发布 Google AI Edge Torch,可将 PyTorch 编写的模型直接转换成 TFLite 格式 (.tflite),且有着优异的
    的头像 发表于 11-06 10:48 247次阅读
    <b class='flag-5'>Google</b> <b class='flag-5'>AI</b> Edge Torch的特性详解

    为什么ai模型训练要用gpu

    GPU凭借其强大的并行处理能力和高效的内存系统,已成为AI模型训练不可或缺的重要工具。
    的头像 发表于 10-24 09:39 194次阅读

    AI模型训练数据来源分析

    AI模型训练数据来源广泛且多元化,这些数据源对于构建和优化AI模型至关重要。以下是对AI
    的头像 发表于 10-23 15:32 376次阅读

    如何训练自己的AI模型

    训练自己的AI模型是一个复杂且耗时的过程,涉及多个关键步骤。以下是一个详细的训练流程: 一、明确需求和目标 首先,需要明确自己的需求和目标。不同的任务和应用领域需要不同类型的
    的头像 发表于 10-23 15:07 619次阅读

    如何训练ai模型

    训练AI模型是一个复杂且耗时的过程,涉及多个关键步骤和细致的考量。 一、数据准备 1. 数据收集 确定数据类型 :根据模型的应用场景,确定需要收集的数据类型,如文本、图像、音频等。
    的头像 发表于 10-17 18:17 667次阅读

    ai模型训练需要什么配置

    AI模型训练是一个复杂且资源密集的过程,它依赖于高性能的硬件配置来确保训练的效率和效果。 一、处理器(CPU) CPU是计算机的核心部件,负责处理各种计算任务。在
    的头像 发表于 10-17 18:10 872次阅读

    ai模型训练方法有哪些?

    AI模型训练方法是一个复杂且不断发展的领域。以下是ai模型训练方法: 数据预处理和增强 数据
    的头像 发表于 07-16 10:11 1353次阅读

    ai模型ai框架的关系是什么

    的数据和计算资源来进行训练AI模型的主要特点包括: 1.1 参数数量大:AI模型的参数数量通常在数百万到数十亿之间,这使得它们能够捕捉
    的头像 发表于 07-16 10:07 4w次阅读

    ai模型和传统ai的区别在哪?

    AI模型和传统AI的区别主要体现在以下几个方面: 数据量和训练规模 AI模型通常需要大量的数
    的头像 发表于 07-16 10:06 1195次阅读

    【大语言模型:原理与工程实践】大语言模型的预训练

    数据格式的转换、数据字段的匹配和整合等。通过数据级净化,可以进一步提高数据的质量和可用性,为后续的数据分析和建模提供更有价值的数据支持。 在得到了大语言模型的数据之后,就是对其进行预训练。大圆
    发表于 05-07 17:10

    零一万物正式发布Yi大模型API开放平台

    近日,零一万物正式发布Yi大模型API开放平台,为开发者提供通用Chat、200k超长上下文、多模态交互等模型
    的头像 发表于 03-17 09:55 1146次阅读

    谷歌发布新的AI SDK,简化Gemini模型与Android应用程序的集成

    对于 Android 应用程序,Google 提供了 Google AI Client SDK for Android,它将 Gemini REST API 封装为惯用的 Kotlin
    的头像 发表于 01-03 16:29 906次阅读

    【飞腾派4G版免费试用】仙女姐姐的嵌入式实验室之五~LLaMA.cpp及3B“小模型”OpenBuddy-StableLM-3B

    ,根据LLaMA官方的介绍,要想运行该模型需要30GB左右显存的显卡支持,这是边缘终端甚至个人电脑难以做到的,后来,GitHub上的一位开发者ggerganov发布了llama.cpp项目,该项
    发表于 12-22 10:18

    Google Cloud 推出 TPU v5p 和 AI Hypercomputer: 支持下一代 AI 工作负载

    生成式 AI 模型正在迅速发展,提供了前所未有的精密性和功能。这项技术进展得以让各行各业的企业和开发人员能够解决复杂的问题,开启新的机遇之门。然而,生成式 AI 模型的增长也导致
    的头像 发表于 12-13 16:05 548次阅读
    <b class='flag-5'>Google</b> Cloud 推出 TPU v5p 和 <b class='flag-5'>AI</b> Hypercomputer: <b class='flag-5'>支持</b>下一代 <b class='flag-5'>AI</b> 工作负载