0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Google AI定义机器学习 DNNs实现实时运行

电子工程师 来源:fqj 2019-05-15 11:08 次阅读

在YouOnly PropagateOnce(YOPO)的算法中,研究人员开发了出一种加速对抗训练的有效策略。他们将神经网络的对抗训练重新组织为差异化游戏,并为其开发了庞特里亚金(Pontryagin)的极大原则。

通过最大原理,他们发现对抗层只与第一层的权重相结合,这有助于将对抗层更新从反向传播梯度计算中分离出来。

Google AI定义机器学习 DNNs实现实时运行

这样做,YOPO避免了访问梯度所需的次数,这显著减少了计算时间。为了证明其有效性,研究人员在MNIST和CIFAR10上进行了实验,并发现使用YOPO训练的模型与PGD对抗训练的模型在清洁数据和对抗扰动数据上具有相似的表现,但YOPO训练的模型具有更优秀的性能和较低的计算成本。

YOPO让人联想到YOLO,但与YOLO不同的是,YOPO算法是解决庞特里亚金极大原理的一种方法。庞特里亚金的极大原理具有很大的潜力,因为它可以启发各种算法的设计,从而分解对抗更新和数据反向传播。

我们希望YOPO能够为强大的ML应用程序修复对抗性示例。

如果你发现了对抗性示例,恭喜你,从现在开始它们不再是bug

与传统观点相反,一群学者最近发表了一种关于对抗性示例现象的新观点。根据他们的说法,对抗性的示例自然地来自于标准机器学习数据集中的高度预测但非鲁棒的特征。

他们证明了对抗性的示例可以直接归因于非鲁棒特征的存在。非鲁棒特征意为从数据分布的模式中得到的具有高度预测性的特征,但这对人类来说是脆弱和难以理解的。

他们将对抗脆弱性作为主导监督学习范式的主要结果,这表明:对抗脆弱性是我们模型对数据中良好概括特征的敏感性的直接结果。

Google AI定义机器学习 DNNs实现实时运行

他们通过明确地解释标准数据集中鲁棒的和非鲁棒的特征,为他们的假设提供了支持。此外,他们表明单独的非强大功能对于良好的推广是令人满意的。

本研究论文中的研究结果似乎得出结论,只有在采用鲁棒训练时,分类器才能学习完全准确且完全稳健的决策边界。因此,鉴于这些元素存在于真实世界的数据集中,分类器利用在人类选择的相似概念下恰好是非鲁棒的高度预测特征应该不足为奇。

此外,从可解释性的角度来看,只要模型依赖于非鲁棒特征,就不可能期望模型解释既对人类有意义又完全依据模型。为了获得可解释和强大的模型,需要人类进行先验后,再进行模型训练。

下一代MobileNetV3定义

2017年,GoogleAI宣布发布了MobileNets,这种计算机视觉模型旨在于考虑设备或嵌入式应用程序资源受限的情况下,有效并最大限度地提高准确性。现在,研究人员发布了MobileNetV3,它代表了基于互补搜索技术和新架构设计相结合的下一代MobileNets。

Google AI定义机器学习 DNNs实现实时运行

MobileNetV3通过结合使用NetAdapt算法补充的硬件感知网络架构搜索(NAS)调整到移动电话CPU,然后通过尖端架构改进进行性能提升。

在此过程之后,研究人员创建了两个新的MobileNet模型:MobileNetV3-Large和MobileNetV3-Small,分别针对高资源和低资源的使用情况。然后对模型进行调整并应用于对象检测和语义分割任务。

MobileNetV3的大型和小型模型将使研究人员能够继续进步,从而提供下一代高度精确的网络模型,这将促进设备端计算机视觉的进步。

半监督学习的整体性方案

半监督式学习已经证明,它是利用未标记的数据来减轻机器学习对大型标记数据集依赖的一种强有力的方法。谷歌的一组研究人员已经通过对目前领先的半监督学习方法的整合而提出了一种新的算法,即MixMatch.新算法的工作原理是通过猜测新增未标记数据的低熵标签并通过MixUp混合已标记和未标记数据.

Google AI定义机器学习 DNNs实现实时运行

评估显示,MixMatch在许多数据集和标记的数据量等方面极大地显示了其优越性.例如,在有250个标签的CIFAR-10,STL-10的系数为2的情况下上,错误率从38%下降到了11%

MixMatch展现出其相对于传统方法的优越性.这一研究更有价值的一点在于对半监督学习文献和相关混合方法研究的进一步整合,这讲促进对大幅提高算法效率因素的探索。

目前,MixMatch可以帮助我们实现更好的差别隐私交易中的准确性和私密性。

针对神经网络的对抗式再编程

在近期的研究中,谷歌研究员尝试了一个具有挑战性的目标:在不提供攻击者对既定目标期望输出的条件下,重新编程来模拟攻击者选择的任务。

研究人员发现,经过训练的神经网络可以被重新编程来分类排列的图像,这些图像不保留任何原始的空间结构,这表明跨领域重新编程是可能的。他们还发现,经过训练的神经网络比随机系统更容易受到对抗式重新编程的影响,即使在数据结构与主要任务中的数据结构差异很大的情况下,重新编程仍然是成功的。

这就是对图像领域中的分类任务进行对抗式重新编程的演示。类似的攻击在音频视频、文本或其他方面能成功吗?以RNNs的对抗式重新编程为例——攻击者只需要在RNN中找到用于执行简单操作的输入,就可以重新编程模型来执行任何计算任务。

如果一个特别设计的输入可以重构整个机器学习系统,攻击者将会达到难以预料的可怕效果。例如,攻击者很容易窃取计算资源或执行违反云服务编程的任务。所有这一切都表明了对抗式重新编程可能给人工智能系统带来的潜在威胁。

随着人工智能的不断发展,认识到技术的进步可能带来的潜在挑战,并努力找到减轻或抵御这些挑战的可能方法,对人工智能的未来十分重要。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1789

    文章

    46570

    浏览量

    236890

原文标题:Google AI再定义设备端机器学习,DNNs智能手机端实现实时运行 | AI一周学术

文章出处:【微信号:BigDataDigest,微信公众号:大数据文摘】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    AI干货补给站 | 深度学习机器视觉的融合探索

    ,帮助从业者积累行业知识,推动工业视觉应用的快速落地。本期亮点预告本期将以“深度学习机器视觉的融合探索”为主题,通过讲解深度学习定义、传统机器视觉与深度
    的头像 发表于 10-29 08:04 139次阅读
    <b class='flag-5'>AI</b>干货补给站 | 深度<b class='flag-5'>学习</b>与<b class='flag-5'>机器</b>视觉的融合探索

    AI大模型与深度学习的关系

    AI大模型与深度学习之间存在着密不可分的关系,它们互为促进,相辅相成。以下是对两者关系的介绍: 一、深度学习AI大模型的基础 技术支撑 :深度学习
    的头像 发表于 10-23 15:25 275次阅读

    AI大模型与传统机器学习的区别

    AI大模型与传统机器学习在多个方面存在显著的区别。以下是对这些区别的介绍: 一、模型规模与复杂度 AI大模型 :通常包含数十亿甚至数万亿的参数,模型大小可以达到数百GB甚至更大。这些模
    的头像 发表于 10-23 15:01 261次阅读

    RISC-V如何支持不同的AI机器学习框架和库?

    RISC-V如何支持不同的AI机器学习框架和库?还请坛友们多多指教一下。
    发表于 10-10 22:24

    PCIe实时运动控制卡的双盘视觉筛选机上位机开发应用

    PCIe实时运动控制卡的双盘视觉筛选机上位机开发应用
    的头像 发表于 10-10 10:15 180次阅读
    PCIe<b class='flag-5'>实时运</b>动控制卡的双盘视觉筛选机上位机开发应用

    AI引擎机器学习阵列指南

    AMD Versal AI Core 系列和 Versal AI Edge 系列旨在凭借 AI 引擎机器学习 ( ML ) 架构来提供突破性
    的头像 发表于 09-18 09:16 275次阅读
    <b class='flag-5'>AI</b>引擎<b class='flag-5'>机器</b><b class='flag-5'>学习</b>阵列指南

    【《时间序列与机器学习》阅读体验】+ 时间序列的信息提取

    之前对《时间序列与机器学习》一书进行了整体浏览,并且非常轻松愉快的完成了第一章的学习,今天开始学习第二章“时间序列的信息提取”。 先粗略的翻阅第二章,内容复杂,充斥了大量的
    发表于 08-14 18:00

    生成式AI定义和特征

    行为,生成全新的、具有实际意义的数据或内容。这种技术已经在自然语言处理、图像生成、音频合成等多个领域展现出巨大的潜力和应用价值。本文将详细探讨生成式AI定义、特征类,并通过代码示例展示其在实际应用中的实现
    的头像 发表于 07-05 17:33 784次阅读

    Al大模型机器

    丰富的知识储备。它们可以涵盖各种领域的知识,并能够回答相关问题。灵活性与通用性: AI大模型机器人具有很强的灵活性和通用性,能够处理各种类型的任务和问题。持续学习和改进: 这些模型可以通过持续的训练
    发表于 07-05 08:52

    人工智能、机器学习和深度学习是什么

    在科技日新月异的今天,人工智能(Artificial Intelligence, AI)、机器学习(Machine Learning, ML)和深度学习(Deep Learning,
    的头像 发表于 07-03 18:22 983次阅读

    Google Gemma优化后可在NVIDIA GPU上运行

    2024 年 2 月 21 日,NVIDIA 携手 Google 在所有 NVIDIA AI 平台上发布面向 Gemma 的优化功能,Gemma 是 Google 最先进的新型轻量级 2B 和 7B 开放语言模型,可在任何地方
    的头像 发表于 02-25 11:01 422次阅读

    AI算法的本质是模拟人类智能,让机器实现智能化

    视觉等领域。   AI 算法的核心是实现智能化的决策和行为   AI算法的本质在于模拟人类智能的能力,让计算机能够对现实世界进行模拟和模仿,从而达到智能化的目的。具体来说,
    的头像 发表于 02-07 00:07 5487次阅读

    ROS机器人如何使用Navigation导航包实现实时定位

    本篇文章主要分析,常规的ROS机器人是如何使用Navigation导航包实现实时定位的,定位精度的决定性因素等内容,结构上分为详细介绍、概括总结、深入思考三大部分。
    的头像 发表于 12-03 11:00 2611次阅读
    ROS<b class='flag-5'>机器</b>人如何使用Navigation导航包<b class='flag-5'>实现实时</b>定位

    PLC灯控系统如何实现实时监控与及时运

    随着工业化高速发展,能源问题越来越受到人们的关注。校园照明的能耗占据学校成本的大头,各个教学楼、道路、住宿楼及景观都需要照明设备,以满足日常生活运行及娱乐的需求。 科学技术的发展对建设智慧节能校园
    的头像 发表于 12-01 16:29 251次阅读

    Google的第五代TPU,推理性能提升2.5倍

     Gridspace 机器学习主管Wonkyum Lee表示:“我们的速度基准测试表明,在 Google Cloud TPU v5e 上训练和运行时,
    发表于 11-24 10:27 540次阅读
    <b class='flag-5'>Google</b>的第五代TPU,推理性能提升2.5倍