0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

用新的机器学习思考方式 来辨别自然异常与人为误导

工程师邓生 来源:科技行者 作者:佚名 2020-11-25 14:39 次阅读

深度神经网络是一种使用数学模型处理图像以及其他数据的多层系统,而且目前已经发展为人工智能的重要基石。

深度神经网络得出的结果看似复杂,但同样有可能受到误导。而这样的误导轻则致使其将一种动物错误识别为另一种动物,重则在自动驾驶汽车上将停车标志误解为正常前进。

休斯敦大学的一位哲学家在发表于《自然机器智能》上的一篇论文中提到,关于这些假想问题背后的普遍假设,在于误导性信息可能给这类网络的可靠性造成严重影响。

随着机器学习以及其他形式的人工智能越来越深入渗透至社会,其用途也开始涵盖从ATM机到网络安全系统的广泛领域。哲学系副教授Cameron Buckner表示,正是这种普及,让了解明显错误的来源变得无比重要。研究人员们将这类信息称为“对抗性示例”,指当深度神经网络在学习过程中遇到训练输入之外的其他信息时,则很有可能总结出错误的结论、最终引发图像或数据误判。之所以被表述为“对抗性”,是因为这样的问题往往只能由另一机器学习网络所产生或发现。作为机器学习领域中的一种前沿技术,对抗双方将不断升级自身能力,以更复杂的方法尝试实现干扰与反干扰。

Buckner提到,“但这种对抗有时候可能源自人为误导,因此要想更好地了解神经网络的可靠性,我们必须对误导问题做出深入研究。”

换言之,这种误导结果很可能源自网络需要处理的内容、与所涉及的实际模式之间的某种相互作用所引发。这与传统意义上的误导,似乎还不完全是同一种概念。

Buckner写道,“理解对抗性整合的含义,可能需要探索第三种可能性:其中至少有一部分模式属于人为创造。因此,目前的难题在于,直接丢弃这些模式可能有损模型学习,但直接使用则具有潜在风险。”

引发机器学习系统错误的对抗性事件除了无心而发,更可能是有意为之。Buckner认为这才是更严重的风险,“意味着恶意攻击者可能会欺骗某些本应可靠的系统,例如安全类应用程序。”

例如,基于人脸识别技术的安全系统很可能遭遇黑客入侵,导致违规行为的出现;或者在交通标志上张贴某些图形,导致自动驾驶汽车产生意外误解。

先前的研究发现,与人们的预期相反,使用场景中天然存在着一些对抗性示例,即机器学习系统有可能因为意外交互(而非因数据错误)而产生误解。这类情况相当罕见,必须通过其他人工智能技术才可能发现。

但这些问题又真实存在,要求研究人员重新考虑该如何辨别自然异常与人为误导。

事实上,我们对这类人为误导的理解并不清晰。但这有点像是相机镜头上时不时出现的光晕,类似于依靠光晕来判断画面中太阳的位置,研究人员似乎也可以借助这样的蛛丝马迹推断机器学习中的恶意误导方法。

更重要的是,这种新的思考方式也将影响人们在深度神经网络中使用工件的方式,包括不应简单将误解结论视为深度学习无效。

他总结道,“某些对抗性事件很可能是人为设计而来。我们必须知晓其中的手法与工件是什么,这样才能真正理解深度神经网络的可靠性。”

责任编辑:PSY

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1789

    文章

    46576

    浏览量

    236898
  • 机器学习
    +关注

    关注

    66

    文章

    8340

    浏览量

    132278
  • 深度神经网络

    关注

    0

    文章

    61

    浏览量

    4507
收藏 人收藏

    评论

    相关推荐

    具身智能与机器学习的关系

    (如机器人、虚拟代理等)通过与物理世界或虚拟环境的交互获得、发展和应用智能的能力。这种智能不仅包括认知和推理能力,还包括感知、运动控制和环境适应能力。具身智能强调智能体的身体和环境在智能发展中的重要性。 2. 机器
    的头像 发表于 10-27 10:33 217次阅读

    机器人技术的发展趋势

    能力。 机器人能够通过学习和训练,不断优化自身的行为和性能,实现更高效、更智能的工作。 自然语言处理与理解 : 随着自然语言处理技术的进步,机器
    的头像 发表于 10-25 09:27 352次阅读

    【「时间序列与机器学习」阅读体验】全书概览与时间序列概述

    的应用也很广泛,机器学习为时间分析带来新的可能性。人们往往可以通过过往的时间序列数据预测未来,在各行各业中都有很好的应用与发展前景。 时间序列分类: 1.单维时间序列 单维时间序列
    发表于 08-07 23:03

    【《大语言模型应用指南》阅读体验】+ 基础知识学习

    今天学习大语言模型在自然语言理解方面的原理以及问答回复实现。 主要是基于深度学习自然语言处理技术。 大语言模型涉及以下几个过程: 数据收
    发表于 08-02 11:03

    三星电容代理商怎么辨别真假呢?

    三星电容代理商 所代理产品辨别真假的方式有两种,一种是先辨别 三星电容代理商 的真假,另一种就是根据三星电容的产品防伪标志进行辨别真假。今
    的头像 发表于 07-25 15:37 263次阅读

    【《大语言模型应用指南》阅读体验】+ 基础篇

    的内容,阅读虽慢,但在这一学习过程中也掌握了许多新知识,为后续章节的阅读打下基础,这是一个快乐的学习过程。 基础篇从人工智能的起源讲起,提出了机器能否思考的疑问,引入了图灵机这一神奇的
    发表于 07-25 14:33

    深度学习与传统机器学习的对比

    在人工智能的浪潮中,机器学习和深度学习无疑是两大核心驱动力。它们各自以其独特的方式推动着技术的进步,为众多领域带来了革命性的变化。然而,尽管它们都属于
    的头像 发表于 07-01 11:40 1079次阅读

    名单公布!【书籍评测活动NO.35】如何用「时间序列与机器学习」解锁未来?

    应用,将理论基础与实践案例相结合,作者凭借扎实的数学功底及其在企业界的丰富实践经验,将机器学习与时间序列分析巧妙融合在书中。 全书书共分为8章,系统介绍时间序列的基础知识、常用预测方法、异常检测
    发表于 06-25 15:00

    请问PSoC™ Creator IDE可以支持IMAGIMOB机器学习吗?

    我的项目使用 POSC62 MCU 进行开发,由于 UDB 模块是需求的重要组成部分,所以我选择了PSoC™ Creator IDE 进行项目开发。 但现在,由于需要扩展,我不得不使用机器学习模块
    发表于 05-20 08:06

    码垛机器与人工车间生产哪个具有优势

     在探讨码垛机器与人工车间生产效率哪个有优势时,我们需要从多个维度进行分析。  首先,从工作效率上看,码垛机器人具有显著的优势。它们可以24小时在线工作,不受疲乏和休息时间的限制,而且操作准确度高
    的头像 发表于 05-10 16:49 236次阅读
    码垛<b class='flag-5'>机器</b>人<b class='flag-5'>与人</b>工车间生产哪个具有优势

    机器学习8大调参技巧

    今天给大家一篇关于机器学习调参技巧的文章。超参数调优是机器学习例程中的基本步骤之一。该方法也称为超参数优化,需要搜索超参数的最佳配置以实现最佳性能。
    的头像 发表于 03-23 08:26 544次阅读
    <b class='flag-5'>机器</b><b class='flag-5'>学习</b>8大调参技巧

    为什么深度学习的效果更好?

    导读深度学习机器学习的一个子集,已成为人工智能领域的一项变革性技术,在从计算机视觉、自然语言处理到自动驾驶汽车等广泛的应用中取得了显著的成功。深度
    的头像 发表于 03-09 08:26 570次阅读
    为什么深度<b class='flag-5'>学习</b>的效果更好?

    光耦3083误导通原因

    光耦3083是一种常用的光耦合器件,通常用于用于将输入信号转换为光信号并隔离输出信号的电气器件。然而,光耦3083在操作中存在误导通问题,这可能是由于以下几个原因造成的: 设计问题:光耦3083
    的头像 发表于 01-15 09:21 919次阅读

    基于transformer和自监督学习的路面异常检测方法分享

    铺设异常检测可以帮助减少数据存储、传输、标记和处理的压力。本论文描述了一种基于Transformer和自监督学习的新方法,有助于定位异常区域。
    的头像 发表于 12-06 14:57 1370次阅读
    基于transformer和自监督<b class='flag-5'>学习</b>的路面<b class='flag-5'>异常</b>检测方法分享

    【AIOps】一种全新的日志异常检测评估框架:LightAD,相关成果已被软工顶会ICSE 2024录用

    需要更长的时间进行日志预处理、模型训练和模型推断,从而阻碍了它们在需要快速部署日志异常检测服务的在线分布式云系统中的采用。 本文对现有的基于经典机器学习和深度
    的头像 发表于 11-29 17:40 567次阅读