0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

OpenAI的研究人员提出了一种全新的AI安全策略——迭代放大法

nlfO_thejiangme 来源:未知 作者:李倩 2018-10-26 10:52 次阅读

近日,OpenAI的研究人员提出了一种全新的AI安全策略——迭代放大法(iterated amplification),通过描述如何将一个复杂的任务分解成简单的子任务而不是提供标签数据或奖励函数,实现了对于复杂行为和目标的描述。虽然这一方法还处于比较初级的阶段,但研究人员认为这种方法将为AI安全提供一种大规模的实现手段。

如果我们想要训练一个机器学习模型完成特定的任务,我们一定需要训练信号来评价模型的表现并帮助模型不断学习和改进。例如监督学习中的标签和强化学习中的奖励函数就是训练讯号。机器学习体系中的一个重要假设就是这些讯号已经存在,并且算法可以按照它来学习。但实际情况是训练信号可能来自于不知道的某个地方。如果我们没有训练信号就意味着我们没有办法学习。如果我们得到的是错误信号,那么算法可能会得到无意识的甚至危险的结果。所以对于新的任务和AI安全来说,提高得到训练讯号的能力是十分必要且极具价值的。

那么让我们看看目前是怎么获取训练信号的呢?有时候我们可以利用算法得到,比如在围棋游戏中可以通过计数评分得到信号。不过大多数真实世界的任务并没有一个数学形式表达的信号,但通常我们可以人工的手段来获取训练信号。但实际情况是,很多复杂的任务已经远远超过了人类的认知能力,我们没办法判断模型的输出是否正确,例如设计一个复杂的运输系统或者管理庞大计算机网络安全细节的管理系统这样的任务,或者是预测全球长期气候趋势这种复杂的任务。

需要不同训练信号的问题,训练序号可以来自表达式评价、人类反馈,但有的任务超出了人类的能力。

本文提出的迭代放大,是一种在确定性假设下为后续任务生成训练假设的方法。实际上,虽然人类不能在全局上直接把握复杂的问题,但我们可以假设人类可以有效的评估复杂任务中的一小块任务是否符合要求。例如在计算机网络安全的例子中,人们可以将“防御一系列针对于服务器和路由器的攻击”分解为“针对服务器的攻击”和“针对路由的攻击”以及“两个攻击间可能的相关性”。此外,我们还可以假设,人类可以承担很少的一部分任务,例如“识别出日志中的一行可疑记录”。如果人类的分解任务能力和分担任务能力得以落实,这两项假设得以成立,那我们就可以为一项庞大的任务建立训练信号,这些讯号来自于人类针对分解任务讯号的组合。

迭代放大的机制

研究人员在实际训练放大的过程中,首先训练AI系统从一个很小的子任务开始学习,通过寻求人类的帮助(标签/奖励信号)来学会解决这一子问题。随后让系统学习一个稍大的问题,这时候需要人类将较大的任务进行分解,AI系统依靠上一步的学习来解决这些问题。研究人员将这种解决方案用于那些稍微困难的问题,在这些问题中系统从人类处得到训练信号,来直接训练二级任务(此时无需人类帮助)。

随着训练的进行,研究人员继续为AI提供更为复杂的复合任务,不断构建出训练信号。如果这个过程得以完成,AI系统将学会解决高度复杂的问题,尽管这个系统一开始没有从任务中获得直接的训练信号。

这一过程在一定程度上与AlphaGo Zero专家迭代过程很像,不过个专家迭代在强化现存的训练信号,而迭代放大则从零开始构建训练信号。它也和最近的一些问题分解的算法很像,但区别在于它可以用于没有先前训练信号的问题。

实 验

先前的实验表明,直接用AI系统解决超越人类能力的问题十分困难,同时利用人类作为训练信号也会引入复杂性。所以研究人员的第一个实验在于尝试放大了算法的训练信号,来验证这种方法可以在简单任务的有效性。同时也限制了对于监督学习的注意力。研究人员在5个示例算法任务上进行了尝试。这五个算法示例都有具体的数学表达,但研究人员先排除算法信号,了利用一步步从简单到复杂的方法从零开始解决。利用迭代放大的方法,从一些不直接的子任务中间接学习出训练信号。

在五个任务中(排列、序列赋值、通配符匹配、最短路径、查找并集),新的方法可以与表达式方法获得同等甚至更好的效果。

在没有label的情况下迭代放大法获得了与监督学习相同甚至更好的结果

放大法在寻求解决那些超越人类直接认知和能力的问题,通过迭代的过程使得人类可以提供间接的监督信号。这项工作同时也建立在人类反馈的基础上,通过实现奖励预测系统,接下来的版本将会包含来自于真实人类的反馈。目前研究人员仅仅在探索的初级阶段,随着研究的深入和规模的扩大将会为很多复杂的问题带来新的可能。

人类反馈

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30823

    浏览量

    268977
  • 函数
    +关注

    关注

    3

    文章

    4329

    浏览量

    62587
  • 机器学习
    +关注

    关注

    66

    文章

    8414

    浏览量

    132601

原文标题:OpenAI提出全新AI安全策略—迭代放大法,助力机器实现复杂目标学习

文章出处:【微信号:thejiangmen,微信公众号:将门创投】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    ZigBee接入EPA网络的安全策略

    ZigBee接入EPA网络的安全策略针对ZigBee技术的特点,结合EPA控制网络的安全规范与工业现场实际应用的需要,提出ZigBee接入EPA网络的安全策略与基于
    发表于 03-19 16:47

    一种参数自调节优化控制策略

    2019年第1期《电工技术学报》上撰文,针对虚拟同步发电机(VSG)双机并联系统在采用固定的转动惯量及阻尼系数时无法兼顾有功功率振荡和频率波动的问题,该文提出一种参数自调节优化控制策略。首先,...
    发表于 09-03 07:50

    一种参数自调节优化控制策略

    和频率波动的问题,该文提出一种参数自调节优化控制策略。首先,建立VSG双机并联系统的小信号模型,分析转动惯量及阻尼系数对输出有功特性的影响;其次,在满足系统动稳态性能的转动惯量及阻尼系数限定取值范围内,根据...
    发表于 09-09 09:08

    基于多维整数空间的安全策略冲突检测与消解

    针对当前大部分安全策略冲突检测与消解算法缺少灵活性和扩展性等缺点,提出一种基于多维整数空间的安全策略形式化描述方法,在此基础上设计了一种可扩
    发表于 03-24 08:49 13次下载

    基于有向图模型的网络安全策略冲突研究

    保证安全策略的协同工作和致性是实现分布式系统安全管理需要首先解决的问题。本文提出了一种可适应的安全策略
    发表于 01-27 15:12 11次下载

    一种基于群组的无线传感器网络安全策略_师鸣若

    一种基于群组的无线传感器网络安全策略_师鸣若
    发表于 03-19 11:46 0次下载

    基于可信计算的多级安全策略TCBMLSP分析

    个重要方面是安全访问控制策略的建立,其中具有代表性的是BLP、BIBA策略模型。 针对现有安全策略模型BLP与BIBA结合应用存在可用性
    发表于 11-09 17:01 4次下载
    基于可信计算的多级<b class='flag-5'>安全策略</b>TCBMLSP分析

    云计算环境的多域安全策略验证管理技术

    为了有效管理云系统间跨域互操作中安全策略的实施,提出一种适用于云计算环境的多域安全策略验证管理技术。首先,研究
    发表于 12-15 13:46 0次下载
    云计算环境的多域<b class='flag-5'>安全策略</b>验证管理技术

    研究人员提出了一种柔性可拉伸扩展的多功能集成传感器阵列

    研究人员提出了一种柔性可拉伸扩展的多功能集成传感器阵列,成功将电子皮肤的探测能力扩展到7,实现温度、湿度、紫外光、磁、应变、压力和接近等多种外界刺激的实时同步监测。
    的头像 发表于 01-24 15:15 7238次阅读
    <b class='flag-5'>研究人员</b><b class='flag-5'>提出了</b><b class='flag-5'>一种</b>柔性可拉伸扩展的多功能集成传感器阵列

    OpenAI提出了一种回报设置方法RND

    在开发RND之前,OpenAI研究人员和加州大学伯克利分校的学者进行了合作,他们测试了在没有环境特定回报的情况下,智能体的学习情况。因为从理论上来说,好奇心提供了一种更简单的方法来教授智能体如何与各种环境进行交互,它不需要人为
    的头像 发表于 11-05 15:15 3172次阅读

    以色列研究人员开发出了一种能够识别不同刺激的新型传感系统

    据麦姆斯咨询报道,海法以色列理工学院的研究人员开发出了一种能够识别并区分不同刺激的创新型传感系统。该系统基于折纸艺术,结合了以色列理工学院开发的智能墨水材料。
    发表于 05-21 08:45 906次阅读

    研究人员出了一种新的基于深度学习的策略

    苏黎世联邦理工学院的研究人员最近推出了一种新的基于深度学习的策略,该策略可以在不需要大量真实数据的情况下在机器人中实现触觉传感。在arXiv
    的头像 发表于 03-26 15:47 2606次阅读

    中美研究人员合作开发出了一种可以预测新冠肺炎病情的AI工具

    中美两国研究人员合作,开发出一种实验性AI工具,可以准确预测哪些新冠肺炎(COVID-19)患者的病情会发展成严重的呼吸系统疾病。
    发表于 04-01 14:30 634次阅读

    研究人员发现一种可在水中产生纳米气泡的新方法

    都柏林大学(UCD)的研究人员发现了一种新的节能方法,该方法可以在水中产生和释放大量亚稳的纳米级气泡,超过自然溶解度水平。
    的头像 发表于 04-09 17:13 7115次阅读

    MIT研究人员提出了一种制造软气动执行器的新方法

    麻省理工学院 (MIT) 的研究人员创造了一种新的制造技术,可以制造出更具成本效益的软气动执行器。
    的头像 发表于 05-06 16:38 1634次阅读
    MIT<b class='flag-5'>研究人员</b><b class='flag-5'>提出了</b><b class='flag-5'>一种</b>制造软气动执行器的新方法