0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

ai真的到了吗,这些业界的人都看不懂的问题,你怎么看

mK5P_AItists 来源:未知 作者:龚婷 2018-03-19 10:08 次阅读

今天,OpenAI在官方博客上丢出了7个研究过程中发现的未解决问题。

OpenAI希望这些问题能够成为新手入坑AI的一种有趣而有意义的方式,也帮助从业者提升技能。

OpenAI版AI界七大未解之谜,现在正式揭晓——

丨1. Slitherin

难度指数:☆☆

实现并解决贪吃蛇的多玩家版克隆作为Gym环境。

环境:场地很大,里面有多条蛇,蛇通过吃随机出现的水果生长,一条蛇在与另一条蛇、自己或墙壁相撞时即死亡,当所有的蛇都死了,游戏结束。

智能体:使用自己选择的自我对弈的RL算法解决环境问题。你需要尝试各种方法克服自我对弈的不稳定性。

检查学习行为:智能体是否学会了适时捕捉食物并避开其他蛇类?是否学会了攻击、陷害、或者联合起来对付竞争对手?

丨2. 分布式强化学习中的参数平均

难度指数:☆☆☆

这指的是探究参数平均方案对RL算法中样本复杂度和通信量影响。一种简单的解决方法是平均每个更新的每个worker的梯度,但也可以通过独立地更新worker、减少平均参数节省通信带宽。

这样做还有一个好处:在任何给定的时间内,我们都有不同参数的智能体,可能出现更好的探测行为。另一种可能是使用EASGD这样的算法,它可以在每次更新时将参数部分结合在一起。

丨3. 通过生成模型完成的不同游戏中的迁移学习

难度指数:☆☆☆

这个流程如下:

训练11个Atari游戏的策略。从每个游戏的策略中,生成1万个轨迹,每个轨迹包含1000步行动。

将一个生成模型(如论文Attention Is All You Need提出的Transformer)与10个游戏产生的轨迹相匹配。

然后,在第11场比赛中微调上述模型。

你的目标是量化10场比赛预训练时的好处。这个模型需要什么程度的训练才能发挥作用?当第11个游戏的数据量减少10x时,效果的大小如何变化?如果缩小100x呢?

丨4. 线性注意Transformer

难度指数:☆☆☆

Transformer模型使用的是softmax中的软注意力(soft attention)。如果可以使用线性注意力(linear attention),我们就能将得到的模型用于强化学习。

具体来说,在复杂环境下使用Transformer部署RL不切实际,但运行一个具有快速权重(fast weight)的RNN可行。

你的目标是接受任何语言建模任务,训练Transformer,然后找到一种在不增加参数总数情况下,用具有不同超参数的线性注意Transformer获取每个字符/字的相同位元的方法。

先给你泼盆冷水:这可能是无法实现的。再给你一个潜在的有用提示,与使用softmax注意力相比,线性注意转化器很可能需要更高的维度key/value向量,这能在不显著增加参数数量的情况下完成。

丨5. 已学习数据的扩充

难度指数:☆☆☆

可以用学习过的数据VAE执行“已学习数据的扩充”。

我们首先可能需要在输入数据上训练一个VAE,然后将每个训练点编码到一个潜在的空间,之后在其中应用一个简单(如高斯)扰动,最后解码回到观察的空间。用这种方法是否能得到更好的泛化,目前还是一个谜题。

这种数据扩充的一个潜在优势是,它可能包含视角变换、场景光纤变化等很多非线性

转换。

丨6. 强化学习中的正则化

难度指数:☆☆☆☆

这指的是实验性研究和定性解释不同正则化方法对RL算法的影响。

在监督学习中,正则化对于优化模型和防止过拟合具有极其重要的意义,其中包含一些效果很赞的方法,如dropout、批标准化和L2正则化等。

然而,在策略梯度和Q-learning等强化学习算法上,研究人员还没有找到合适的正则化方法。顺便说一下,人们在RL中使用的模型要比在监督学习中使用的模型小得多,因为大模型表现更差。

丨7. Olympiad Inequality问题的自动解决方案

难度指数:☆☆☆☆☆

Olympiad Inequality问题很容易表达,但解决这个问题往往需要巧妙的手法。

建立一个关于Olympiad Inequality问题的数据集,编写一个可以解决大部分问题的程序。目前还不清楚机器学习在这里是否有用,但你可以用一个学习的策略减少分支因素。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30175

    浏览量

    268441
  • 人工智能
    +关注

    关注

    1791

    文章

    46873

    浏览量

    237613

原文标题:AI界的七大未解之谜:OpenAI丢出一组AI研究课题

文章出处:【微信号:AItists,微信公众号:人工智能学家】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    快恢复二极管选型参数怎么看?常用型号有哪些?

    快恢复二极管选型参数怎么看?常用型号有哪些?
    的头像 发表于 11-14 17:30 234次阅读
    快恢复二极管选型参数<b class='flag-5'>怎么看</b>?常用型号有哪些?

    TPA3112用tina仿真后面的扬声器怎么看发出的声音怎么样?

    TPA3112用tina仿真后面的扬声器怎么看发出的声音怎么样啊
    发表于 11-04 07:29

    求电气图讲解,刚接触电气图,看不懂图纸

    电气图讲解,刚接触电气图,看不懂图纸,有无老师能简要讲解一下各部分
    发表于 10-13 21:33

    防雷器件有哪些?防雷器等级型号怎么看

    防雷器件有哪些?防雷器等级型号怎么看
    的头像 发表于 07-31 15:05 864次阅读

    三星贴片电容的批次号怎么看

    三星贴片电容的批次号怎么看?在这个问题之前我们先普及一下,怎么分辨三星贴片电容是不是正品?
    的头像 发表于 07-31 14:10 393次阅读
    三星贴片电容的批次号<b class='flag-5'>怎么看</b>?

    STM32H745BIT6单片机怎么看哪个引脚配置哪个内核?

    STM32H745BIT6单片机怎么看哪个引脚配置哪个内核啊,在数
    发表于 07-03 07:38

    三星贴片电容怎么看电压呢?电压的方式有哪些?

    对于三星贴片电容怎么看参数呢?现在看三星贴片电容的电压参数的方式也是比较多的,今天给大家分享两种,三星贴片电容电压的方式吧。其实对于懂技术的人员直接三星贴片电容的外面参数就能够知道
    的头像 发表于 06-19 15:29 466次阅读

    车路云协同,这次它真的了吗

    ,前些年搞得沸沸扬扬,但是最终都很难落地。想必也发现了:短短几天时间,多地密集传来车路云一体化布局新进展。难道它真的了吗?北京5月31日,北京市公共资源交易服务平台
    的头像 发表于 06-13 08:25 476次阅读
    车路云协同,这次它<b class='flag-5'>真的</b>来<b class='flag-5'>了吗</b>?

    降价潮背后:大模型落地门槛真的了吗

    “比起价格门槛,AI大模型的应用门槛,更难跨越。”大模型争相降价下,AI应用的门槛真的降低了吗?答案还真不一定。因为除了价格门槛,AI大模型
    的头像 发表于 06-13 08:04 275次阅读
    降价潮背后:大模型落地门槛<b class='flag-5'>真的</b>降<b class='flag-5'>了吗</b>?

    求助,求大神帮忙解答下AN65974同步Slave FIFO的读时序

    你好,在AN65974文档中,我看不懂同步Slave FIFO的读时序,可以给我解读一下么? 下图中有我标注的我不懂的问题。非常感谢你!......
    发表于 05-31 06:27

    关于超声波水表的单片机原理图

    大佬们求解~越详细越好,小白真的看不懂这个原理图啊!!
    发表于 03-20 15:10

    stm32f1如何控制SI4463?

    4463的寄存器太多了额,说明还只有英文版的,真是看不懂,不过有一个WDS软件,便于快速配置。对于我这种菜鸟来说也比较困难。希望大神指教WDS生成出来的代码怎么搞到KEIL中去或者给个STM32的例程也可以。谢谢了
    发表于 03-11 07:05

    请问XMC1404如何产生PWM信号?

    我只需要原理图就行 不需要程序 只想知道接什么引脚可以让XMC1404芯片产生PWM信号 以及信号从哪个引脚出来救救孩子的毕设英飞凌中文资料太少了我真的看不懂呜呜呜
    发表于 02-18 08:51

    电气图看不懂,还搞啥电气?

    用图形符号并按工作顺序排列,详细表示电路、设备或成套装置的全部组成和连接关系,而不考虑其实际位置的一种简图。目的是便于详细理解作用原理、分析和计算电路特性。
    的头像 发表于 01-14 10:43 1056次阅读
    电气图<b class='flag-5'>都</b><b class='flag-5'>看不懂</b>,还搞啥电气?

    肖特基二极管,真的用对了吗

    肖特基二极管,真的用对了吗
    的头像 发表于 12-07 14:27 542次阅读
    肖特基二极管,<b class='flag-5'>你</b><b class='flag-5'>真的</b>用对<b class='flag-5'>了吗</b>?