0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

ICML 2019的评审结果已经出来了,你们提交代码了吗?

电子工程师 来源:lp 2019-03-12 14:10 次阅读

近日微软研究的 John Langford 讨论了顶会到底应不应该提交代码,因为不同研究主题与领域对代码的需求不同,他表明代码提交应该鼓励,但并不能强制。作为 ICML 2019 的程序主席,Russ Salakhutdinov 表示他赞成 John Langford 的观点,他们在 ICML 2019 的评审中也引入了代码提交的选项。目前 ICML 2019 的评审结果已经出来了,那么你们提交代码了吗?

ICML、ICLR 和 NeurIPS 都在尝试将实验代码和数据作为评审材料的一部分提交,它们鼓励作者在评审或出版过程中提交代码以帮助结果可复现。目前,研究结果的可复现性通过论文、workshop 和演讲得到了很多讨论,也受到越来越多的关注。

最基本的驱动因素当然是目前的研究结果缺少可复现性,很多优秀研究都没有提供对应的代码。对任何评审和出版来说,可复现性的缺失是一个严肃的问题。因为后来的研究者会基于先驱工作做一些新的东西,缺乏可复现性将有碍这一过程。

其实由于随机初始化等机制缺乏可复现性,早期的神经网络研究并不受欢迎。虽然,目前证明神经网络的表征能力十分强大,但可复现性问题仍然存在。此外,研究中我们总会潜在怀疑前沿工作的结果是有一些水分,而提供可复现的代码能在一定程度上排除这样的质疑。

有了上面的观点,John Langford 表明可复现性的支持者应该将其理解为一个重要的属性,但并不是唯一的属性。例如,我们相信即使研究结果很难复现,但社区也能看到 AlphaGoZero 的发布。对于研究社区而言,真正有价值的是展示什么是可能的,而不是展示将围棋代码应用到另一种游戏的可能性。真正有价值的是展示算法更多的可能性,尽管它可能连代码都没有发布。如果我们将可复现性作为绝对价值,那么我们很可能就错过了这样的研究成果。

一个重要的观念是,机器学习至少有三种研究:

算法:这种研究的目标是发现一些更好的算法以解决各种学习问题,这是顶会上最典型的类型。

理论:该研究的目标是一般性地理解哪些学习算法是可能的,哪些是不可能的。虽然这些论文同样可能提出算法,但它们通常并不要求一定要实现,这会浪费作者、评审者和读者的时间。

应用:这一些研究的目标是解决特定的任务。AlphaGoZero 就是一个合理的例子,它在围棋上用算法击败了世界冠军。对于这类研究而言,由于计算量大、数据所有权等特点,编程的可复现性可能不切实际。

如果使用一种「放之四海皆准」的策略,要求每一篇论文都是可编程复现的,这种错误会降低研究社区的活力与创新。保证这三方面的研究的基本需求,将丰富社区的各种新思想。

如果我们从更广泛的角度来考虑这个论点,你是否希望医疗健康条例以所有科学研究为基础,包括那些不公开的数据?还是希望只以公共医疗领域的数据为基础?后者等价于忽略大多数科学研究,只针对特定领域做决策会有更好的效果。

强制方法的替代是将代码作为补充资料,附加材料在变化的评审过程中也能很好地追踪、记录。

在以前做机器学习研究时,论文不是双盲的。社区因为评审公正性开始使用双盲机制,无论是什么资历的作者和论文都能被公平评审。同时社区并不限制论文在发布前公布到 arXiv 上或者公开讨论,因为这会降低作者的研究效率。双盲评审社区可能有不同观念,但在 ML 领域这么做并没分歧。

在以前做机器学习研究时,提交论文的页数也有强制限制。对理论论文而言,证明部分不包括在内。我们后来改变了评审流程,允许(不要求)提交附录,便于评审使用。这为作者/评审增加了更多选择,获得了所有人的支持。

说到复现,我们能为社区做什么?

如果评审能够拿到底层代码或者数据,是否能更好地做评审工作?

开放代码对作者有好处吗?

开发代码对读者有好处吗?

如果准确无误,答案无疑是「yes」。

对评审而言,不为他们添加负担非常重要。评审可能缺乏计算资源、平台或者个人时间,无法完全复现论文结果。因此,我们应该像附录那样查看代码(和数据)提交,便于评审探究和使用。

对作者而言,放出代码有两个好处:提供额外的方法,说服善于质疑的评审;促进后续的工作也这么做,很多高引用量的论文都开放了源代码。当然,许多情况下不太可能放出代码或者对作者没好处。例如一篇理论论文,很可能算法不是重点,或者因为数据所有权,代码并不能完全公开。从此来看,我们应该有选择的支持、鼓励开放代码。

对读者而言,附加代码(和数据)明显增加了一篇论文的深度价值。一些读者可能用不到,但一些会用到(代码),在许多情况下这能极大的降低使用该论文的壁垒。

鼓励研究者添加附加实现,这也是 ICML2019 程序主席 Kamalika Chaudhuri 和 Ruslan Salakhutdinov 今年的策略。

除了鼓励外,我们需要进一步强制代码提交吗?考虑到一篇论文是否应该发布,持怀疑态度的审稿人肯定可以将可重复性的价值与其他价值进行权衡。因此有需要的话可以有附加代码,但强制代替提交却会降低其它价值。

我们应该少添加一些附加材料吗?我看不到理由:附加的方法能纯粹改进作者/评审/发布流程。不是每个人都能够利用这些好处,但限制其他人利用这些好处就很不合情理了。

最后值得一提的是,今年 ICML 的代码提交流程是个尝试。我们希望所有的程序主席能够作此尝试,因为这是改进的开始。我们应该尽全力尝试这样的工作,评估得失,预期明年的调整。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4767

    浏览量

    100663
  • 代码
    +关注

    关注

    30

    文章

    4767

    浏览量

    68464
  • 机器学习
    +关注

    关注

    66

    文章

    8397

    浏览量

    132514

原文标题:顶会论文应不应该提交代码?应该,但不能强制

文章出处:【微信号:aicapital,微信公众号:全球人工智能】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    tpa3112 PVCC管脚是已经内部连接,无需外部接电源了吗

    其中PVCC管脚是已经内部连接,无需外部接电源了吗?求比datasheet更详细的电路图。。
    发表于 09-11 07:38

    ida反编译出来代码能直接用吗

    IDA反编译出来代码通常 不能直接使用 ,这主要基于以下几个方面的原因: 一、代码的不完整性 IDA反编译生成的代码可能缺少原始源代码中的
    的头像 发表于 09-02 10:55 578次阅读

    车路云协同,这次它真的来了吗

    随着科技的快速发展,“车路云协同”正在悄然发生变化。我们离科幻电影《机械公敌》中威尔•史密斯驾驶的汽车能准确甄别交通状况并调整行驶状态的时代就要来了吗?背景说明“车路协同”已经不是什么新鲜名词
    的头像 发表于 06-13 08:25 502次阅读
    车路云协同,这次它真的<b class='flag-5'>来了吗</b>?

    国显科技荣获“深圳知名品牌&amp;amp;湾区知名品牌”

    近日,深圳知名品牌评价委员会公布第二十一届“深圳知名品牌”评审结果,在此次评审中,深圳市国显科技有限公司再次成功通过复审,并荣获“深圳知名品牌&湾区知名品牌”的称号。
    的头像 发表于 05-24 09:55 535次阅读
    国显科技荣获“深圳知名品牌&amp;amp;湾区知名品牌”

    创新方便的在线评审软件——原理图设计的利器

    概述在当今数字化时代,原理图设计已成为许多领域中不可或缺的一环。然而,对于设计师们来说,如何高效地进行评审却是一个挑战。传统的评审方式往往需要多人齐聚一堂,耗时耗力。设计师们需要亲自填写评审意见
    的头像 发表于 05-16 08:34 360次阅读
    创新方便的在线<b class='flag-5'>评审</b>软件——原理图设计的利器

    易华录产品检测中心顺利通过CNAS资质监督评审

    近日,经中国合格评定国家认可委员会评审组现场评审,易华录产品检测中心顺利通过CNAS资质监督评审
    的头像 发表于 05-15 17:26 575次阅读
    易华录产品检测中心顺利通过CNAS资质监督<b class='flag-5'>评审</b>

    苹果折叠屏iPhone新专利获批 苹果折叠屏手机要来了吗

    苹果折叠屏iPhone新专利获批 苹果折叠屏手机要来了吗? 我们看到苹果公司折叠屏iPhone专利已经获批;果粉都在期待的苹果折叠屏手机要来了吗?新专利也显示苹果已经找到了提升折叠屏耐
    的头像 发表于 04-17 17:05 1291次阅读

    STEVAL-SPIN3202如何使用SDK5.x控制电机?

    我现在使用的板子是STEVAL-SPIN3202,电机使用的是BR2804-1700Kv,已经通过workbench生成的代码让电机转起来了,想请教一下,接下来该学习些什么去控制电机?只调用SDK的API控制就好
    发表于 04-17 06:49

    长城汽车董事长魏建军赞许小米SU7,雷军要求分享评审结果

    同时,魏建军还表示愿意将评价结果公开发送给雷军。雷军对魏建军的反馈给予及时回复,希望能够获得更多的信息。因此,也有人评价说,这种合作精神必将助力小米汽车企业取得更大的成功。
    的头像 发表于 04-01 14:45 311次阅读

    stm32f429 fatfs分了4个区,usb_hs挂载后4个都显示出来了,如何用代码控制显示其中的几个?

    如题 板子是stm32f429。开发环境stm32cubemx+keil,用的HAL库,裸机no_os fatfs分了4个区,读写正常。 usb_hs挂载后4个都显示出来了,读写也正常。 我想代码控制显示其中的几个? 请问应该怎么配置或者调用哪个函数
    发表于 03-08 07:24

    昨天看到消息Altera从Intel独立出来了,不知道大家常用的FPGA是什么?

    昨天看到消息Altera从Intel独立出来了,不知道大家常用的FPGA是什么?我这边分成常规生产治具是altera的,算法和图像相关的使用的是Xilinx的;
    发表于 03-06 13:39

    宙讯科技董事长周冲入选“紫金山英才计划高层次创新创业人才”

    近日,中共南京市委人才工作领导小组发布了南京市“紫金山英才计划高层次创新创业人才项目”评审结果,宙讯科技董事长周冲成为该项目入选人才。
    的头像 发表于 02-26 09:23 855次阅读

    git commit代码提交规范

    接下来我就来实践一下,首先我这里使用的是pnpm安装依赖的。今天主要是在提交代码时稍微自动化一点,并且让提交规范统一一些。
    的头像 发表于 12-19 09:45 657次阅读
    git commit<b class='flag-5'>代码</b><b class='flag-5'>提交</b>规范

    ADC7192内部滤波器SINC4的截止频率如何查看?

    个正弦波,频率从0Hz一直往上加,我想看它的截止频率,应该怎么操作呢?或者有没有相关的文献以供参考,?(转换结果我用串口传出来了,转换为十进制数了已经)多谢
    发表于 12-15 07:41

    如何高效的把ad7768转换结果采集到处理器内部?

    )的转换结果采集到处理器内部?比如使用DSP等方式? 如果使用你们的DSP哪款比较合适呢?型号实在太多很难分辨,我的需求就是把7768以最大速率转换的结果全部获取到处理器内部并进行简单的处理后可以快速
    发表于 12-14 08:27