0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NIPS 2018又出事了:审稿信息泄露,双盲评审失效!

DPVg_AI_era 来源:未知 作者:李倩 2018-08-13 09:57 次阅读

NIPS 2018又出事了:审稿信息泄露,由于论文提交CMT系统的重大漏洞,审稿人可以判断出单篇论文的姓名和机构,让双盲评审失效!不仅如此,本届NIPS毫无征兆地砍掉了一个历史悠久的Workshop,加上此前初审结果怨声载道,这届NIPS,真让人捏一把汗。

如果说2017年的NIPS以一张注册人数如火箭冲天般的表格创造了记录,那么,2018年的NIPS则凸显了当前火热不退、几近高烧的人工智能/深度学习领域蛰伏的诸多问题。

审稿信息泄露,双盲评审失效!

8月7日,就在NIPS初审结果rebuttal进行的过程当中,有人发现NIPS 2018的审稿系统出现了严重的信息泄露,本就颇受诟病的评审过程,又一次出现问题。

事情是这样的,跟其他会议一样,NIPS 2018也采用MS CMT3系统进行论文的提交及审核。

作为这次会议的一位审稿人,sweichwald 发现该系统服务器中有一个严重的漏洞,让“作者/机构/公司”的双盲性以及由此造成的评审公正和平等遭到破坏:

问题发生在所有提交论文的列表是不是静态的,而是根据审稿人的域名(也即姓名/机构/公司)在不断更新。

当审稿人输入域名冲突的信息时,CMT系统会自动过滤掉有域名相冲突的论文;因此,审稿人通过输入或者不输入某个域名冲突,再根据CMT系统给出的两个论文列表,就能明确哪些论文是属于哪个域名,换句话说,也就相当于能够知道哪些论文是属于哪位作者或哪个单位的了。

sweichwald指出,尽管会议规定采用双盲评审,但NIPS论文审稿平台本身允许这样主动暴露论文提交人姓名和论文所属机构/公司的做法,而且还能匹配到特定的单篇论文,属于重大过失(culpable negligence)。

当系统存在这样的漏洞时,很可能被人利用,让双盲评审机制失效。不仅如此,由于知道了论文的所属机构,某些审稿人很可能有意选择特定单位的论文进行评审,进而导致评审结果出现偏差。

实际上,sweichwald是在偶然之下发现了CMT系统的这个漏洞:当时,他因为忘记了,不小心输入了一个冲突的域名,结果发现返回得到的论文总数变少了。

于是,他对比了一下名单,找出两份列表中不同的某篇论文,私底下向一位同事确认,在没有让对方直接告诉他后者论文题目和摘要的情况下,通过两人交换的信息,sweichwald完全肯定,他看到的论文就是他同事提交的那一篇。

在写给NIPS AC的邮件里,sweichwald表示根据审稿规定,他重新输入了正确的域名,同时保证自己不会作为那篇论文的评审。

多人连续发现系统漏洞,好在修复比较及时

除了sweichwald以外,还有多位审稿人也发现并举报了这个系统漏洞,但是却没有得到NIPS方面的回复。

需要指出,这个问题与事先将论文上传到arXiv等预印本网站或其他意外泄露身份的情况有着根本的不同:这是存在于整个论文提交和审稿底层系统的问题,而且CMT3系统也被其他1000多个使用双盲和单盲评审的学术会议使用,这就意味着其他会议的评审公正性很可能也遭到了破坏。

根据CMT官网,2016年,CMT系统已用于1000多个国际会议、研讨会和各种其他项目的学术论文提交与审核,涉及上万篇论文和上千名审稿人。使用CMT的会议包括:

国际机器学习大会(ICML)

神经信息处理系统进展大会(NIPS)

国际人工智能和统计会议(AISTATS)

人工智能不确定性会议(UAI)

IEEE计算机视觉模式识别会议(CVPR)

国际计算机视觉会议(ICCV)

欧洲计算机视觉会议(ECCV)

亚洲计算机视觉会议(ACCV)

英国机器视觉会议(BMVC)

IEEE国际数据工程大会(ICDE)

ACM数据管理特别兴趣小组(SIGMOD)

超大型数据库国际会议(VLDB)

国际IEEE数据压缩会议(DCC)

IEEE多媒体与博览国际会议(ICME)

CMT最初是为ACM SIGKDD 1999开发的。从那时起,CMT经历了几次重大改进和扩展,迄今已在数千个会议中使用过。

5月29日,sweichwald 向NIPS 2018的领域主席和CMT系统管理员汇报这一系统漏洞。5月31日,NIPS会务组给出了回复,表示他们已经注意到这个问题,并建议前者在系统完全处理好之后,再将此事公布。

NIPS会务组的回复,表示已经有多人提醒他们这一漏洞,会尽快修复系统,并让sweichwald在事情解决前先不要声张

8月2日,包括其他使用CMT的会议在内系统全部得到修复。

现在,对于双盲评审的会议,CMT系统让任何人都不能更新他们的冲突域名,而审稿人在见到任何论文前,只有一次输入域名的机会。

根据官方反馈,目前没有发现其他CS/AI学术会议的审稿信息遭到泄露。

砍掉举办连续10年唯一的计算生物学Workshop

NIPS 2018的事件还没说完。

同样在8月7日,有学者反映本届NIPS无故砍掉了ML for Compbio(MLCB)workshop,这是一个有关机器学习领域中计算生物学的研讨会,也是NIPS唯一有关计算生物学的研讨会,已经连续举办了10年,而且2017年的论文提交数量创下了历史记录。

计算生物学是生物学的一个分支。根据美国国家卫生研究所(NIH)的定义,它是指开发和应用数据分析及理论的方法、数学建模和计算机仿真技术,用于生物学、行为学和社会群体系统的研究的一门学科。

计算生物学定义广泛,是包括计算机科学,应用数学,动画,统计学,生物化学,化学,生物物理学,分子生物学,遗传学,基因组学,生态学,进化,解剖学,神经科学和科学可视化的基础。

讽刺的是,当向NIPS提交论文的时候,“Combio”仍然属于子领域之一。

有人在Twitter上感叹,究竟有多少学计算机的人知道计算生物学与“AI医疗”或“AI临床应用”是完全不同的概念?

如果说领域日渐凋零也就算了,但正如前文所说,2017年该workshop的论文提交数量创下了历史记录,当时workshop参会还排起了长队,展示和讨论一直很活跃。

由此,Twitter上出现了很多表示遗憾的声音。

往好处想,这或许也是MLCB自己独立出来,成为一个单独学术会议的机会。

不然又该怎么办呢?

新增非洲、拉丁美洲、同性恋和犹太人 AI Workshop

但是,这届NIPS也不全是坏消息。

根据“机器学习包容性”这个账号,本届NIIPS变得更加包容和多样——除了此前已有的女性机器学习workshop(WIML),还新增了非洲AI、拉丁美洲AI、同性恋AI 和犹太人AI 这几个workshop。

NIPS将变得更加包容和多样,这当然是好事一桩。但同时也忍不住让人去想,或许这就是计算生物学workshop被砍掉的原因?

毕竟场地只有那么大,而2017年的NIPS注册人数已经高达8500人。

在四川,8000多人因高温挤进泳池。来源:四川在线

当然,NIPS 2017上也有寂寞的身影,图灵奖得主、贝叶斯网络之父Judea Pearl的演讲听众就寥寥无几。

NIPS 2017图灵奖得主Judea Pearl落寞的身影。图片来源:周志华

但是没问题,现在Judea Pearl也在Twitter等社交网络上活跃起来,关注人数也涨到9100多,大家对因果学习/模型的热情重新燃起,这次如果他再有讲座,应该也会座无虚席吧。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1796

    文章

    47643

    浏览量

    240053
  • CMT
    CMT
    +关注

    关注

    0

    文章

    15

    浏览量

    10825
  • 深度学习
    +关注

    关注

    73

    文章

    5512

    浏览量

    121478

原文标题:【NIPS 2018重大漏洞】审稿信息泄露,1000多学术会议双盲评审受牵连

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    EBSD失效分析策略

    材料失效分析在材料科学和工程实践中,失效分析扮演着至关重要的角色,它致力于探究产品或构件在实际使用过程中出现的失效现象。这些现象可能表现为由多种因素引起的断裂,例如疲劳、应力腐蚀或环境诱导的脆性断裂
    的头像 发表于 12-24 11:29 286次阅读
    EBSD<b class='flag-5'>失效</b>分析策略

    Meta因数据泄露被爱尔兰监管机构重罚2.51亿欧元

    近日,爱尔兰数据保护委员会(Data Protection Commission)宣布对Meta爱尔兰公司的调查结果及最终处罚决定。这一决定源于Meta公司此前发生的一起大规模数据泄露事件,该事
    的头像 发表于 12-19 10:29 275次阅读

    IV测试助力解芯片失效原因

    失效原因提供关键线索。   窥探芯片电学特性的窗口 IV 测试,简单来说,就是通过对芯片施加不同的电压,并测量相应的电流变化,从而绘制出芯片的电流-电压特性曲线。这条曲线就像是芯片电学特性的 “指纹”,蕴含着丰富的信息
    的头像 发表于 11-21 17:13 459次阅读
    IV测试助力解芯片<b class='flag-5'>失效</b>原因

    RT-Thread操作系统内存泄露,很快找到泄露

    刚好碰到一内存泄露问题,但不知道是谁泄露了,翻出之前调试用过的代码改了一下,很快找到泄露。 先是对mem.c进行改造,给每个node加入更多信息
    发表于 09-01 11:14

    埋线监控被干扰

    我的埋线监控被干扰……断了网依然被干扰画面冻结……我用iPhone15pm 断网开启封锁模式加法拉第笼作为监控挺了一会。然后又出事。请问这是什么武7?有什么办法?
    发表于 06-30 17:54

    双盲插便携屏方案:LDR6020 PD芯片

    首先,它支持双盲插功能,通过内置的高精度插口识别技术,能够自动识别插入的设备,并实现快速稳定的连接。其次,LDR6020芯片采用最新的传输协议,确保数据的高速、稳定传输,无论是视频、音频还是其他
    的头像 发表于 06-24 08:49 2.7w次阅读
    <b class='flag-5'>双盲</b>插便携屏方案:LDR6020 PD芯片

    晶闸管的失效模式与机理

    电路性能下降甚至系统瘫痪。因此,深入了解晶闸管的失效模式与机理,对于提高电路设计的可靠性具有重要意义。本文将从晶闸管的基本原理出发,详细探讨其失效模式与机理,并结合相关数字和信息进行说明。
    的头像 发表于 05-27 15:00 1393次阅读

    手机边听边充音频转接器双盲插系列:便捷充电,畅享音乐6500

    ,手机边听边充音频转接器双盲插系列应运而生,它集合充电与音频传输两大功能,让我们在享受音乐的同时,也能轻松为手机充电。 添加图片注释,不超过 140 字(可选) 一、双盲插设计:轻松插拔,无忧使用 手机边听边充音频
    的头像 发表于 05-25 18:00 453次阅读
    手机边听边充音频转接器<b class='flag-5'>双盲</b>插系列:便捷充电,畅享音乐6500

    深圳特信屏蔽器|4G5G手机信号屏蔽器:如何高效应对信息泄露风险.

    深圳特信屏蔽器|4G5G手机信号屏蔽器:如何高效应对信息泄露风险随着移动通信技术的飞速发展,4G和5G网络已经成为我们日常生活中不可或缺的一部分。然而,在某些特定场合,如考试、会议或保密环境中,我们
    发表于 05-20 09:01

    创新方便的在线评审软件——原理图设计的利器

    ,这不仅花费了大量的时间和精力,还容易遗漏或出现错误。而且,评审必须在同一个地方进行,限制工作的灵活性。这种繁琐的过程往往让设计师们感到困惑和压力。如今,有一款全新
    的头像 发表于 05-16 08:34 436次阅读
    创新方便的在线<b class='flag-5'>评审</b>软件——原理图设计的利器

    易华录产品检测中心顺利通过CNAS资质监督评审

    近日,经中国合格评定国家认可委员会评审组现场评审,易华录产品检测中心顺利通过CNAS资质监督评审
    的头像 发表于 05-15 17:26 646次阅读
    易华录产品检测中心顺利通过CNAS资质监督<b class='flag-5'>评审</b>

    电子元器件失效分析技术

    电测在失效分析中的作用 重现失效现象,确定失效模式,缩小故障隔离区,确定失效定位的激励条件,为进行信号寻迹法失效定位创造条件
    的头像 发表于 04-12 11:00 653次阅读
    电子元器件<b class='flag-5'>失效</b>分析技术

    苹果起诉前员工泄露敏感信息,索赔2.5万美元

    安德鲁曾是苹果iOS软件工程师,主要从事手机电池技术优化工作。自2016年进入苹果,工作长达五年的时间里,他利用职务之便通过公司配备的iPhone设备向新闻界泄露大量机密封锁信息
    的头像 发表于 03-29 10:51 667次阅读

    吉安市电子信息产品检验检测中心通过省级CMA资质认定专家现场评审

    3月13日,吉安市电子信息产品检验检测中心顺利通过了CMA(省级)检测资质认定专家现场评审。区党工委委员、管委会副主任戴志敏出席评审座谈会。
    的头像 发表于 03-14 15:01 561次阅读

    ChatGPT遭安全风波:用户敏感信息或遭泄露

    近日,全球热门的聊天机器人ChatGPT陷入了一场安全风波。据报道,ChatGPT意外泄露了用户的私密对话,其中包括用户名、密码等敏感信息
    的头像 发表于 02-05 11:15 1656次阅读