0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

大学里好不容易听懂的统计学,会变成一件没“意义”的事情吗?

DPVg_AI_era 来源:lp 2019-03-22 08:58 次阅读

三位统计学家在Nature上发布公开信,号召科学家放弃追求“统计学意义”,这封公开信一周之内吸引了超过800名研究人员共同签署。大学里好不容易听懂的统计学,会变成一件没“意义”的事情吗?

统计学白学了?

最新一期Nature杂志发表了三位统计学家的一封公开信,他们号召科学家放弃追求“统计学意义”,并且停止用统计学中常见的P值作为判断标准。

一般认为P≤0.05或者P≤0.01就有显著性差异,研究就有统计意义。

统计学上无显著的结果并不能“证明”零假设;统计上显著的结果也没有“证明”某些其他假设。事实真的是这样吗?

他们的这篇文章名为《科学家们起来反对统计学意义》(Scientists rise up against statistical significance)。

标题犹如战斗檄文一样令人振奋。在文章发出不到24小时,就有250多人签名支持,一周之内吸引了超过800名研究人员共同反对。

大学里好不容易听懂的统计学,会变成一件没“意义”的事情吗?

为什么要放弃统计学意义的概念?

几代人以来,研究人员一直被警告说:统计上不显著的结果并不能“证明”零假设(即假设各组之间没有差异,或者某个处理方法对某些测量结果没有影响)。统计上显著的结果也不能“证明”其他一些假设。这种误解用夸大的观点扭曲了文献,而且导致了一些研究之间的冲突。

因此,三位统计学家提出一些建议,让科学家们不至于成为这些误解的牺牲品。

首先明确必须停止的事:永远不应该仅仅因为P值大于阈值(如0.05)就得出“没有差异”或“没有关联”的结论;或者,仅仅因为置信区间包含0就得出这样的结论。

同时,我们也不应该断定两项研究之间存在冲突,只因为其中一项研究的结果具有统计学意义,而另一项则没有。这些错误浪费了研究工作,误导了政策决策。

例如,考虑一系列对消炎药意外效果的分析。由于他们的研究结果在统计学上不显著,一组研究人员得出结论说:暴露在这些药物中与新发房颤(最常见的心律紊乱)“无关”,并且这些结果与之前的一项研究结果相反,而之前的研究结果具有统计学意义。

现在,让我们看看实际的数据。研究人员描述了他们的统计不显著的结果,发现风险比为1.2。他们还发现95%的置信区间跨越了从微不足道的风险降低3%到非常显著的风险增加48%(P = 0.091)。研究人员从较早的具有统计学意义的研究中发现,风险比同样为1.2。这项研究更加精确,其风险区间在9%到33%之间(P = 0.0003)。

当区间估计包含严重的风险增加时,得出结论认为统计上不显著的结果显示“无关联”是荒谬的;同样荒谬的是,声称这些结果与先前研究中显示相同观察效果的结果相反。然而,这些常见的实践表明,依赖统计意义上的阈值会误导我们。

谨防错误结论

这些错误以及类似的错误普遍存在。对数百篇文章的调查发现,统计上不显著的结果被解释为“没有差异”或“没有影响”的约有一半。

2016年,美国统计协会在《美国统计学家》上发表声明,警告误用统计意义和P值。本月,《美国统计学家》杂志又发表了40多篇关于“21世纪的统计推断:一个没有P<0.05的世界”的论文。编辑们在介绍这期特刊的时候谨慎地说,“不要说’统计意义重大’”。

《美国统计学家》杂志最新报道

三位统计学家也同意这一点,并呼吁放弃整个统计意义的概念。

停止使用非黑即白的P值,800多研究者同意

这三位统计学家写完《科学家们起来反对统计学意义》(Scientists rise up against statistical significance)一文草稿之后,邀请了其他人阅读,并表示如果人们同意三人的观点,就签上自己的名字。

没想到这篇文章得到了诸多人的赞同,在最初的24小时内,就有250人签了名。一星期后,共收到800多份签名,签名者包括来自50多个国家的统计学家、临床和医学研究人员、生物学家和心理学家,除南极洲没人以外,所有大洲都有人签名。

一名倡导者称,这是“对统计意义轻率测试的外科手术式打击”,也是“一个为更好的科学实践发声的机会”。

同时,三位统计学家也强调,他们不是在呼吁禁止P值。不是说P值不能在某些特定的应用程序中用作决策标准,而是他们与过去几十年的许多其他研究结果一样,呼吁停止以传统的二分法使用P值——来决定结果是反驳还是支持一项科学假设。

避免这种“二分法”的一个原因是,所有的统计数据,包括P值和置信区间,都会随着研究的不同而自然地发生变化,并且往往变化非常大。事实上,单凭随机变化就能很容易导致P值的巨大差异,远远不止落在0.05阈值的任何一侧。例如,即使研究人员可以对一些真实的效果进行两次完美的复制研究,每次都有80%的机会达到P < 0.05,那么其中一个得到P < 0.01,另一个得到P > 0.30也就不足为奇了。无论P值是大是小,都需要谨慎。

问题不在于统计,而在于人和认知:把结果分成“统计显著性”和“统计非显著性”,让人们认为以这种方式分配的项目是截然不同的。同样的问题也可能出现在任何涉及二分法的统计替代方法中,无论是频域法、贝叶斯法还是其他方法。

不幸的是,科学家和期刊编辑们错误地认为,超过统计意义的临界值就足以证明一个结果是“真实的”,这导致他们对这类结果给予了特权,从而扭曲了文献。统计上有意义的估计值在大小上向上偏倚,而且可能偏差的幅度很大,而统计上不显著的估计值是向下偏倚的。

因此,任何侧重于统计学意义的估计的讨论都是有偏见的。最重要的是,对统计意义的严格关注鼓励研究人员选择一些数据和方法,这些数据和方法对于某些期望的结果具有统计显著性(或者仅仅是可发表的),或者对于不期望的结果没有统计显著性,例如药物的潜在副作用,从而使结论无效。

预先登记研究和承诺公布所有分析的所有结果可以大大减轻这些问题。然而,即使是预先登记的研究结果也可能因分析计划中始终未作决定而产生偏差。即使是出于好意,这也会发生。

放弃了统计学意义,我该怎么办?

Nature在2014年的一篇文章中,讨论了P值并不像许多科学家所假设的那样可靠,当时文章引起了业界很大反响,由此引发了后来美国统计协会在2016年警告滥用统计意义和P值。

如果研究人员确实放弃了统计学意义,他们应该做些什么呢?

三位统计学家认为:我们必须学会接受不确定性。

一种实用的方法是将置信区间重新命名为“兼容区间”(compatibility intervals),并以避免过度自信的方式解释它们。具体地说,建议作者描述区间内所有值的实际含义,特别是观察到的效果和极限。在这样做时,他们应该记住,考虑到用来计算区间的统计假设,区间极限之间的所有值都与数据合理地兼容。因此,在区间中挑出一个特定的值(例如null值)没有任何意义。

当谈到兼容间隔时,请记住四件事:

首先,仅仅因为区间给出了与数据最相容的值,在给定假设条件下,并不意味着区间外的值是不相容的;它们只是兼容性较差。事实上,区间外的值与区间内的值没有本质上的区别。因此,说区间表示所有可能的值是错误的。

其次,根据假设,并不是所有的值都与数据一致。点估计值(point estimate)是最兼容的,接近它的值比接近极限的值更兼容。这就是为什么我们敦促作者讨论点估计,即使他们有一个大的P值或一个大的区间,以及讨论该区间的极限。

第三,与0.05的阈值一样,用于计算区间的默认95%本身也是一种任意约定。它基于这样一种错误的想法,即计算出的区间本身有95%的几率包含真实值,同时还有一种模糊的感觉,即这是一个自信决策的基础。根据应用程序的不同,可以调整不同的级别。而且,就像在抗炎药物的例子中一样,如果把区间估计施加的二分法当作一种科学标准来对待,区间估计可能会使统计显著性的问题长期存在。

最后,也是最重要的一点,要谦虚:兼容性评估取决于用于计算区间的统计假设的正确性。在实践中,这些假设受制于相当大的不确定性。使这些假设尽可能清晰,并测试你可以测试的假设,例如通过绘制数据并拟合替代模型,然后报告所有结果。

无论统计数据显示什么,都可以为你的结果提出理由,但要讨论一系列可能的解释,而不仅仅是你喜欢的那些。推论应该是科学的,而不仅仅是统计的。背景证据、研究设计、数据质量和对潜在机制的理解等因素往往比P值或区间等统计度量更重要。

同时,三位统计学家呼吁消除统计意义,并将置信区间作为兼容性区间,这并不是万灵药。尽管它将消除许多不好的实践,但它很可能引入新的问题。因此,监测文献中的统计滥用应该是科学界目前的一项优先事项。

但是,当原始研究和复制研究的结果高度一致时,消除分类将有助于阻止过分自信的断言、“没有区别”的不合理声明和关于“复制失败”的荒谬声明。滥用统计意义对科学界和那些依赖科学建议的人造成了很大的危害。P值、区间和其他统计度量都有它们的位置,但现在是统计意义消失的时候了。

这也并不意味着大学的统计学白上了。研究人员可以从教育自己对统计的误解开始,最重要的是在每项研究中从多个角度考虑不确定性。从逻辑、背景知识和实验设计应与P值和类似指标一起考虑,以得出结论并确定其确定性。

在确定使用哪种方法时,研究人员还应尽可能地关注实际问题。对于使用统计数据的最佳方式而言,在抽象理论上给予否定的人,在提出具体情景时,往往会给予肯定的结果。

简而言之,要持怀疑态度,选择一个好问题,并尝试以多种方式回答它。毕竟,接近事实需要很多数字。

最后,介绍一下这三位统计学家。

Valentin Amrhein,瑞士巴塞尔大学的动物学教授;

Sander Greenland,加州大学洛杉矶分校的流行病学和统计学教授;

Blake McShane,伊利诺伊州埃文斯顿西北大学的统计学方法学家和营销学教授。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    6786

    浏览量

    88707
  • 科学家
    +关注

    关注

    0

    文章

    35

    浏览量

    11221
  • 统计
    +关注

    关注

    1

    文章

    19

    浏览量

    13495

原文标题:大学统计学白上了?800多科学家联名反对“统计学意义”,P值该废了

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    嵌入式学习-飞凌嵌入式ElfBoard ELF 1板卡-应用编程示例之文件IO的方式控制LED

    个问题,我们好不容易写好的第个程序怎么放到开发板执行呢?直接把led.c拷贝到开发板上好像不行,因为led.c是C语言,而开发板只认识二进制程序。如果使用之前ubuntu中介绍过的gcc编译工具,用
    发表于 10-22 10:49

    飞凌嵌入式ElfBoard ELF 1板卡-应用编程示例之文件IO的方式控制LED

    个问题,我们好不容易写好的第个程序怎么放到开发板执行呢?直接把led.c拷贝到开发板上好像不行,因为led.c是C语言,而开发板只认识二进制程序。如果使用之前ubuntu中介绍过的gcc编译工具,用
    发表于 10-21 09:41

    【图文】存储设备 |ICY DOCK 三款高效NVMe PCIe转接卡

    如今,PCIeNVMe接口已经变得如此普遍,以至于当谈到SSD存储时,人们就会想到M.2。不仅安装方便、占用空间小,而且利用PCIe接口提供数十倍于SATASSD的性能。令人失望的一件
    的头像 发表于 10-12 17:22 335次阅读
    【图文】存储设备 |ICY DOCK 三款高效NVMe PCIe转接卡

    为什么做一件事或者学习FPGA每隔段时间就会感觉遇到瓶颈呢?

    一件事或者学习每隔段时间就会感觉遇到瓶颈
    发表于 07-30 08:59

    南京理工大学数学与统计学院师生团队行莅临中科亿海微参观交流

    近日,南京理工大学数学与统计学院(以下简称“数统学院”)徐慧玲书记带领师生团队行莅临中科亿海微电子科技(苏州)有限公司(简称“中科亿海微”)进行参观交流。师生团队参观了中科亿海微的公司展厅及特种
    的头像 发表于 07-06 08:11 462次阅读
    南京理工<b class='flag-5'>大学</b>数学与<b class='flag-5'>统计学</b>院师生团队<b class='flag-5'>一</b>行莅临中科亿海微参观交流

    蔚来与塞切尼·伊什特万大学基金共同签署战略合作备忘录

    5月21日,布达佩斯,为积极响应中匈两国领导人和中匈新时代全天候全面战略伙伴关系,在中国驻匈牙利龚韬大使和匈牙利国民经济部长马顿·那吉共同见证下,蔚来与匈牙利塞切尼·伊什特万大学基金、塞切尼·伊什特万大学和匈牙利赛车和绿色出行
    的头像 发表于 05-22 10:10 343次阅读

    STM8S003 I2C从机接收不是很稳定的原因?

    最近好不容易做出了I2C从机。但是发现从机接收不是很稳定,这是什么问题?有人遇见过吗,有大神用过模拟I2C从机 吗
    发表于 05-06 07:38

    请问FOC的采样电流到底是怎么计算的?

    好不容易找到了RSHUNT的值 #define RSHUNT 0.3300 然后发现程序计算采样电流并没有用 RSHUNT , 而是如下的方式计算的: /* Current on Phase
    发表于 04-09 06:43

    基于Ai-M61模组打造个智能鱼缸水质监测系统

    最近小安迷上了养鱼,看着漂亮的小鱼在鱼缸游来游去真的很治愈,而且鱼缸造景也给家里的环境增添了丝别样的风采。可是苦于小安是名小白选手,好不容易完成前期鱼缸选择,滤芯的更换,硝化细菌
    的头像 发表于 03-29 11:04 412次阅读

    华为pockets折叠屏易坏吗

    华为Pocket S的折叠屏并不容易坏。
    的头像 发表于 03-06 17:11 3601次阅读

    听懂句AI实话,做成一件零售实事

    摒弃空谈,聚焦实用,让大模型及AIGC的产业价值不再朦胧
    的头像 发表于 02-02 20:56 3270次阅读
    <b class='flag-5'>听懂</b><b class='flag-5'>一</b>句AI实话,做成<b class='flag-5'>一件</b>零售实事

    英特尔中国研究院 x 复旦大学附属中山医院:穿越时空的医生

    下面这些场景, 你可能感到似曾相识: 生病强撑着到了医院,发现前面排着几十个人; 好不容易见到了医生,自己的病情却说不到点儿上; 听医生说需要做手术,阵莫名的恐惧袭来…… 如果你是
    的头像 发表于 11-24 20:00 549次阅读
    英特尔中国研究院 x 复旦<b class='flag-5'>大学</b>附属中山医院:穿越时空的医生

    统计学知识大梳理

    二维:就是研究某个“事件”,笔者认为事件是依托于“时间轴”存在的,过去是否发生,现在是可能会出现几种情况,每种情况未来发生的可能性有多大?这类问题是属于概率论的范畴。
    的头像 发表于 11-24 17:07 797次阅读
    <b class='flag-5'>统计学</b>知识大梳理

    电容编号的这个字有特殊意义

    电容编号的这个字有特殊意义
    的头像 发表于 11-24 15:35 502次阅读
    电容编号<b class='flag-5'>里</b>的这个字有特殊<b class='flag-5'>意义</b>

    把“上云”变成一件简单事情,华为云这款轻量应用服务器大有乾坤

    在这个数字化高度普及的时代,企业发展不再是单纯劳动力输出,更多转向技术密集型行业,云计算已经成为了企业升级发展的必然选择。然而,对于很多企业来说,想要成功“上云”却是一件让人头疼的事情。复杂的操作
    的头像 发表于 11-12 17:52 463次阅读
    把“上云”<b class='flag-5'>变成</b><b class='flag-5'>一件</b>简单<b class='flag-5'>事情</b>,华为云这款轻量应用服务器大有乾坤