0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

大数据是非竞争性资源,有助于政府科学决策、商家精准营销

悟空智能科技 来源:未知 作者:李倩 2018-05-24 17:19 次阅读

在数据“爆炸”的时代,大数据常常被寄予厚望。到底,什么样的数据才算大数据,怎样才能用好大数据,传统统计学还有用武之地吗?清华大学统计学研究中心前不久成立,著名统计学家、哈佛大学终身教授刘军担任主任。日前,刘军做客人民日报、人民网《文化讲坛》,分享他的思考。

让大数据区别于数据的,是其海量积累、高增长率和多样性

什么是数据?数据(data)在拉丁文里是“已知”的意思,在英文中的一个解释是“一组事实的集合,从中可以分析出结论”。笼统地说,凡是用某种载体记录下来的、能反映自然界和人类社会某种信息的,就可称之为数据。古人“结绳记事”,打了结的绳子就是数据。步入现代社会,信息的种类和数量越来越丰富,载体也越来越多。数字是数据,文字是数据,图像、音频视频等都是数据。

什么是大数据呢?量的增多,是人们对大数据的第一个认识。随着科技发展,各个领域的数据量都在迅猛增长。有研究发现,近年来,数字数据的数量每3年多就会翻一番。

大数据区别于数据,还在于数据的多样性。正如高德纳咨询公司研究报告指出的,数据的爆炸是三维的、立体的。所谓的三维,除了指数据量快速增大外,还指数据增长速度的加快,以及数据的多样性,即数据的来源、种类不断增加。

从数据到大数据,不仅是量的积累,更是质的飞跃。海量的、不同来源、不同形式、包含不同信息的数据可以容易地被整合、分析,原本孤立的数据变得互相联通。这使得人们通过数据分析,能发现小数据时代很难发现的新知识,创造新的价值。

通过数据来研究规律、发现规律,贯穿了人类社会发展的始终。人类科学发展史上的不少进步都和数据采集分析直接相关,例如现代医学流行病学的开端。伦敦1854年发生了大规模的霍乱,很长时间没有办法控制。一位医师用标点地图的方法研究了当地水井分布和霍乱患者分布之间的关系,发现有一口水井周围,霍乱患病率明显较高,借此找到了霍乱暴发的原因:一口被污染的水井。关闭这口水井之后,霍乱的发病率明显下降。这种方法,充分展示了数据的力量。

本质上说,许多科学活动都是数据挖掘,不是从预先设定好的理论或者原理出发,通过演绎来研究问题,而是从数据本身出发通过归纳来总结规律。近现代以来,随着我们面临的问题变得越来越复杂,通过演绎的方式来研究问题常常变得很困难。这就使得数据归纳的方法变得越来越重要,数据的重要性也越发凸显出来。

大数据是非竞争性资源,有助于政府科学决策、商家精准营销

大数据时代,数据的重要作用更加凸显,许多国家都把大数据提升到国家战略的高度。

政府合理利用大数据,引导决策的将是基于实证的事实,政府会更有预见性、更加负责、更加开放。中国古代治国就已经有重数据的思想,如商鞅提出,“强国知十三数……欲强国,不知国十三数,地虽利,民虽众,国愈弱至削”。大数据时代,循“数”治国将更加有效。小数据时代,政府做决策更多依凭经验和局部数据,难免头痛医头、脚痛医脚。比如,交通堵塞就多修路。大数据时代,政府做决策能够从粗放型转向集约型。路堵了,利用大数据分析,可以得知哪一时间、哪一地段最容易堵,或在这一地段附近多修路,或提前预警引导居民合理安排出行,实现对交通流的最佳配置和控制,改善交通。

对于商家来说,大数据使精准营销成为可能。一个有趣的故事,是沃尔玛超市的“啤酒、尿布”现象。沃尔玛超市分析销售数据时发现,顾客消费单上和尿布一起出现次数最多的商品,竟然是啤酒。跟踪调查后发现,有不少年轻爸爸会在买尿布时,顺便买些啤酒喝。沃尔玛发现这一规律后,搭配促销啤酒、尿布,销量大幅增加。大数据时代,每个人都会“自发地”提供数据。我们的各种行为,如点击网页、使用手机、刷卡消费、观看电视、坐地铁出行、驾驶汽车,都会生成数据并被记录下来,我们的性别、职业、喜好、消费能力等信息,都会被商家从中挖掘出来,以分析商机。

大数据也将使个人受益。从生物学、医学上讲,以前生物学家只是通过对单个或几个基因的操控来观察其对生物体的影响,很难发现整体的关联。现在由于技术的发展,可以分析很多,如遗传信息、全体基因的表达量信息、蛋白质族谱信息、全基因组甲基化信息、表观遗传信息等。同时还有个人健康指标、病历、药物反应等数据。如果真能达成生物学上多维多向数据的有机融合,就能够把个人完整地描述出来,从而实现精准医疗的目的。

大数据时代,审核数据的真实性也有了更有效的手段。大数据的特征之一是多样性,不同来源、不同维度的数据之间存在一定的关联度,可以交叉验证。例如,某地的工业产值虚报了一倍,但用电量和能耗却没有达到相应的规模。这就是数据异常,很容易被系统识别出来。发现异常后,相关部门再进行复核,就能更有针对性地防止、打击数据造假。

数据是一种资源,但数据又跟煤、石油等物质性资源不一样。物质性资源不可再生,你用多了,别人就用少了,因而很难共享。数据可以重复使用、不断产生新的价值。大数据资源的使用是非恶性竞争的,共享的前提下,更能够制造双赢。从另一个角度来说,数据如果不被融合、联系在一起,也不能称之为大数据。

大数据不能被直接拿来使用,统计学依然是数据分析的灵魂

现在社会上有一种流行的说法,认为在大数据时代,“样本 = 全体”,人们得到的不是抽样数据而是全数据,因而只需要简单地数一数就可以下结论了,复杂的统计学方法可以不再需要了。

在我看来,这种观点非常错误。首先,大数据告知信息但不解释信息。打个比方说,大数据是“原油”而不是“汽油”,不能被直接拿来使用。就像股票市场,即使把所有的数据都公布出来,不懂的人依然不知道数据代表的信息。大数据时代,统计学依然是数据分析的灵魂。正如加州大学伯克利分校迈克尔·乔丹教授指出的:没有系统的数据科学作为指导的大数据研究,就如同不利用工程科学的知识来建造桥梁,很多桥梁可能会坍塌,并带来严重的后果。

其次,全数据的概念本身很难经得起推敲。全数据,顾名思义就是全部数据。这在某些特定的场合对于某些特定的问题确实可能实现。比如,要比较清华、北大两校同学数学能力整体上哪个更强,可以收集到两校同学高考时的数学成绩作为研究的数据对象。从某种意义上说,这是全数据。但是,并不是说我们有了这个全数据就能很好地回答问题。

一方面,这个数据虽然是全数据,但仍然具有不确定性。入校时的数学成绩并不一定完全代表学生的数学能力。假如让所有同学重新参加一次高考,几乎每个同学都会有一个新的成绩。分别用这两组全数据去做分析,结论就可能发生变化。另一方面,事物在不断地发展和变化,同学入校时的成绩并不能够代表现在的能力。全体同学的高考成绩数据,仅对于那次考试而言是全数据。“全”是有边界的,超出了边界就不再是全知全能了。事物的发展充满了不确定性,而统计学,既研究如何从数据中把信息和规律提取出来,找出最优化的方案;也研究如何把数据当中的不确定性量化出来。

所以说,在大数据时代,数据分析的很多根本性问题和小数据时代并没有本质区别。当然,大数据的特点,确实对数据分析提出了全新挑战。例如,许多传统统计方法应用到大数据上,巨大计算量和存储量往往使其难以承受;对结构复杂、来源多样的数据,如何建立有效的统计学模型也需要新的探索和尝试。对于新时代的数据科学而言,这些挑战也同时意味着巨大的机遇,有可能会产生新的思想、方法和技术。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 大数据
    +关注

    关注

    64

    文章

    8894

    浏览量

    137495

原文标题:大数据时代,传统统计学依然是数据分析的灵魂

文章出处:【微信号:WUKOOAI,微信公众号:悟空智能科技】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    【「大模型启示录」阅读体验】营销领域大模型的应用

    今天跟随「大模型启示录」这本书,学习在营销领域应用大模型。 大模型通过分析大量的消费者数据,包括购买历史、浏览记录、社交媒体互动等,能够识别消费者的偏好和行为模式。这种分析能力有助于企业更好地理
    发表于 12-24 12:48

    走进碳计量电表:精准计量,赋能可持续发展

    碳排放电表的出现对于推动绿色低碳发展具有重要意义。它不仅能够提高碳排放计量的精准度和时效,还有助于企业优化低碳管理,制定更加科学合理的减排措施。
    的头像 发表于 12-21 17:02 113次阅读
    走进碳计量电表:<b class='flag-5'>精准</b>计量,赋能可持续发展

    精准监测科学决策!物联网河道水渠水利监测系统助力智慧水利管理

    精准监测科学决策!物联网河道水渠水利监测系统助力智慧水利管理
    的头像 发表于 12-02 10:14 177次阅读
    <b class='flag-5'>精准</b>监测<b class='flag-5'>科学决策</b>!物联网河道水渠水利监测系统助力智慧水利管理

    飞易通蓝牙信标:助力精准近场营销

    的重要 蓝牙信标能让企业有效地收集顾客到店频率、停留时间等数据,帮助优化营销策略。基于数据分析,商家可以
    的头像 发表于 11-11 14:30 200次阅读
    飞易通蓝牙信标:助力<b class='flag-5'>精准</b>近场<b class='flag-5'>营销</b>

    灌区农业气象监测物联网系统,实时监控,精准管理

    精准分析和科学决策,能够有效提升了农业生产效率和资源利用效率。 灌区农业气象监测物联网系统的主要包括数据采集、数据处理、信息传输和
    的头像 发表于 10-23 10:41 172次阅读
    灌区农业气象监测物联网系统,实时监控,<b class='flag-5'>精准</b>管理

    多级宽带放大器各级之间pcb独立分开,信号线用sma线相接,电源线用普通铜线导线,有助于抗干扰吗?

    请问,多级宽带放大器各级之间pcb独立分开,信号线用sma线相接,电源线用普通铜线导线,有助于抗干扰么?
    发表于 09-05 06:35

    关于一些有助于优化电源设计的新型材料

    众所周知,人们对更高电源效率的追求正在推动性能的全方位提升。材料科学的进步对于优化电源设计和开发更高效、更紧凑和更可靠的解决方案发挥着关键作用。下文列出了一些有助于优化电源设计的新材料。
    的头像 发表于 08-29 15:26 431次阅读

    MSPM0-高级控制计时器有助于实现更好的控制和更好的数字输出

    电子发烧友网站提供《MSPM0-高级控制计时器有助于实现更好的控制和更好的数字输出.pdf》资料免费下载
    发表于 08-28 11:30 0次下载
    MSPM0-高级控制计时器<b class='flag-5'>有助于</b>实现更好的控制和更好的数字输出

    有助于提高网络设备性能的FRAM SF25C20(MB85RS2MT)

    有助于提高网络设备性能的FRAM SF25C20(MB85RS2MT)
    的头像 发表于 07-25 09:49 296次阅读
    <b class='flag-5'>有助于</b>提高网络设备性能的FRAM SF25C20(MB85RS2MT)

    EOS智慧营销设计平台:精准高效可扩展的营销新选择

    随着人工智能、大数据和信息技术的不断发展,企业需要更高效、更精准的工具来设计和实施营销策略。这时,EOS智慧营销设计平台应运而生,为企业提供了全新的
    的头像 发表于 07-24 14:07 374次阅读
    EOS智慧<b class='flag-5'>营销</b>设计平台:<b class='flag-5'>精准</b>高效可扩展的<b class='flag-5'>营销</b>新选择

    爱普生的高精度传感技术有助于监控自动化

    Epson、JREast和NaganoKeiki联合开发了一种适用于铁路运营商的实用挠度监测设备-爱普生的高精度传感技术有助于监控自动化-SeikoEpsonCorporation(TSE:6724
    的头像 发表于 06-27 10:53 359次阅读
    爱普生的高精度传感技术<b class='flag-5'>有助于</b>监控自动化

    大数据对企业开展网络营销有多重要?

    现在随着网络的不断发展,网络营销已经成为现在企业推广的一种重要的营销方式。现在的网络营销进入高速发展时期,企业纷纷加入网络营销的大潮,进行网络竞争
    的头像 发表于 06-24 11:41 932次阅读

    大数据在部队管理中的运用有哪些

    智慧华盛恒辉大数据在部队管理中的运用主要体现在以下几个方面: 决策支持: 智慧华盛恒辉部队管理可以利用大数据技术,对海量的数据进行分析,为决策
    的头像 发表于 06-23 09:53 1166次阅读

    EOS智慧营销系统:精准营销,提升竞争

    在数字化时代,智慧营销被誉为企业提升竞争力的关键。而EOS智慧营销系统作为一款领先于时代潮流的创新软件,正以其卓越的功能和不可替代的优势,引领着营销智能化的新时代。
    的头像 发表于 05-09 10:20 567次阅读
    EOS智慧<b class='flag-5'>营销</b>系统:<b class='flag-5'>精准</b><b class='flag-5'>营销</b>,提升<b class='flag-5'>竞争</b>力

    在微芯片上使用3D反射器堆栈有助于加快6G通信的发展

    一项新的研究发现,在微芯片上使用3D反射器堆栈可以使无线链路的数据速率提高三倍,从而有助于加快6G通信的发展。
    的头像 发表于 03-13 16:31 704次阅读