0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

开源“摩尔定律”即将打破《2022开源大数据热力报告》云栖大会上发布

OSC开源社区 来源: OSC开源社区 作者: OSC开源社区 2022-11-09 15:07 次阅读

11月5日,在2022云栖大会一体化大数据智能峰会上,由开放原子开源基金会、X-lab开放实验室和阿里巴巴开源委员会联合出品的《2022年开源大数据热力报告》重磅发布。 开放原子开源基金会副秘书长刘京娟女士对报告进行了深度解读。报告基于公开数据研究最活跃的102个开源大数据项目,探寻出开源大数据技术发展背后的“摩尔定律”:每隔40个月,开源项目热力值就会翻一倍,技术完成一轮更新迭代。在过去8年里,发生了5次较大规模的技术热力跃迁,多元化、一体化、云原生成为当前开源大数据发展趋势的最显著特征。

d1407ce4-5cd7-11ed-a3b6-dac502259ad0.jpg

定量分析“后Hadoop时代”开源趋势

Hadoop 作为开源大数据技术的起源,兴起于2006年,至今已有16年历史。我们收集了从Hadoop 发展第10年(即2015年)至今的相关公开数据,并进行了关联分析,定义了开源项目热力值研究模型,使用量化指标,来刻画开源项目的开发迭代活跃度和受开发者欢迎程度。 报告所呈现的开源大数据热力图,从技术全景、技术栈分类以及项目维度对入围项目的热力表现进行洞察,将项目进程中的关键事件与热力表现关联分析,并访谈了开源基金会、知名开源项目等领域专家,尝试找到项目健康发展一般规律,并对有效提升项目影响力的方法论进行了归纳总结。

开源大数据技术的“摩尔定律”即将打破

报告发现,每隔40个月,热力值会提升1倍,开源大数据完成一轮技术迭代升级,而且技术周期在加速缩短。在8年时间内,发生了多轮热力变迁,反映出背后技术的更新换代趋势。开发者对「数据查询与分析」保持了长期的开发热情,这一技术栈连续8年位于热力值榜首。2017年,「流处理」热力值超过「批处理」,大数据处理进入实时阶段。随着数据规模越来越大,数据结构更多样化,「数据集成」从2020年开始爆发式增长。

三大热力趋势:多元化、一体化和云原生

用户需求多样化推动技术多元化。「数据湖」以34%的热力值年均复合增长率高居热力值增速第一位,「交互式分析」、「DataOps」紧随其后,分列第二、三位。而原有Hadoop体系的产品迭代则趋于稳定,热力值年均复合增长率为1%。 从2015年开始,计算部分率先进入「一体化」演进历程,其中的典型代表「流批一体」在2019年出现第一个热力峰值。以数据湖存储为代表的存储一体化从2019年起进入了一个新的发展阶段,涌现了Delta Lake、 Iceberg和Hudi等热点项目。 云原生大规模重构开源技术栈。诞生于云原生时代的开源项目如雨后春笋般破土成长。「数据集成」、「数据存储」、「数据开发与管理」等领域都发生了非常大的项目更迭,新项目热力值占比已经超过了80%。

开源大数据热力榜单TOP30

本报告从102个入围项目中,评选出了TOP30热力榜单。Kibana以989.40的热力值高居榜首。ClickHouse(数据查询与分析)、Airflow(数据调度与编排)、Flink(流处理)、Airbyte(数据集成)分别摘得各自细分领域的TOP1。Pulsar、Doris、StarRocks、DolphinScheduler、SeaTunnel等一众中国开源项目也表现出高热力趋势。把解决用户痛点作为核心竞争力,是这些优秀开源项目的共同特征,这一特征保证它们与时俱进,成为热力趋势中的“常青树”。

d19099ae-5cd7-11ed-a3b6-dac502259ad0.png

感谢开源中国、InfoQ和阿里云开发者社区的战略支持,感谢对本报告内容产出做出重要贡献的32位专家和贡献者。感谢CSDN、DataFun、Segmentfault思否、开源社等社区合作。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 开源
    +关注

    关注

    3

    文章

    3243

    浏览量

    42378
  • Hadoop
    +关注

    关注

    1

    文章

    90

    浏览量

    15956
  • 大数据
    +关注

    关注

    64

    文章

    8862

    浏览量

    137278
  • 云栖大会
    +关注

    关注

    0

    文章

    33

    浏览量

    8653
  • 云原生
    +关注

    关注

    0

    文章

    240

    浏览量

    7937

原文标题:开源“摩尔定律”即将打破,《2022开源大数据热力报告》重磅发布

文章出处:【微信号:OSC开源社区,微信公众号:OSC开源社区】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    击碎摩尔定律!英伟达和AMD将一年一款新品,均提及HBM和先进封装

    电子发烧友网报道(文/吴子鹏)摩尔定律是由英特尔创始人之一戈登·摩尔提出的经验规律,描述了集成电路上的晶体管数量和性能随时间的增长趋势。根据摩尔定律,集成电路上可容纳的晶体管数目约每隔18个月便会
    的头像 发表于 06-04 00:06 3978次阅读
    击碎<b class='flag-5'>摩尔定律</b>!英伟达和AMD将一年一款新品,均提及HBM和先进封装

    全球首个开源AI标准正式发布

    近日,在备受瞩目的2024年ALL THINGS OPEN大会上开源组织Open Source Initiative(OSI)宣布了一项重大突破——正式发布开源人工智能定义(OSA
    的头像 发表于 10-31 10:59 206次阅读

    得瑞领新亮相2024云栖大会,展现企业级NVMe SSD创新实力

    在2024云栖大会上,得瑞领新展示了企业级NVMe SSD解决方案在云计算、大数据和金融等领域的优势,提升数据处理效率的同时优化了能耗管理,为企业数字化转型提供了强有力支持,吸引了众多
    的头像 发表于 09-24 15:23 267次阅读
    得瑞领新亮相2024<b class='flag-5'>云栖</b><b class='flag-5'>大会</b>,展现企业级NVMe SSD创新实力

    全球首个芯片设计开源大模型SemiKong正式发布

    强强联合打造的杰作,在Semicon West 2024大会上首次惊艳亮相,便迅速吸引了全球业界的瞩目与热议。SemiKong不仅代表着人工智能技术在芯片设计领域的一次重大飞跃,更是开源精神在高科技领域的又一次胜利宣言。
    的头像 发表于 07-14 10:01 789次阅读

    “自我实现的预言”摩尔定律,如何继续引领创新

    59年前,1965年4月19日,英特尔公司联合创始人戈登·摩尔(Gordon Moore)应邀在《电子》杂志上发表了一篇四页短文,提出了我们今天熟知的摩尔定律(Moore’s Law)。 就像你为
    的头像 发表于 07-05 15:02 238次阅读

    封装技术会成为摩尔定律的未来吗?

    你可听说过摩尔定律?在半导体这一领域,摩尔定律几乎成了预测未来的神话。这条定律,最早是由英特尔联合创始人戈登·摩尔于1965年提出,简单地说就是这样的:集成电路上可容纳的晶体管数量大约
    的头像 发表于 04-19 13:55 300次阅读
    封装技术会成为<b class='flag-5'>摩尔定律</b>的未来吗?

    功能密度定律是否能替代摩尔定律摩尔定律和功能密度定律比较

    众所周知,随着IC工艺的特征尺寸向5nm、3nm迈进,摩尔定律已经要走到尽头了,那么,有什么定律能接替摩尔定律呢?
    的头像 发表于 02-21 09:46 638次阅读
    功能密度<b class='flag-5'>定律</b>是否能替代<b class='flag-5'>摩尔定律</b>?<b class='flag-5'>摩尔定律</b>和功能密度<b class='flag-5'>定律</b>比较

    摩尔定律的终结:芯片产业的下一个胜者法则是什么?

    在动态的半导体技术领域,围绕摩尔定律的持续讨论经历了显着的演变,其中最突出的是 MonolithIC 3D 首席执行官Zvi Or-Bach于2014 年的主张。
    的头像 发表于 01-25 14:45 1049次阅读
    <b class='flag-5'>摩尔定律</b>的终结:芯片产业的下一个胜者法则是什么?

    中国团队公开“Big Chip”架构能终结摩尔定律

    摩尔定律的终结——真正的摩尔定律,即晶体管随着工艺的每次缩小而变得更便宜、更快——正在让芯片制造商疯狂。
    的头像 发表于 01-09 10:16 768次阅读
    中国团队公开“Big Chip”架构能终结<b class='flag-5'>摩尔定律</b>?

    摩尔定律时代,Chiplet落地进展和重点企业布局

    如何超越摩尔定律,时代的定义也从摩尔定律时代过渡到了后摩尔定律时代。 后摩尔定律时代,先进封装和Chiplet技术被寄予厚望。近日,由博闻创意主办的第七届中国系统级封装
    的头像 发表于 12-21 00:30 1472次阅读

    诚邀报名|黄向东邀您共话开源工业物联网大数据

    2023 开放原子开发者大会 OPEN ATOM DEVELOPERS CONFERENCE 开源工业物联网大数据分论坛 2023.12.17 物联网与大数据技术的飞速进步,为工业数字
    的头像 发表于 12-20 16:54 348次阅读
    诚邀报名|黄向东邀您共话<b class='flag-5'>开源</b>工业物联网<b class='flag-5'>大数据</b>

    诚邀报名|开放原子开发者大会——2023木兰开源大会即将启幕!

    纷纷扰扰的开源圈,宛如一座江湖,你方唱罢我登场,各领风骚一摩尔。而剥离繁华的表象之下,是每一个开发者的辛勤汗水,是一个个创意与思想的碰撞,是无数行代码在黑暗机箱中的运行。在这座江湖中,每一个开发者
    的头像 发表于 12-10 20:45 751次阅读
    诚邀报名|开放原子开发者<b class='flag-5'>大会</b>——2023木兰<b class='flag-5'>开源</b><b class='flag-5'>大会</b><b class='flag-5'>即将</b>启幕!

    诚邀报名|黄向东邀您共话开源工业物联网大数据

    2023开放原子开发者大会 . OPEN ATOM DEVELOPERS CONFERENCE 开源工业物联网大数据分论坛 2023.12.17 物联网与大数据技术 的飞速进步,为工业
    的头像 发表于 12-05 19:35 526次阅读
    诚邀报名|黄向东邀您共话<b class='flag-5'>开源</b>工业物联网<b class='flag-5'>大数据</b>

    应对传统摩尔定律微缩挑战需要芯片布线和集成的新方法

    应对传统摩尔定律微缩挑战需要芯片布线和集成的新方法
    的头像 发表于 12-05 15:32 536次阅读
    应对传统<b class='flag-5'>摩尔定律</b>微缩挑战需要芯片布线和集成的新方法

    上海站报名启动! 2023年开源产业生态大会OpenHarmony生态分论坛

    作为年内开源领域不容错过的科技盛宴,2023年开源产业生态大会将于12月19日在上海盛大开幕。本次活动由上海市经济和信息化委员会、上海市科学技术协会和\"科创中国\"开源创新
    发表于 11-24 14:55