0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

《2022开源大数据热力报告》重磅发布

开放原子 来源:未知 2022-11-06 22:15 次阅读
11月5日,在云栖大会一体化大数据智能峰会上,由开放原子开源基金会、X-lab开放实验室和阿里巴巴开源委员会联合出品的《2022开源大数据热力报告》重磅发布c6b3afe8-5ddc-11ed-a3b6-dac502259ad0.jpg开放原子开源基金会副秘书长刘京娟 开放原子开源基金会副秘书长刘京娟对报告进行了深度解读。报告基于公开数据研究最活跃的102个开源大数据项目,探寻出开源大数据技术发展背后的“摩尔定律”:每隔40个月,开源项目热力值就会翻一倍,技术完成一轮更新迭代。在过去8年里,发生了5次较大规模的技术热力跃迁,多元化、一体化、云原生成为当前开源大数据发展趋势的最显著特征。

定量分析“后Hadoop时代”开源趋势

Hadoop作为开源大数据技术的起源,兴起于2006年,至今已有16年历史。报告收集了从Hadoop发展第10年(即2015年)至今的相关公开数据,并进行了关联分析,定义了开源项目热力值研究模型,用量化指标描述开源项目的开发迭代活跃度和受开发者欢迎程度。 报告所呈现的开源大数据热力图,从技术全景、技术栈分类以及项目维度对入围项目的热力表现进行洞察,将项目进程中的关键事件与热力表现关联分析,并访谈了开源基金会、知名开源项目等领域专家,尝试找到项目健康发展一般规律,并对有效提升项目影响力的方法论进行了归纳总结。

开源大数据技术的“摩尔定律”

报告发现,每隔40个月,热力值会提升1倍,开源大数据完成一轮技术迭代升级,而且技术周期在加速缩短。在8年时间内,发生了多轮热力变迁,反映出背后技术的更新换代趋势。开发者对「数据查询与分析」保持了长期的开发热情,连续8年位居热力值榜首。2017年,「流处理」热力值超过「批处理」,大数据处理进入实时阶段。数据规模不断扩大,数据结构也更多样化,「数据集成」从2020年开始爆发式增长。

三大热力趋势:多元化、一体化和云原生

用户需求多样化推动技术多元化。「数据湖」以34%的热力值年均复合增长率高居热力值增速第一位,「交互式分析」、「DataOps」紧随其后,分列第二、三位 。而原有Hadoop体系的产品迭代则趋于稳定,热力值年均复合增长率为1%。 从2015年开始,计算部分率先进入「一体化」演进历程,其中的典型代表「流批一体」在2019年出现了第一个热力峰值。以数据湖存储为代表的存储一体化从2019年起进入了一个新的发展阶段,涌现了Delta Lake、 Iceberg和Hudi等热点项目。 云原生大规模重构开源技术栈。诞生于云原生时代的开源项目如雨后春笋般破土成长。「数据集成」、「数据存储」、「数据开发与管理」等领域均有重大项目更迭,新项目热力值占比已经超过了80%。

开源大数据热力榜单TOP30

本报告从102个入围项目中,评选出了TOP30热力榜单。Kibana以989.40的热力值高居榜首。ClickHouse(数据查询与分析)、Airflow(数据调度与编排)、Flink(流处理)、Airbyte(数据集成)分别摘得各自细分领域的TOP1。Pulsar、Doris、StarRocks、DolphinScheduler、SeaTunnel等一众中国开源项目也表现出高热力趋势。把解决用户痛点作为核心竞争力,是这些优秀开源项目的共同特征,这一特征保证它们与时俱进,成为热力趋势中的“常青树”。 c6e5c24e-5ddc-11ed-a3b6-dac502259ad0.png   感谢开源中国、InfoQ和阿里云开发者社区的战略支持;感谢对本报告内容产出做出重要贡献的32位专家和贡献者;感谢CSDN、DataFun、Segmentfault思否、开源社等社区合作。  

报告下载地址:

https://www.openatom.org/other/%E5%BC%80%E6%BA%90%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%83%AD%E5%8A%9B%E6%8A%A5%E5%91%8A2022.pdf


原文标题:《2022开源大数据热力报告》重磅发布

文章出处:【微信公众号:开放原子】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

原文标题:《2022开源大数据热力报告》重磅发布

文章出处:【微信号:开放原子,微信公众号:开放原子】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    相关推荐

    大模型训练:开源数据与算法的机遇与挑战分析

    最近,开源中国 OSCHINA、Gitee 与 Gitee AI 联合发布了《2024 中国开源开发者报告》。 报告聚焦 AI 大模型领域,
    的头像 发表于 02-20 10:40 108次阅读
    大模型训练:<b class='flag-5'>开源</b><b class='flag-5'>数据</b>与算法的机遇与挑战分析

    汽轮机热力循环分析

    汽轮机热力循环是热力工程中的重要部分,以下是对其进行的分析: 一、热力循环概述 热力循环是指工质从某一状态点开始,经过一系列状态变化又回到原来这一状态点的封闭变化过程。在这个过程中,工
    的头像 发表于 02-06 16:52 225次阅读

    小米开源2024年度报告发布

    近日,小米公司正式发布了其《小米开源2024年度报告》,该报告详细阐述了小米在开源领域所取得的显著进展。在2024年这一关键年份里,小米在
    的头像 发表于 01-24 13:50 306次阅读

    2023年度《中国公路货运运行大数据分析报告发布

    伴随新一轮科技革命和产业变革加速演进,公路货运行业也正处于产业升级、结构调整、转型重构的总体发展阶段。在此趋势下,中交兴路联合长安大学等院校和机构,对公路货运行业的运行态势和变化特点持续关注和分析,迄今已连续六年编制《中国公路货运运行大数据分析报告》。在多方共同合作之下,
    的头像 发表于 12-29 16:31 463次阅读
    2023年度《中国公路货运运行<b class='flag-5'>大数据</b>分析<b class='flag-5'>报告</b>》<b class='flag-5'>发布</b>

    黄鹤开源社区正式发布

    近日,在2024开放原子开发者大会暨首届开源技术学术大会开幕式上,基于开放原子开源基金会旗下AtomGit开源协作平台搭建的黄鹤开源社区正式发布
    的头像 发表于 12-23 11:33 380次阅读

    开源鸿蒙应用案例重磅发布

    开源赋能千行百业,有效推动产业创新升级。随着开放原子开源基金会的开源鸿蒙(OpenHarmony)5.0 Release版本正式发布,项目生态逐步走向成熟,众多
    的头像 发表于 12-23 11:32 501次阅读

    Meta重磅发布Llama 3.3 70B:开源AI模型的新里程碑

    ​在人工智能领域,Meta的最新动作再次引起了全球的关注。今天,我们见证了Meta发布的 Llama 3.3 70B 模型,这是一个开源的人工智能模型,它不仅令人印象深刻,而且在性能上达到了一个
    的头像 发表于 12-18 16:46 262次阅读
    Meta<b class='flag-5'>重磅</b><b class='flag-5'>发布</b>Llama 3.3 70B:<b class='flag-5'>开源</b>AI模型的新里程碑

    智慧城市与大数据的关系

    智慧城市与大数据之间存在着密切的关系,这种关系体现在大数据对智慧城市建设的支撑和推动作用,以及智慧城市产生的大量数据大数据技术的应用需求。 大数据
    的头像 发表于 10-24 15:27 867次阅读

    IBM发布《2024年数据泄露成本报告

    近日,IBM(纽约证券交易所:IBM)发布了 2024年《数据泄露成本报告》(Cost of a Data Breach Report)。报告显示,全球
    的头像 发表于 08-01 10:57 907次阅读

    浪潮信息重磅发布“源2.0-M32”开源大模型

    浪潮信息近日发布了一款全新的开源大模型——“源2.0-M32”。这款大模型在“源2.0”系列大模型的基础上,进行了深度的技术创新与升级。
    的头像 发表于 06-05 14:50 872次阅读

    2022汽车智能化行业研究报告

    2022汽车智能化行业研究报告》,详情看附件。
    发表于 05-11 18:12 16次下载

    清华大学联合中交兴路发布《中国公路货运大数据碳排放报告

    为践行并推动实现“双碳”目标,清华大学联合中交兴路发布《中国公路货运大数据碳排放报告》(以下简称:《报告》)。
    的头像 发表于 05-09 14:47 434次阅读
    清华大学联合中交兴路<b class='flag-5'>发布</b>《中国公路货运<b class='flag-5'>大数据</b>碳排放<b class='flag-5'>报告</b>》

    5G智能制造热力工厂数字孪生可视化平台,推进热力行业数字化转型

    开始探索数字化转型之路。而5G智能制造工厂数字孪生可视化平台,正是这一转型过程中的重要工具。5G智能制造工厂数字孪生可视化平台,通过集成物联网、大数据、云计算、人工智能等先进技术,实现了对热力生产全过程的数字化模拟和实时监控。
    的头像 发表于 03-05 16:56 456次阅读

    MWC24巴塞罗那 | 《2024年移动净零报告发布

    GSMA在MWC巴塞罗那发布了《2024年移动净零报告》,这是GSMA发布的第四份年度净零报告报告显示,全球移动网络运营商的碳排放在201
    的头像 发表于 02-29 10:24 594次阅读
    MWC24巴塞罗那 | 《2024年移动净零<b class='flag-5'>报告</b>》<b class='flag-5'>发布</b>

    谷歌发布轻量级开源人工智能模型Gemma

    谷歌近日宣布推出开源人工智能(AI)模型系列Gemma,旨在为开发人员和研究人员提供一个负责任的AI构建平台。这一举措标志着自2022年OpenAI的ChatGPT引领AI聊天机器人热潮后,谷歌首次发布重要的
    的头像 发表于 02-23 11:38 970次阅读