0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Apache Spark社区让openEuler与外部开源社区更好的连接、融合

openEuler 来源:openEuler 作者:openEuler 2022-10-13 10:49 次阅读

2022年10月初,openEuler Maintainer 姜逸坤接受Apache Spark PMC邀请,正式成为Apache Spark Committer(核心贡献者)。

他的主要贡献是Apache Spark在基础设施、云原生、PySpark等方向的改进。

开源之路,从懵懂到深入

姜逸坤2016年加入华为计算开源团队,先后成为OpenStack社区 (OpenInfra基金会) Core Member、openEuler社区 (开放原子开源基金会) Maintainer、Volcano社区 (CNCF基金会) Reviewer、Spark社区 (Apache基金会) Committer,横跨多个顶级开源社区的经历让他快速完成知识积累和个人成长,而他对于技术和开源的热爱始终如一。

从多样性算力支持

到Apache Spark核心贡献者

openEuler 作为最优支持多样性算力的原生操作系统,支持x86、ARMRISC-V、LoongArch、SW64 等多种处理器架构,而开源社区的应用软件多架构支持最初并不完善,应用软件的短板使得openEuler社区用户无法充分、便利地发挥多样性算力的最大价值。

早在2019年,逸坤所在团队就开始了开源社区的多架构支持工作,在Apache Spark社区,他与团队成员和Spark社区协作共同完成了ARM64架构的适配,并且在Apache Spark 3.0.0版本正式支持ARM64架构(SPARK-30057),为Spark社区添加了 ARM CI 确保Spark在ARM64平台持续可用(SPARK-29106)。

随着在Spark社区贡献的逐步深入,他所做的工作从最初的多样性算力适配,慢慢地变为多样性算力架构级的增强。2021年11月,逸坤作为第一作者,联合华为、Apple、Netflix、Cloudera等开发者在Spark社区共同完成特性的设计和代码开发——《Spark-36057: 支持Spark on Kubernetes自定义调度功能》,并以Apache Spark + Volcano调度系统作为参考实现合入到社区,最终在Apache Spark 3.3.0版本作为亮点特性发布,增强了Spark多样性算力调度能力。随后,openEuler社区中的众多大数据用户(如华为、亚信、中国系统等),开始集成该方案到其下游的产品和服务中,以增强队列调度、资源预留、多样性算力调度的能力。“Upstream first”,并积极推动下游开源用户使用,是他一直坚持的理念。

近期,他在Apache Spark社区发起了一个新的提案——《SPARK-40513: 为Spark提供Docker官方镜像支持》,这个提案为Apache Spark社区提供官方容器镜像规范、标准及参考实现,并发布镜像,目前已获得Spark社区全票通过。这为后续诸如openEuler等操作系统更高效、更高质量地完成定制Spark大数据应用镜像奠定了基础。

同时,逸坤通过他在云计算、云原生、基础设施、ARM CI等领域的积累,为Apache Spark社区的基础设施稳定和优化付出了很多努力。最终,顺利获得了Apache Spark社区的认可,成为Apache Spark Committer。

让openEuler与外部开源社区

更好的连接、融合

Apache Spark社区的贡献仅仅是一个缩影,逸坤和他所在的团队持续活跃在openEuler社区的大数据、OpenStack、云原生、HPC、基础设施等SIG组,努力将openEuler社区连接并融入到更广阔的开源世界。也欢迎更多的人加入进来,让openEuler社区与外部开源社区更好融合,产生更多伟大的合作与创新!

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 操作系统
    +关注

    关注

    37

    文章

    6737

    浏览量

    123190
  • 开源
    +关注

    关注

    3

    文章

    3245

    浏览量

    42396
  • openEuler
    +关注

    关注

    2

    文章

    308

    浏览量

    5828

原文标题:开源无国界,从openEuler Maintainer到Spark Committer的贡献开源之路

文章出处:【微信号:openEulercommunity,微信公众号:openEuler】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    软通动力荣膺2024年度openEuler社区突出贡献单位

    近日,主题为“以智能 致世界”的操作系统大会2024在北京中关村国际创新中心举办,大会由openEuler社区和全球计算联盟主办,软通动力参与协办。作为开放原子开源基金会白金捐赠人
    的头像 发表于 11-20 11:50 261次阅读

    Arm加入OpenCloudOS操作系统开源社区

    基于 Arm 架构的应用。近期,Arm 加入 OpenCloudOS 操作系统开源社区,共同推进开源云操作系统的发展。 Arm 作为全球领先的计算平台公司,在史上应用最普及的 CPU 架构上,构建起了全球最大的计算和软件生态系统
    的头像 发表于 11-15 11:34 262次阅读

    润和软件参与openEuler社区操作系统安全主题技术交流

    信息技术飞速发展,操作系统安全已成为保障数字世界稳定运行的基石,OpenAtom openEuler(简称"openEuler")致力于构建一个开放、可靠、安全的开源操作系统生态
    的头像 发表于 11-13 16:14 319次阅读

    润和软件携手业界伙伴在openEuler社区成立IDE-SIG

    经OpenAtom openEuler(简称"openEuler")社区技术委员会讨论决定,openEuler 社区正式成立 IDE-SIG
    的头像 发表于 07-31 10:34 560次阅读

    江波龙加入openEuler社区,共筑企业级存储新生态

    在科技日新月异的今天,开源社区的力量正以前所未有的速度推动着信息技术产业的进步。近日,国内领先的存储解决方案提供商江波龙电子股份有限公司(以下简称“江波龙”)受邀参加了openEuler 24.03
    的头像 发表于 07-16 16:47 653次阅读

    润和软件受邀参与openEuler 24.03 LTS发布

    发布会汇聚操作系统产业界顶尖力量,共探openEuler社区技术、生态、国际化发展,共建健康可持续发展的开源操作系统根社区。会上,openEuler
    的头像 发表于 06-15 10:07 744次阅读

    龙芯开源技术社区--BSP源码等资料汇集地

    龙芯开源技术社区: https://gitee.com/open-loongarch
    发表于 06-12 16:51

    得瑞领新加入 OpenCloudOS 操作系统开源社区,作为成员单位参与社区共建

    近日,得瑞领新正式加入OpenCloudOS操作系统开源社区。通过与社区的深度合作,得瑞将充分发挥自身在存储技术领域的优势,助力社区在存储系统优化、数据安全和性能提升方面的持续创新。
    的头像 发表于 05-23 15:02 357次阅读

    【西安社区】5月18日-RT-Thread西安社区举办首次例会,诚邀每一位开发者参与!

    今年,RT-Thread为了更好地服务和链接全国各地的RT-Thread嵌入式开发者,将全域推行不同区域社区网。通过建立区域社区网,我们期待构建更加紧密联系的开源
    的头像 发表于 05-12 08:35 285次阅读
    【西安<b class='flag-5'>社区</b>】5月18日-RT-Thread西安<b class='flag-5'>社区</b>举办首次例会,诚邀每一位开发者参与!

    浅谈openEuler与利尔达Redcap模组在通信领域的开源协同

    //近日,OpenAtomopenEuler(后文简称"openEuler")举办了一场别开生面的开源技术盛宴--开放原子校源行“开源春耕计划”之
    的头像 发表于 04-13 08:13 555次阅读
    浅谈<b class='flag-5'>openEuler</b>与利尔达Redcap模组在通信领域的<b class='flag-5'>开源</b>协同

    OpenWRT 开源社区官方第一块开发板 OpenWrt One/AP-24.XY,正式面世

    OpenWRT 开源社区官方第一块开发板 OpenWrt One/AP-24.XY,正式面世。将由比派科技Banana Pi 开源社区生产与分发销售 https
    发表于 04-09 11:32

    RDMA技术在Apache Spark中的应用

    背景介绍 在当今数据驱动的时代,Apache Spark已经成为了处理大规模数据集的首选框架。作为一个开源的分布式计算系统,Spark因其高效的大数据处理能力而在各行各业中广受欢迎。无
    的头像 发表于 03-25 18:13 1470次阅读
    RDMA技术在<b class='flag-5'>Apache</b> <b class='flag-5'>Spark</b>中的应用

    openEuler Code Camp 圆满举办

    openEuler 开源四年来,在开放原子开源基金会的运营孵化下,其在技术、生态和社区影响力等方面取得了显著的成果。目前,已有
    的头像 发表于 12-22 10:41 652次阅读
    <b class='flag-5'>openEuler</b> Code Camp 圆满举办

    openEuler Code Camp圆满举办

    方面的成功经验分享。大会期间,openEuler社区与参会者深入探讨了社区在生态和技术进步方面的当前成就与未来展望。 openEuler社区
    的头像 发表于 12-20 09:45 278次阅读
    <b class='flag-5'>openEuler</b> Code Camp圆满举办

    欧拉系统荣登中国服务器操作系统市场首位,社区全力支持

    官方透露,openEuler自捐赠给开放原子开源基金会后迅猛发展;该基金会于2022年12月宣布将openEuler升级为独立项目群,以此提升其治理章程、社区运行效率、资源筹集机会等水
    的头像 发表于 12-15 14:33 507次阅读