0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Apache Spark社区让openEuler与外部开源社区更好的连接、融合

openEuler 来源:openEuler 作者:openEuler 2022-10-13 10:49 次阅读

2022年10月初,openEuler Maintainer 姜逸坤接受Apache Spark PMC邀请,正式成为Apache Spark Committer(核心贡献者)。

他的主要贡献是Apache Spark在基础设施、云原生、PySpark等方向的改进。

开源之路,从懵懂到深入

姜逸坤2016年加入华为计算开源团队,先后成为OpenStack社区 (OpenInfra基金会) Core Member、openEuler社区 (开放原子开源基金会) Maintainer、Volcano社区 (CNCF基金会) Reviewer、Spark社区 (Apache基金会) Committer,横跨多个顶级开源社区的经历让他快速完成知识积累和个人成长,而他对于技术和开源的热爱始终如一。

从多样性算力支持

到Apache Spark核心贡献者

openEuler 作为最优支持多样性算力的原生操作系统,支持x86、ARMRISC-V、LoongArch、SW64 等多种处理器架构,而开源社区的应用软件多架构支持最初并不完善,应用软件的短板使得openEuler社区用户无法充分、便利地发挥多样性算力的最大价值。

早在2019年,逸坤所在团队就开始了开源社区的多架构支持工作,在Apache Spark社区,他与团队成员和Spark社区协作共同完成了ARM64架构的适配,并且在Apache Spark 3.0.0版本正式支持ARM64架构(SPARK-30057),为Spark社区添加了 ARM CI 确保Spark在ARM64平台持续可用(SPARK-29106)。

随着在Spark社区贡献的逐步深入,他所做的工作从最初的多样性算力适配,慢慢地变为多样性算力架构级的增强。2021年11月,逸坤作为第一作者,联合华为、Apple、Netflix、Cloudera等开发者在Spark社区共同完成特性的设计和代码开发——《Spark-36057: 支持Spark on Kubernetes自定义调度功能》,并以Apache Spark + Volcano调度系统作为参考实现合入到社区,最终在Apache Spark 3.3.0版本作为亮点特性发布,增强了Spark多样性算力调度能力。随后,openEuler社区中的众多大数据用户(如华为、亚信、中国系统等),开始集成该方案到其下游的产品和服务中,以增强队列调度、资源预留、多样性算力调度的能力。“Upstream first”,并积极推动下游开源用户使用,是他一直坚持的理念。

近期,他在Apache Spark社区发起了一个新的提案——《SPARK-40513: 为Spark提供Docker官方镜像支持》,这个提案为Apache Spark社区提供官方容器镜像规范、标准及参考实现,并发布镜像,目前已获得Spark社区全票通过。这为后续诸如openEuler等操作系统更高效、更高质量地完成定制Spark大数据应用镜像奠定了基础。

同时,逸坤通过他在云计算、云原生、基础设施、ARM CI等领域的积累,为Apache Spark社区的基础设施稳定和优化付出了很多努力。最终,顺利获得了Apache Spark社区的认可,成为Apache Spark Committer。

让openEuler与外部开源社区

更好的连接、融合

Apache Spark社区的贡献仅仅是一个缩影,逸坤和他所在的团队持续活跃在openEuler社区的大数据、OpenStack、云原生、HPC、基础设施等SIG组,努力将openEuler社区连接并融入到更广阔的开源世界。也欢迎更多的人加入进来,让openEuler社区与外部开源社区更好融合,产生更多伟大的合作与创新!

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 操作系统
    +关注

    关注

    37

    文章

    6834

    浏览量

    123350
  • 开源
    +关注

    关注

    3

    文章

    3358

    浏览量

    42523
  • openEuler
    +关注

    关注

    2

    文章

    316

    浏览量

    5897

原文标题:开源无国界,从openEuler Maintainer到Spark Committer的贡献开源之路

文章出处:【微信号:openEulercommunity,微信公众号:openEuler】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    共创开源操作系统根社区,openEuler探索可持续发展创新路径

    OpenAtom openEuler(简称“openEuler”)为代表的基础软件开源社区,通过开放的治理、持续的技术创新以及国际化探索,已经成为
    的头像 发表于 12-24 13:50 225次阅读

    黄鹤开源社区正式发布

    近日,在2024开放原子开发者大会暨首届开源技术学术大会开幕式上,基于开放原子开源基金会旗下AtomGit开源协作平台搭建的黄鹤开源社区正式
    的头像 发表于 12-23 11:33 247次阅读

    东方通联合openEuler社区即将开启云原生开源中间件 Meetup北京站

    openEuler社区云原生开源中间件Meetup北京站将于12月27日举办,由东方通与openEuler社区携手主办。此次交流活动特邀
    的头像 发表于 12-17 14:58 197次阅读

    deepin社区落地开源生态发展合作倡议

    为共同推动做强做优做大创新操作系统生态,积极响应由 deepin(深度)、龙蜥(OpenAnolis)、开源欧拉(openEuler)、鸥栖(OpenCloudOS)及开放麒麟(openKylin
    的头像 发表于 12-17 09:35 188次阅读

    deepin社区携手共话开源新生代成长之路

    此前,2024年11月30日下午,由 deepin(深度)社区联合华中科技大学开放原子开源俱乐部、 RustSBI 开源社区和清华大学开源
    的头像 发表于 12-05 14:28 273次阅读

    开源中来到开源中去-RT-Thread北京社区

    RT-Thread今年全域推行不同区域社区网,通过建立区域社区网,构建更加紧密联系的开源社区,实现更广泛的开源资源共享,
    的头像 发表于 11-29 01:05 191次阅读
    从<b class='flag-5'>开源</b>中来到<b class='flag-5'>开源</b>中去-RT-Thread北京<b class='flag-5'>社区</b>篇

    软通动力荣膺2024年度openEuler社区突出贡献单位

    近日,主题为“以智能 致世界”的操作系统大会2024在北京中关村国际创新中心举办,大会由openEuler社区和全球计算联盟主办,软通动力参与协办。作为开放原子开源基金会白金捐赠人
    的头像 发表于 11-20 11:50 377次阅读

    润和软件参与openEuler社区操作系统安全主题技术交流

    信息技术飞速发展,操作系统安全已成为保障数字世界稳定运行的基石,OpenAtom openEuler(简称"openEuler")致力于构建一个开放、可靠、安全的开源操作系统生态
    的头像 发表于 11-13 16:14 427次阅读

    润和软件携手业界伙伴在openEuler社区成立IDE-SIG

    经OpenAtom openEuler(简称"openEuler")社区技术委员会讨论决定,openEuler 社区正式成立 IDE-SIG
    的头像 发表于 07-31 10:34 617次阅读

    润和软件受邀参与openEuler 24.03 LTS发布

    发布会汇聚操作系统产业界顶尖力量,共探openEuler社区技术、生态、国际化发展,共建健康可持续发展的开源操作系统根社区。会上,openEuler
    的头像 发表于 06-15 10:07 780次阅读

    龙芯开源技术社区--BSP源码等资料汇集地

    龙芯开源技术社区: https://gitee.com/open-loongarch
    发表于 06-12 16:51

    得瑞领新加入 OpenCloudOS 操作系统开源社区,作为成员单位参与社区共建

    近日,得瑞领新正式加入OpenCloudOS操作系统开源社区。通过与社区的深度合作,得瑞将充分发挥自身在存储技术领域的优势,助力社区在存储系统优化、数据安全和性能提升方面的持续创新。
    的头像 发表于 05-23 15:02 392次阅读

    【西安社区】5月18日-RT-Thread西安社区举办首次例会,诚邀每一位开发者参与!

    今年,RT-Thread为了更好地服务和链接全国各地的RT-Thread嵌入式开发者,将全域推行不同区域社区网。通过建立区域社区网,我们期待构建更加紧密联系的开源
    的头像 发表于 05-12 08:35 309次阅读
    【西安<b class='flag-5'>社区</b>】5月18日-RT-Thread西安<b class='flag-5'>社区</b>举办首次例会,诚邀每一位开发者参与!

    浅谈openEuler与利尔达Redcap模组在通信领域的开源协同

    //近日,OpenAtomopenEuler(后文简称"openEuler")举办了一场别开生面的开源技术盛宴--开放原子校源行“开源春耕计划”之
    的头像 发表于 04-13 08:13 605次阅读
    浅谈<b class='flag-5'>openEuler</b>与利尔达Redcap模组在通信领域的<b class='flag-5'>开源</b>协同

    RDMA技术在Apache Spark中的应用

    背景介绍 在当今数据驱动的时代,Apache Spark已经成为了处理大规模数据集的首选框架。作为一个开源的分布式计算系统,Spark因其高效的大数据处理能力而在各行各业中广受欢迎。无
    的头像 发表于 03-25 18:13 1548次阅读
    RDMA技术在<b class='flag-5'>Apache</b> <b class='flag-5'>Spark</b>中的应用