0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

唯快不破!华为云发布分布式编译构建系统CodeArts Build

科技怪授 来源:科技怪授 作者:科技怪授 2023-03-24 15:20 次阅读

在数字化时代,软件编译构建效率关系着企业能否快速响应客户需求,提供更好的客户体验。

以汽车行业为例,随着汽车数智升级的加速,主机厂商往往通过OTA模式快速更新软件,以带给客户更佳的用车体验。

智能化、高体验的车载软件已成为汽车的核心竞争力,然而车载软件通常包含上亿行代码,一次车载软件的编译集成需要数小时,如何提升车载软件的编译构建效率已成为汽车软件竞争力构筑的关键路径。

2月14日,华为云发布分布式编译构建系统CodeArts Build,旨在撑企业实现高效的软件开发,缩短产品上市周期,帮助企业的软件产品快速形成关键竞争力。

如何提升软件编译构建效率?

编译构建效率的提升是个系统工程,需要构建工程、构建工具、构建环境等各个方面协同优化。通过自动化的构建过程、高效的构建机制、最大化共享的基础设施,才可实现端到端的编译构建效率提升。

第一、将编译构建的过程自动化

软件是将源代码及其所依赖的二进制文件等,通过编译、链接、打包等过程形成的二进制文件。通过持续集成实现编译构建的自动化,已在业界普遍推行。软件生成过程的自动化能够减少人工干预和重复操作,实现软件的快速验证,更快地发现错误并修复。

“持续集成是一种软件开发实践,团队成员频繁地集成他们的工作,通常每人每天至少集成一次,每次集成通过自动化构建(含测试)能够更高效地查找错误,使团队更加迅速地开发软件。

软件开发大师Martin Fowler”

第二、将自动化的每个环节提速

保持快速的构建,每减少一分钟的构建时间,就为每个开发人员在每提交时节省一分钟。

编译构建通常包含如下过程:

第一步,将代码下载到构建服务器;

第二步,依赖二进制下载到构建服务器;

第三步,编译、链接、打包;

第四步,归档软件包或镜像。

每个环节都可能成为构建效率的瓶颈,从而导致软件产品开发迭代效率低、发布周期长。如车载软件往往基于AOSP(Android Open Source Project,Android开放源代码项目)开发,代码仓多达数百甚至上千个代码量达千万行甚至亿行规模,一次软件构建长达数小时。

提升代码下载效率和编译效率,是提升软件开发迭代效率、缩短软件发布周期的关键。

第三、最大化地共享基础设施

在企业内部的开发场景中,各个开发团队往往独自搭建基础设施,每个团队或个人独占自建的构建资源,导致有的团队构建资源冗余而浪费,有的团队构建资源不足而开发效率低下。

通过云化将基础设施的算力充分共享,实现统一调度,是解决上述问题的最有效方式,不但能更加高效地构建基础设施,也可大幅节省资源。

由此可见,云化是编译构建系统的不二选择。

华为云CodeArts Build让编译构建极速“狂飙”

在华为的敏捷软件开发历程中,软件的编译构建一直被重点关注。

从最初始的单机自动化构建、到多机自动化构建、再到云化的分布式构建,如今,软件的高效编译构建已很好地支撑了华为无线、数通、车、计算、存储、终端等各个业务的高速发展,实现更高效的软件发布。

华为云CodeArts Build当前已支撑华为6万研发人员的软件高效集成,每日构建任务量达77万次,集中弹性调度24.8万台构建服务器。通过代码按需下载、云化、分布式、精准增量、弹性调度等关键技术,端到端加速软件集成过程,让开发人员编译结果分钟级反馈、版本包30分钟集成、亿级代码全量构建1小时完成。

具体来看,华为云CodeArts Build的极速构建能力体现在如下六个方面:

环境搭建快:开箱即用,环境无感知,快速搭建持续集成系统

华为云CodeArts Build内置130多种构建环境、30多个模板、20多个插件,用户开箱即用。同时,CodeArts Build支持多平台、多系统构建,包括x86、ARM等计算架构,以及Linux、Windows、MacOS等操作系统

通过内置上述的跨平台环境,可消除人工搭建编译服务器、配置持续集成软件等环节,帮助用户快速完成持续集成系统的搭建。

代码下载快:基于文件内容指纹的代码缓存技术,让代码极速下载

随着产品的规模增加,产品的代码量也会急剧膨胀,构建过程中的代码下载时间也变得越来越长。

以AOSP项目13版本为例,代码量为140G,千兆带宽全量下载一次代码需要20分钟左右,代码下载时长成为影响构建效率的关键瓶颈之一。如果将代码固定到构建执行机上,每次构建增量下载,又可能会存在代码不一致或代码在构建过程中被污染的问题。

华为云CodeArts Build提供代码下载加速技术,通过对源码文件树进行特征识别码计算,基于构建专用的分布式文件存储系统,对源码进行权限加密和去重存储,实现文件一次缓存多次复用,大大减少了从代码仓下载文件的次数。

同时,通过VPC内的专用网络通道,高效地从缓存复用代码,从而实现构建时代码的高效下载。

编译速度快:大规模分布式、精准增量编译,突破单机物理限制,构建效率成倍提升

大型嵌入式项目通常包含数量庞大的模块或组件,如车载软件、基站、智能终端、存储产品等,且C/C++代码量巨大,上千万行甚至上亿行,编译执行时间长是阻碍产品迭代开发效率提升的关键因素。传统的软件开发构建,一般在单机上编译,受限于编译服务器的性能,一次复杂软件的全量构建时间往往长达几小时甚至数十小时。

华为云CodeArts Build提供分布式编译、精准增量等技术,突破单台机器的性能瓶颈,通过云的大规模弹性资源实现C/C++语言的编译加速。同时通过共享的分布式缓存和精准的依赖识别,实现编译命令的按需分发,在节约成本的基础上成倍提升构建效率。

组件集成快:提供BuildFlow编排模式,多任务并行构建,实现多组件的高效集成

大型软件项目往往涉及到多个团队协作开发,同时软件构建时也可能涉及多种计算架构和多种操作系统。

如华为5G基站产品,一次软件构建,需要集成来自4条产品线、20多个团队提供的组件,并且需要同时在x86和ARM计算架构上集成出包。各个组件间基于软件架构的设计,形成有向无环图,需要一次完成软件包的集成。

针对这一涉及到多个团队协作、多种计算架构、多种操作系统和构建工程存在依赖的复杂构建场景,华为云CodeArts Build提供了BuildFlow编排模式,开发或集成工程师基于多组件依赖关系的按需编排,可让构建任务按照任务依赖关系以有向无环图的方式构建。

通过高效、灵活的BuildFlow构建模式,不仅可以满足复杂的构建要求,还可以将现有的构建任务以模块化的方式进行拆分,通过多任务并行构建,实现软件包的快速构建集成。

poYBAGQdT0uALfiWAAFjwtn_fQM455.png

多代码仓下载快:提供基于Repo工具的多仓下载模式,实现多代码仓高效集成

智能终端、车载软件、物联网设备等嵌入式软件领域,通常基于鸿蒙、AOSP等系统开发,一次构建需要同时集成数百甚至上千个代码仓,多代码仓的集成下载效率至关重要。

华为云CodeArts Build集成Repo下载工具,用户只需进行简单配置即可实现多个代码仓的联动集成下载。同时也可集成代码缓存技术,实现多个代码仓的联动高效下载。

资源利用效率高:支持企业范围内的资源共享,高效利用构建资源

华为云CodeArts Build通过统一弹性调度华为无线、数通、光、车、计算、存储等各产品线的构建资源,实现企业级数十万台构建资源的共享。相比各产品、项目团队自建、独占构建资源,可节省70%构建资源。

同时,对于不同产业的不同产品研发场景,提供对应的编译构建算力,用极低成本实现高效的研发作业。通过实践外溢,可帮助企业实现构建资源的高效利用。

poYBAGQdT02AajiYAAFdm_7JdUs528.png

华为云CodeArts Build已支撑华为公司云计算、网络、终端、芯片、汽车等各个业务的高速发展。

例如,CodeArtsBuild通过极致的构建加速能力,帮助光产品线各产品亿级代码全量构建时长缩短20倍,组件间集成周期从1周缩短到1小时;通过云的弹性调度能力,实现构建资源的按需获取和低成本构建,构建服务器消耗从3.6万台降低到1万台。

面向未来,华为云CodeArts Build将基于AI决策实现更为高效、精准的弹性调度能力,面向更多复杂语言的软件产品,实现多语言的编译构建框架,与客户、伙伴和广大开发者一起,不断书写软件世界的新篇章。

审核编辑黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 分布式
    +关注

    关注

    1

    文章

    878

    浏览量

    74460
  • 华为云
    +关注

    关注

    3

    文章

    2423

    浏览量

    17299
收藏 人收藏

    评论

    相关推荐

    华为软件开发生产线(CodeArts)9 月新功能特性

    【摘要】 华为软件开发生产线 CodeArts 是一站、全流程、安全可信的云原生 DevSecOps 平台,覆盖需求、开发、测试、部署、运维等软件交付全生命周期环节,为开发者打造全
    的头像 发表于 11-07 18:15 216次阅读

    华为分布式消息服务 DMS 9 月新动态上线啦!

    【摘要】 RocketMQ 5.X 专业版、kafka 监控大屏、CloudPond 部署等多项特性,一睹为华为分布式消息服务DMS是完全托管的消息队列服务,可完全兼容业界主流
    的头像 发表于 10-15 09:54 419次阅读
    <b class='flag-5'>华为</b><b class='flag-5'>云</b><b class='flag-5'>分布式</b>消息服务 DMS 9 月新动态上线啦!

    计算厂家使用WDS分布式存储构建其高性能超融合一体机

    计算厂家使用WDS分布式存储构建其高性能超融合一体机
    的头像 发表于 09-23 09:57 190次阅读
    <b class='flag-5'>云</b>计算厂家使用WDS<b class='flag-5'>分布式</b>存储<b class='flag-5'>构建</b>其高性能超融合一体机

    华为分布式存储连续三年荣膺2024年Gartner“客户之选”

    近日,全球权威咨询与分析机构Gartner发布《2024年Gartner Peer InsightsTM 分布式文件系统与对象存储“客户之声”》报告,华为凭借其OceanStor
    的头像 发表于 05-24 10:12 671次阅读

    软件开发生产线 CodeArts 3 月新特性上线啦!

    年 3 月,CodeArts 主要发布编译构建的相关新特性,具体内容如下: 编译构建
    的头像 发表于 05-10 00:28 1110次阅读

    华为开发者桌面全新发布 CodeArts IDE for Python,极致优雅云原生开发体验

    近日,华为正式发布 CodeArts IDE for Python,这是一款内置华为自研 Python 语言服务,提供智能编程、灵活调试能
    的头像 发表于 05-10 00:27 1200次阅读
    <b class='flag-5'>华为</b><b class='flag-5'>云</b>开发者桌面全新<b class='flag-5'>发布</b> <b class='flag-5'>CodeArts</b> IDE for Python,极致优雅云原生开发体验

    华为发布 CodeArts API,为 API 护航

    4 月 10 日,华为正式发布 API 全生命周期管理一体化协作平台 CodeArts API,支持开发者高效实现 API 设计、开发、测试、托管、运维、变现的一站
    的头像 发表于 05-09 23:17 489次阅读
    <b class='flag-5'>华为</b><b class='flag-5'>云</b><b class='flag-5'>发布</b> <b class='flag-5'>CodeArts</b> API,为 API 护航

    华为正式发布CodeArts IDE for Python

    近日,华为正式发布CodeArts IDE for Python,这是一款内置华为自主创新的Python语言服务,提供智能编程、灵活调试能
    的头像 发表于 05-08 14:58 455次阅读

    华为 CodeArts Snap,揭开智能研发新篇章

    带来全新的编程方式和体验。 华为智能开发助手 CodeArts Snap 源于华为自身的研发实践 华为拥有千亿行的代码规模、超过 11 万
    的头像 发表于 04-07 17:11 876次阅读

    华为制品仓库 CodeArts Artifact:保障制品质量与安全的最佳选择

    、安全、好用的软件包管理工具。 什么是制品仓库服务 随着软件研发的规模和复杂度迅速扩大,处理海量制品的存储与版本管理的需求以及开发过程中的繁琐性逐渐增加。因此,制品仓库成为了不可或缺的平台。 华为制品仓库服务 CodeArts
    的头像 发表于 04-07 11:52 800次阅读
    <b class='flag-5'>华为</b><b class='flag-5'>云</b>制品仓库 <b class='flag-5'>CodeArts</b> Artifact:保障制品质量与安全的最佳选择

    OpenHarmony 移植:build lite 编译构建过程

    这些疑惑,会对 build lite 编译构建过程有个更深入的理解。 1、产品解决方案代码是如何被调用编译的 在文件 buildliteBUILD.gn 配置文件中的
    的头像 发表于 02-19 16:19 887次阅读

    分布式大屏控制系统的工作原理

    分布式大屏控制系统是一种基于分布式计算、计算和大数据技术的控制系统,具有高效、稳定、灵活的特点。该系统
    的头像 发表于 01-29 14:24 685次阅读

    华为CodeArts Artifact:保障制品质量与安全的最佳选择

    近期,为降低用户使用成本、满足个性化选择诉求,华为制品仓库 CodeArts Artifact  从软件开发生产线  CodeArtS  解耦出来,可单独购买。 这是一款打破了传统制
    的头像 发表于 12-15 15:50 346次阅读

    分布式系统硬件资源池原理和接入实践

    /distributed_hardware_components_cfg.json 三个接口的 so 实现后,编译打包到系统库路径下,同时配置到分布式硬件部件配置文件中,设备组网上线后,可以看到
    发表于 12-06 10:02

    zookeeper分布式原理

    Zookeeper是一个开源的分布式协调服务,可以用于构建高可用、高性能的分布式系统。它提供了一个简单且高效的层次命名空间,可以用来存储配置信息、状态信息、命名服务等。Zookeepe
    的头像 发表于 12-03 16:33 616次阅读