在全球科技竞争日益激烈的今天,推动前沿生物技术的创新应用成为国家科技发展的核心任务之一。作为中国农业科研领域的重要机构,中国农业科学院北京畜牧兽医研究所(以下简称牧医所)以其深厚的科研实力和强大的技术积淀,以“服务行业,服务政府,服务社会”为己任,为我国“三农”事业发展作出了重要贡献。
随着人工智能大模型、物联网、大数据等技术的深入应用,科学研究更加依赖于算力、存力等基础施的先进性。2024年9月20日,中国农业科学院与华为签署战略合作协议,共同推进农业科学研究。通过构建高性能计算平台,为基因组育种、多组学分析等前沿生物技术应用提供支撑。
新时代科研创新对数据基础设施
提出了更高的要求
随着基因组学、转录组学、蛋白质组学和代谢组学等多组学分析技术的迅速发展,农业领域对数据处理和计算能力的需求也在急剧增长。牧医所作为国内农业科学研究的重镇,坚持“四个面向”,建设“两个一流”,引领我国畜牧科技跨越发展,为实现畜牧业现代化提供科技支撑。然而,在日常科研工作中,科研人员面临着以下几个主要问题:
大规模数据分析任务对大算力需求陡增
基因组数据和多组学数据的生成速度和数据量极为庞大,传统的计算资源和技术难以满足如此高强度的数据处理和分析需求。科研项目复杂度的提升使得对计算能力的需求呈指数级增长,而现有的计算资源无法高效支撑如此大规模的分析任务,导致科研效率和成果转化速度受限。如:基因关联分析的场景,传统的方式采用串行的方式,一个算法运行完之后才能运行下一个算法,分析时间长,另外随着数据量暴涨、算法的复杂度的提升,对算力的性能要求也越来越高,传统的算力已无法满足需求。
多样化科研需求需要灵活高效的异构计算能力支撑
牧医所主要的科研方向涉及多个领域,包括动物遗传育种、动物生物技术与繁殖、动物营养与饲料等。这些领域的研究需要多种计算方式的综合应用,涵盖从大规模数据存储、实时计算到复杂的模型仿真等多层次、多维度的需求。如何灵活调度和高效利用异构计算资源成为一大挑战。
高效管理、分析并共享海量数据
大量的实验数据需要被有效存储、处理和共享。在数据治理方面,传统的管理方式往往难以保障数据的完整性和安全性,也影响了跨团队、跨学科的协作效率。如何高效管理、分析并共享这些海量数据,成为提升科研效率的关键。
鲲鹏高性能计算平台迎接挑战
针对牧医所在高性能计算方面面临的挑战,华为提供了基于鲲鹏的高性能计算平台及解决方案,包括:应用优化、管理调度、基础软件、基础硬件能力,帮助牧医所实现了从计算资源到数据管理的全面升级。
华为高性能计算解决方案架构
鲲鹏+昇腾
构建高效的计算平台
华为的高性能计算平台基于自有的昇腾AI计算芯片,结合鲲鹏服务器和全栈存储解决方案,为科研团队提供了强大的计算能力。昇腾AI芯片专为AI和大数据计算设计,能够处理复杂的生物学计算任务,如基因组序列比对、多组学数据分析等。鲲鹏服务器则提供了极高的并行计算能力,能够支持大规模的科学计算和高性能数据处理。
湖仓一体,实现数据的高效存储与治理
华为结合其云计算和大数据技术,帮助牧医所搭建了统一的科研数据平台。该平台能够支持大数据的存储、治理与分析,通过数据湖和数据仓库的深度整合,实现了数据的全生命周期管理。数据治理平台通过智能化的数据清洗、转换和分析技术,提高了数据的准确性和利用效率,为科研人员提供了更为精准的数据支持。
多瑙管理平台,实现智能调度与计算资源灵活应用
在科研项目中,不同的科研需求需要使用不同类型的计算资源。华为高性能计算平台能够根据具体需求,灵活调度计算资源,优化计算任务的执行路径,不仅大幅提升了计算效率,还降低了资源浪费,实现了计算能力的最大化利用。
多瑙管理平台
科技赋能
助力农业提质增效
农业科研软件鲲鹏迁移适配后,性能提升明显
农业科研运行软件过去以X86架构为主,2023年开始,华为与牧医所科研团队进行了深入沟通,在对科研一线的具体现状做了充分了解后,依托北京鲲鹏创新中心,陆续为农科院开展生信软件适配工作,目前已适配了如:stringtie、subread、htslib、Salmom、BWA、hisat2、R、python、plink、STAR、fastp、anaconda、bcftools、gatk、gffread、vcftools、Rstudio、souporcell、GCTA、aspera、DecodeGenetics、busco等数十款软件,为农业科研在自主创新路线上奠定了基础,从可用到好用实现了飞跃。
加快基因育种,为畜禽新品种研发提速
基因育种是提高养殖效率、畜产品品质和抗病力的关键技术之一。传统的基因育种研究依赖大量的实验数据和计算分析,尤其是在基因组分析方面、计算能力至关重要。借助华为高性能计算平台,牧医所能够高效处理海量基因组数据,加速了畜禽新品种培育的研发过程。同时,平台强大的计算能力还帮助科研人员通过更精确的基因编辑技术,实现了更加精准的育种目标。经测试,在鲲鹏服务器(2.6GHz)与X86架构服务器(2.6GHz)两种技术路线下,并且在软件、流程、线程数均保持一致的条件下,鲲鹏服务器能提升明显(11%-258%),平均提升60%以上。通过与华为的合作,牧医所在多个研究领域实现了重要突破,特别是在基因育种和多组学分析方面,取得了显著的成果。
大规模、多维度数据分析能力,支撑多组学分析深入开展
多组学分析通过对基因组学、转录组学、蛋白质组学等数据整合研究,能够为农业研究提供更为全面的视角,推动精准农业的发展。华为高性能计算平台为牧医所提供了支持大规模、多维度数据分析的能力,大幅提升了多组学数据的处理速度和准确度。科研人员能够在更短的时间内获得更为全面的科研结果,为动物遗传资源与育种、动物生物技术与繁殖等提供了更有力的支持。
跨学科协作的促进
由于农业科研涉及多个学科领域,跨学科的协作变得至关重要。华为高性能计算平台通过提供高效的数据共享和分析环境,打破了原有的学科壁垒,促进了各科研团队之间的合作。无论是在基因组学、农业生态学,还是在气候变化研究等领域,科研人员都能够实现数据的实时共享和互通,有效地提升了研究的协同效率。
推动农业科技创新和数字化转型
华为与牧医所的合作,不仅解决了农业科研中的计算和数据管理难题,还推动了中国农业科技的数字化转型和智能化升级。
提升科研效率与创新能力
华为高性能计算平台的引入,提升了牧医所科研的效率与创新能力。科研人员能够更加专注于科学探索,减少了因计算和数据处理带来的时间成本。随着计算技术的进一步发展,未来更多的农业科研将依托先进的技术手段实现更快速、更精准的突破。
科技创新与自立自强
随着数据分析和计算能力的提升,精准农业和智能化决策在农业科研和生产中的应用前景广阔;动物遗传与育种、动物生物技术与繁殖、动物营养与饲料等领域的研究与管理将更加高效,推动了农业现代化的进程,有助于加快实现高水平农业科技自立自强,推动农业领域的科技创新。
为全球农业科技提供示范
牧医所作为国家级社会公益性畜牧兽医综合科技创新研究机构,华为作为全球高科技企业的典范,双方的合作将展现中国在农业科技领域的创新实力,共同引领中国农业科技创新范式转型,智慧赋能中国农业农村现代化建设。
未来,随着技术的不断进步与合作的深入,华为与牧医所将在推动农业科技自立自强、实现数字农业转型等方面继续迈出坚实步伐,为全球农业可持续发展作出更大贡献。
-
数据处理
+关注
关注
0文章
599浏览量
28568 -
鲲鹏
+关注
关注
1文章
128浏览量
8936 -
大模型
+关注
关注
2文章
2450浏览量
2714
原文标题:首个鲲鹏农业科研高性能计算平台上线应用,助力基因育种与多组学分析能力提升
文章出处:【微信号:HWS_yunfuwu,微信公众号:华为数字中国】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论