人类第一次完整全基因组的测序花了13年,在新技术的加持下,这个时间已经降低到1天以内;没有这项新技术加持,电影《阿凡达》的渲染可能需要上万年;这项新技术还让新药的研发周期大幅缩短,让卫星遥感定位精度大大提升——这项技术就是高性能计算HPC。
那么到底什么是HPC,这项技术对社会发展有什么深远影响,答案尽在本期鹏友会客厅。
数据存储承担
文明传承、生产生活改善、科技
创新三大重任
在数字化时代,数据存储是政企运行的生命线,更是国之重器:通过文物数字化保护,大量珍贵的遗迹以图片、视频、VR等数字化形式保存了下来,让文明得以传承;另外,存储对生产生活改善、科技创新方面的影响更加广泛,尤其是科技创新领域,现在已经成为国家和企业间竞相角逐的战略高地。
HPC与大数据/AI结合快速增长
HPC产业走向数据密集型
HPC诞生的前半个世纪,其发展核心矛盾在于计算,也就是我们所说的“计算密集型”HPC。随着技术发展及高性能数据分析的出现,数据量越来越大,数据重要性越来越高,HPC开始迎来“数据密集型”的新发展阶段。
没有高性能计算的加持,阿凡达的渲染可能需要上万年,而随着电影画幅和体验的提升,渲染量还会进一步增加,如2019年上映的《阿丽塔:战斗天使》,它的渲染量就是阿凡达的三倍。
同样的数据变化也发生在HPC领域的其他场景:
新药研发领域:借助HPC可以加速药物筛选和分子分析,使新药的研发周期大幅缩短,如面对当前严重的疫情,更多的样本集、更快的数据提炼,可以更快的研发生产出疫苗;
新车研发领域:随着近年来自动驾驶的兴起,新车研发利用HPC进行自动驾驶的车辆测试。上百台的测试车辆,每台测试车路测时长达2000小时左右,单辆测试车路测采集数据量最高可达64TB/天,通过HPC实现车辆碰撞的技术仿真,大幅降低了研发费用和周期;
能源勘探领域:利用高性能计算(HPC)技术,对地震勘探数据进行加工、计算,为能源勘探提供直观的、可靠的依据。随着勘探技术的进步,地震数据实现了从二维到三维的转变,并且逐步向四维演进,数据量也向PB规模发展,中间过程数据的增加高达10~20倍,加上历史资料的长期保存,整体数据量成几十倍增长,呈现出数据密集型的特征;
卫星遥感领域:随着大数据、AI等新技术在卫星遥感领域的应用,卫星遥感领域数据量增长了近70倍,卫星遥感的定位精度由以前的70米提升到了2米。
“数据密集型”HPC发展核心在于数据,
存储扮演着更重要的角色
新的高性能计算应用不断涌现,驱动了数据密集型HPC的高速发展,我们也称为高性能数据分析(HPDA)。比如当下炙手可热的自动驾驶,新车的研发需要对上百PB的数据进行训练和仿真,对于存储的性能、稳定性、安全性等都提出了新的挑战,存储更成为了链接计算、网络的核心基础设施。
政府应对“数据密集型”HPC趋势
从超算向智算平台演进,以数据为中心
牵引算力和存力均衡发展
政府在高性能计算/超算领域,一直扮演着举足轻重的作用,可以通过公共力量,快速、规模化推进民生和经济发展。作为新基建的重要组成部分,各地纷纷上马超算国家中心/区域中心,然而,超算中心的建设确有一些偏科,呈现出了重建设轻应用、重计算轻数据的特点,造成了一些资源的闲置与浪费。
面向未来,我们认为加快数据密集型超算的建设会成为主要的方向,包括从超算向智算平台的演进,用人工智能、大数据等新应用生态加持超算中心,实现以数据为中心牵引采、存、算、传、用等多维度的均衡发展。
企业应对“数据密集型”HPC趋势
建设数据湖,使用专业的存储设备,
关注前沿科技
当前,对于企业来讲,数据的价值已经得到了充分的认识,企业也愿意更多、更久的保存数据,而数据量也实现了从PB向EB级的跨越。想象一下,企业消耗巨额成本获取的车辆路测数据、地震资料、粒子碰撞数据等一旦丢失,损失将是难以估量的,并且在长周期的数据分析过程中,任何的存储故障,都可能导致分析过程的前功尽弃。
面对海量数据,企业在存储选型上,应更加关注存储性能、关注存储本身的数据处理能力,以及AI应用结合、大数据等一些前沿科技发展,从一开始就树立数据湖的意识,让数据应存尽存、高效共享:
高密硬件架构、重删压缩、高效冗余算法、热温冷分级机制,以及蓝光介质等,这些非常好的技术手段能让海量数据更加经济、高效、安全的存储;人工智能/大数据技术的加持,能对更长远的数据进行分析,获得更准确、更有价值的分析结果。
高性能数据分析(HPDA)存储
加速HPC向数据密集型演进
华为OceanStor Pacific系列下一代高性能数据分析(HPDA)存储,可以高效应对HPC产业向数据密集型升级的关键挑战:
超高密设计:通过系列化高密硬件和智能数据分级能力,实现成本优化,数据存得多、存得省;
面向混合负载:一套存储同时支持高带宽和高IOPS,应对复杂负载;
多协议互通:文件/大数据/对象多协议互通,让不同应用的承载更高效。
作为HPC产业的重要数据底座,高性能数据分析存储在探索知识边界、服务国计民生、加速商业变现等领域发挥着着重要的作用。华为OceanStor Pacific下一代高性能数据分析(HPDA)存储,以超高密设计、面向混合负载、多协议互通,全面加速HPC向数据密集型演进。目前已经成功应用于自动驾驶、基因测序、气象预测、卫星遥感等众多国内外高性能计算场景企业及机构。
原文标题:为何新药研发、基因测序、卫星遥感的发展提速都需要它?
文章出处:【微信公众号:华为】欢迎添加关注!文章转载请注明出处。
责任编辑:haq
-
卫星
+关注
关注
18文章
1699浏览量
66884 -
HPC
+关注
关注
0文章
311浏览量
23677
原文标题:为何新药研发、基因测序、卫星遥感的发展提速都需要它?
文章出处:【微信号:huaweicorp,微信公众号:华为】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论