资料介绍
支持AI人工智能和ML机器学习部署的数据中心依靠基于图形处理单元(GPU)的服务器为其计算密集型架构提供支持。到2024年,在多个行业中,GPU使用量的增长将使GPU服务器的复合年增长率超过31%。这意味着将有更多的系统架构师承担承担相应的职责,以确保GPU系统具有最高的性能和成本效益。
然而,为这些基于GPU的AI / ML工作负载优化存储并非易事。存储系统必须高速处理海量数据,与此同时需要注意以下两个挑战:
1)服务器利用率。GPU服务器对于训练大型AI / ML数据集所需的矩阵乘法和卷积非常高效。但是,GPU服务器的成本是典型CPU服务器的3倍。为了保持ROI,IT员工需要让GPU使用率足够饱和。但不幸的是,很多部署经验表明GPU仅有30%的使用率。
2)GPU存储瓶颈。ML训练数据集通常远远超过GPU的本地RAM容量,从而产生了一个I / O瓶颈,分析人员将其称为GPU存储瓶颈。AI和ML系统最终要等待访问存储资源,这是因为它们庞大的数据阻碍了及时访问,从而影响了性能。
为了解决这个问题,NVMe闪存固态硬盘逐渐取代了标准闪存固态硬盘,成为Al / ML存储的首选。NVMe支持大规模的IO并行性,性能约为同类SATA SSD的6倍,并且延迟降低了10倍,并且具有更高的电源效率。正如GPU推动了高性能超级计算机的发展一样,NVMe闪存在降低延迟的同时,实现了更高的存储性能、带宽和吞吐量。NVMe闪存解决方案可以使AI和ML数据集加载到应用程序的速度更快,并且可以避免GPU匮乏。
此外,NVMe Over Fabrics可以虚拟化整个高速网络上的Nvme资源,通过NVMeoF技术可以更好的适用于AI和ML的存储架构。NVMeoF使GPU可以直接访问NVMe的弹性池,因此可以使用本地闪存性能来访问所有资源。它使AI数据科学家和HPC研究人员可以向应用程序提供更多数据,以便他们更快地获得更好的结果。
要获得最佳的GPU存储性能,就需要根据业务目标对基础架构进行微调。这里有四种方法可供考虑。
- 了解TDA4VM或DRA829存储器以获得出色性能
- 有哪些方法可修复轴承跑外圆 1次下载
- 获得GPU存储性能的四种方法 28次下载
- 基于GPU的稀疏矩阵存储格式优化综述 18次下载
- USB 3.0存储发展历史及展望综述 42次下载
- 一种基于区块链的日志安全存储方法 6次下载
- Ceph分布式存储系统性能优化研究综述 5次下载
- 声子BTE方程迭代求解在GPU上的并行加速方案 24次下载
- 一种可行的分布式存储系统安全构造方法 21次下载
- 基于预分区策略的分布式数据存储方法 18次下载
- 一种数据流内存索引及存储方法 8次下载
- 一种利用GPU并行计算提升杂波生成实时性的方法 12次下载
- 单片机存储器的工作原理和结构与半导体存储器的分类说明
- YUV视频GPU实时拼接 2次下载
- 公有云存储系统性能评测方法研究 0次下载
- 获得高频输出的方法AT技术 121次阅读
- CPU渲染和GPU渲染优劣分析 404次阅读
- GPU集群组网技术详解 4529次阅读
- 什么是虚拟GPU?虚拟GPU的优势有哪些? 1542次阅读
- 使用NVIDIA数学库加速GPU应用程序 7179次阅读
- 5种GPU虚拟化技术的详细资料讲解 9623次阅读
- 选择GPU服务器需要考虑哪些情况如何才能提升GPU存储性能 3377次阅读
- GPU和CPU有什么区别GPU的详细介绍 2.3w次阅读
- 一文知道CPU和GPU的区别 5277次阅读
- GPU存储性能怎样去获得 1004次阅读
- 复合放大器实现高精度的高输出驱动能力 获得最佳的性能 1600次阅读
- 全闪存储与混闪存储有啥区别? 2.7w次阅读
- 监控存储技术有哪些 2232次阅读
- 电能表数据动态存储方法 1765次阅读
- 什么是强制gpu渲染_强制渲染gpu有什么用 7712次阅读
下载排行
本周
- 1HFSS电磁仿真设计应用详解PDF电子教程免费下载
- 24.30 MB | 128次下载 | 1 积分
- 2雷达的基本分类方法
- 1.25 MB | 4次下载 | 4 积分
- 3电感技术讲解
- 827.73 KB | 2次下载 | 免费
- 4从 MSP430™ MCU 到 MSPM0 MCU 的迁移指南
- 1.17MB | 2次下载 | 免费
- 5有源低通滤波器设计应用说明
- 1.12MB | 2次下载 | 免费
- 6RA-Eco-RA2E1-48PIN-V1.0开发板资料
- 35.59 MB | 2次下载 | 免费
- 7面向热插拔应用的 I2C 解决方案
- 685.57KB | 1次下载 | 免费
- 8爱普生有源晶体振荡器SG3225EEN应用于储能NPC、新能源
- 317.46 KB | 1次下载 | 免费
本月
- 12024年工控与通信行业上游发展趋势和热点解读
- 2.61 MB | 763次下载 | 免费
- 2HFSS电磁仿真设计应用详解PDF电子教程免费下载
- 24.30 MB | 128次下载 | 1 积分
- 3继电保护原理
- 2.80 MB | 36次下载 | 免费
- 4正激、反激、推挽、全桥、半桥区别和特点
- 0.91 MB | 32次下载 | 1 积分
- 5labview实现DBC在界面加载配置
- 0.57 MB | 21次下载 | 5 积分
- 6在设计中使用MOSFET瞬态热阻抗曲线
- 1.57MB | 15次下载 | 免费
- 7GBT 4706.1-2024家用和类似用途电器的安全第1部分:通用要求
- 7.43 MB | 14次下载 | 免费
- 8H桥中的电流感测
- 545.39KB | 7次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935113次下载 | 10 积分
- 2开源硬件-PMP21529.1-4 开关降压/升压双向直流/直流转换器 PCB layout 设计
- 1.48MB | 420061次下载 | 10 积分
- 3Altium DXP2002下载入口
- 未知 | 233084次下载 | 10 积分
- 4电路仿真软件multisim 10.0免费下载
- 340992 | 191360次下载 | 10 积分
- 5十天学会AVR单片机与C语言视频教程 下载
- 158M | 183329次下载 | 10 积分
- 6labview8.5下载
- 未知 | 81578次下载 | 10 积分
- 7Keil工具MDK-Arm免费下载
- 0.02 MB | 73804次下载 | 10 积分
- 8LabVIEW 8.6下载
- 未知 | 65985次下载 | 10 积分
评论
查看更多