电子发烧友App

硬声App

0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示
创作
电子发烧友网>电子资料下载>品质管理资料>获得GPU存储性能的方法有哪些

获得GPU存储性能的方法有哪些

2020-04-02 | doc | 0.07 MB | 次下载 | 1积分

资料介绍

  支持AI人工智能和ML机器学习部署的数据中心依靠基于图形处理单元(GPU)的服务器为其计算密集型架构提供支持。到2024年,在多个行业中,GPU使用量的增长将使GPU服务器的复合年增长率超过31%。这意味着将有更多的系统架构师承担承担相应的职责,以确保GPU系统具有最高的性能和成本效益。

  然而,为这些基于GPU的AI / ML工作负载优化存储并非易事。存储系统必须高速处理海量数据,与此同时需要注意以下两个挑战:

  1)服务器利用率。GPU服务器对于训练大型AI / ML数据集所需的矩阵乘法和卷积非常高效。但是,GPU服务器的成本是典型CPU服务器的3倍。为了保持ROI,IT员工需要让GPU使用率足够饱和。但不幸的是,很多部署经验表明GPU仅有30%的使用率。

  2)GPU存储瓶颈。ML训练数据集通常远远超过GPU的本地RAM容量,从而产生了一个I / O瓶颈,分析人员将其称为GPU存储瓶颈。AI和ML系统最终要等待访问存储资源,这是因为它们庞大的数据阻碍了及时访问,从而影响了性能。

  为了解决这个问题,NVMe闪存固态硬盘逐渐取代了标准闪存固态硬盘,成为Al / ML存储的首选。NVMe支持大规模的IO并行性,性能约为同类SATA SSD的6倍,并且延迟降低了10倍,并且具有更高的电源效率。正如GPU推动了高性能超级计算机的发展一样,NVMe闪存在降低延迟的同时,实现了更高的存储性能、带宽和吞吐量。NVMe闪存解决方案可以使AI和ML数据集加载到应用程序的速度更快,并且可以避免GPU匮乏。

  此外,NVMe Over Fabrics可以虚拟化整个高速网络上的Nvme资源,通过NVMeoF技术可以更好的适用于AI和ML的存储架构。NVMeoF使GPU可以直接访问NVMe的弹性池,因此可以使用本地闪存性能来访问所有资源。它使AI数据科学家和HPC研究人员可以向应用程序提供更多数据,以便他们更快地获得更好的结果。

  要获得最佳的GPU存储性能,就需要根据业务目标对基础架构进行微调。这里有四种方法可供考虑。
 

下载该资料的人也在下载 下载该资料的人还在阅读
更多 >

评论

查看更多

下载排行

本周

  1. 1HFSS电磁仿真设计应用详解PDF电子教程免费下载
  2. 24.30 MB   |  128次下载  |  1 积分
  3. 2雷达的基本分类方法
  4. 1.25 MB   |  4次下载  |  4 积分
  5. 3电感技术讲解
  6. 827.73 KB  |  2次下载  |  免费
  7. 4从 MSP430™ MCU 到 MSPM0 MCU 的迁移指南
  8. 1.17MB   |  2次下载  |  免费
  9. 5有源低通滤波器设计应用说明
  10. 1.12MB   |  2次下载  |  免费
  11. 6RA-Eco-RA2E1-48PIN-V1.0开发板资料
  12. 35.59 MB  |  2次下载  |  免费
  13. 7面向热插拔应用的 I2C 解决方案
  14. 685.57KB   |  1次下载  |  免费
  15. 8爱普生有源晶体振荡器SG3225EEN应用于储能NPC、新能源
  16. 317.46 KB  |  1次下载  |  免费

本月

  1. 12024年工控与通信行业上游发展趋势和热点解读
  2. 2.61 MB   |  763次下载  |  免费
  3. 2HFSS电磁仿真设计应用详解PDF电子教程免费下载
  4. 24.30 MB   |  128次下载  |  1 积分
  5. 3继电保护原理
  6. 2.80 MB   |  36次下载  |  免费
  7. 4正激、反激、推挽、全桥、半桥区别和特点
  8. 0.91 MB   |  32次下载  |  1 积分
  9. 5labview实现DBC在界面加载配置
  10. 0.57 MB   |  21次下载  |  5 积分
  11. 6在设计中使用MOSFET瞬态热阻抗曲线
  12. 1.57MB   |  15次下载  |  免费
  13. 7GBT 4706.1-2024家用和类似用途电器的安全第1部分:通用要求
  14. 7.43 MB   |  14次下载  |  免费
  15. 8H桥中的电流感测
  16. 545.39KB   |  7次下载  |  免费

总榜

  1. 1matlab软件下载入口
  2. 未知  |  935113次下载  |  10 积分
  3. 2开源硬件-PMP21529.1-4 开关降压/升压双向直流/直流转换器 PCB layout 设计
  4. 1.48MB  |  420061次下载  |  10 积分
  5. 3Altium DXP2002下载入口
  6. 未知  |  233084次下载  |  10 积分
  7. 4电路仿真软件multisim 10.0免费下载
  8. 340992  |  191360次下载  |  10 积分
  9. 5十天学会AVR单片机与C语言视频教程 下载
  10. 158M  |  183329次下载  |  10 积分
  11. 6labview8.5下载
  12. 未知  |  81578次下载  |  10 积分
  13. 7Keil工具MDK-Arm免费下载
  14. 0.02 MB  |  73804次下载  |  10 积分
  15. 8LabVIEW 8.6下载
  16. 未知  |  65985次下载  |  10 积分