案例简介
本案例中美团机器学习平台使用 NVIDIA GPU 支持其多方面优化策略,从而提高吞吐能力及降低响应延迟。通过算子融合、计算图等价替换等一系列优化 ,相较于 CPU 在相同成本约束下,NVIDIA T4 GPU 大幅加速美团 CTR(Click-Through-Rate)模型预测性能,神经网络模型吞吐能力提升了 10 倍;同时在搜索精排场景中,端到端整体吞吐能力提升了一倍以上,助力美团 CTR 向新一代服务升级。
• 本案例为 NVIDIA GPU 推理加速互联网行业 CTR 模型的典型应用
• 本案例主要应用到 T4 GPU 和 NVIDIA 各 SDK 以及 CUDA 加速手段
客户简介及应用背景
美团是一家集生活服务及商品零售的电商平台,公司聚焦“零售+科技”战略,以“吃”为核心,通过科技创新,服务于生活服务业需求侧和供给侧数字化升级。美团在中国业务涵盖餐饮、配送、网约车、共享单车、酒店及旅游预订、电影票务等 200 多个服务品类,覆盖全国 2800 个市区县,服务 6.7 亿活跃用户和 830 万活跃商家。
伴随着用户规模的提升和业务的精细化运营,业务侧对推荐系统的准确度、吞吐能力和时延都提出了新的挑战,而 CTR 模型作为推荐系统的核心模型,其效果直接影响业务的收入。
客户挑战
美团的 CTR 模型过去一直在使用 CPU 推理的方式,但随着用户访问量的提升和深度神经网络的引入,CTR 模型结构趋于复杂,吞吐和计算量也越来越大,CPU 开始不能满足模型对于算力的需求,而仅仅通过 CPU 服务器的堆叠带来的性能提升性价比相较偏低。
而 GPU 拥有数以千计的计算核心,可以在单机内提供密集的并行计算能力,特别适合深度学习场景,在行业内已经在 CV、NLP 等领域展示了强大的能力。通过 CUDA 及相关 API,NVIDIA建立了完整的 GPU 生态系统。基于此,美团基础研发平台将 CTR 模型部署到 GPU 上,并通过一系列针对 CPU 与 GPU 的异构系统并行计算设计、数据存储方式和传输方式上的特定优化,希望能通过 GPU 强大的计算力,协助美团在 CTR 预测的各业务场景中发挥出最大优势。
应用方案
为了解决算力瓶颈及上述各种挑战,美团机器学习平台采用 NVIDIA AI 计算平台,在继 CV、NLP 及 CTR 训练后,也使用了 NVIDIA T4来提供 CTR 预测支持,大幅提升用户体验与服务稳定性。除此之外,时延也是业务侧非常重视的性能指标,许多复杂模型纵有更好的准确度,但却因响应时间不达标而无法落地应用,例如,在某搜索框自动补全的场景,由于天然的交互属性,时延要求非常苛刻,一般来说无法使用复杂的模型。而在 GPU 能力的加持下,其复杂模型的平均响应时间从 15 毫秒降低至 6~7 毫秒,足足缩短了一倍多,达到了上线要求。
使用效果及影响
通过 NVIDIA T4 深度优化方案,成功为美团 CTR 模型创造更多应用机会,不仅极大地提升了系统吞吐量,更进一步地提升了整个模型训练的速度与降低训练成本,落实 AI 框架在 GPU上性能推理的优化实践。
“在美团和英伟达的共同努力下,我们将 CTR 预测服务成功的迁移到 GPU 平台上,在为业务提供更好的支撑的同时也获得了更好的性价比;下一步,机器学习平台计划采用 NVIDIA Triton 推理服务框架和 NVIDIA Ampere A30,进一步提升美团推理服务的效率。”
审核编辑:郭婷
-
NVIDIA
+关注
关注
14文章
4984浏览量
103017 -
gpu
+关注
关注
28文章
4735浏览量
128914 -
AI
+关注
关注
87文章
30814浏览量
268958
发布评论请先 登录
相关推荐
评论