0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA Triton的概念、特性及主要功能

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 作者:NVIDIA英伟达企业解 2022-07-18 10:11 次阅读

NVIDIA Triton 推理服务器是 NVIDIA AI 平台的一部分,它是一款开源推理服务软件,可助力标准化模型的部署和执行,并在生产环境中提供快速且可扩展的 AI。

什么是 NVIDIA Triton?

NVIDIA Triton 推理服务器可助力团队在任意基于 GPUCPU 的基础设施上部署、运行和扩展任意框架中经过训练的 AI 模型,进而精简 AI 推理。同时,AI 研究人员和数据科学家可在不影响生产部署的情况下,针对其项目自由选择合适的框架。它还帮助开发者跨云、本地、边缘和嵌入式设备提供高性能推理。

NVIDIA Triton特性

支持多个框架

NVIDIA Triton 推理服务器支持所有主流框架,例如 TensorFlow、NVIDIA TensorRT、PyTorch、MXNet、Python、ONNX、RAPIDS FIL(用于XGBoost、scikit-learn 等)、OpenVINO、自定义 C++ 等。

高性能推理

NVIDIA Triton 支持所有基于 NVIDIA GPU、x86 和 ArmCPU 的推理。它具有动态批处理、并发执行、最优模型配置、模型集成和串流输入等功能,可更大限度地提高吞吐量和利用率。

专为 DevOps 和 MLOps 设计

Triton 与 Kubernetes 集成,可用于编排和扩展,导出 Prometheus 指标进行监控,支持实时模型更新,并可用于所有主流的公有云 AI 和 Kubernetes 平台。它还与许多 MLOps 软件解决方案集成。

各项应用中快速且可扩展的AI

高推理吞吐量

0f9e53ee-0431-11ed-ba43-dac502259ad0.jpg

NVIDIA Triton 可在单个 GPU 或 CPU 上并行指定相同或不同框架下的多个模型。在多 GPU 服务器中,NVIDIA Triton 会自动为基于每个 GPU 的每个模型创建一个实例,以提高利用率。

它还可在严格的延迟限制条件下优化实时推理服务,通过支持批量推理来更大限度地提高 GPU 和 CPU 利用率,并内置对音频视频流输入的支持。对于需要使用多个模型来执行端到端推理(例如对话式 AI)的用例,Triton 支持模型集成。

模型可在生产环境中实时更新,无需重启 Triton 或应用。Triton 支持对单个 GPU 显存无法容纳的超大模型进行多 GPU 以及多节点推理。

高度可扩展的推理

0faecbe8-0431-11ed-ba43-dac502259ad0.jpg

作为一个 Docker 容器,Triton 与 Kubernetes 集成,用于编排、指标和自动缩放。Triton 还与 Kubeflow 和 Kubeflow 工作流集成,实现端到端的 AI 工作流,并导出 Prometheus 指标,用于监控 GPU 利用率、延迟、内存使用率和推理吞吐量。它支持标准的 HTTP / gRPC 接口,可与 load balancer 等其他应用连接,并可轻松扩展到任意数量的服务器,以为任意模型处理日益增长的推理负载。

Triton 可通过一个模型控制 API 来服务于数十或数百个模型。您可基于为适应 GPU 或 CPU 显存而进行的改动,将模型加载到推理服务器中或从推理服务器中卸载。支持兼具 GPU 和 CPU 的异构集群有助于跨平台实现推理标准化,并动态扩展到任意 CPU 或 GPU 以处理峰值负载。

NVIDIA Triton的主要功能

Triton Forest Inference Library (FIL) 后端

新的 Forest Inference Library (FIL) 后端支持在 CPU 和 GPU 上对基于树的模型进行具有可解释性(Shapley 值)的高性能推理。它支持来自 XGBoost、LightGBM、scikit-learn RandomForest、RAPIDS cuML RandomForest 以及其他 Treelite 格式的模型。

Triton 模型分析器

Triton 模型分析器是一种自动评估 Triton 部署配置(例如目标处理器上的批量大小、精度和并发执行实例)的工具。它有助于选择优化配置,以满足应用的服务质量(QoS)限制(延迟、吞吐量和内存要求),并且可以将找到优化配置所需的时间从数周缩短到数小时。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    5075

    浏览量

    103615
  • 服务器
    +关注

    关注

    12

    文章

    9295

    浏览量

    85962
  • Triton
    +关注

    关注

    0

    文章

    28

    浏览量

    7054

原文标题:DevZone | NVIDIA Triton推理服务器

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    变频电源的主要功能及特点

    变频电源的主要功能及特点 1. 引言 随着现代工业自动化和智能化的发展,对电力供应的稳定性和灵活性提出了更高的要求。变频电源作为一种能够提供可变频率和电压的电源设备,已经成为工业自动化领域不可或缺
    的头像 发表于 12-04 10:06 281次阅读

    负载管理器的主要功能

    负载管理器(Load Manager)是计算机系统中的一个关键组件,它负责分配和管理计算资源,以确保系统运行的效率和稳定性。负载管理器的主要功能包括任务调度、资源分配、性能监控、故障恢复等。以下
    的头像 发表于 10-10 11:26 412次阅读

    数字化智能工厂的主要功能组成

    数字化智能工厂是一种基于数字化技术和智能化系统的现代制造工厂,主要功能包括自动化生产设备、信息技术基础设施、数据采集与分析系统、互联互通技术、人工智能与机器学习、虚拟现实与增强现实、安全防护体系和绿色制造。
    的头像 发表于 10-08 11:40 535次阅读
    数字化智能工厂的<b class='flag-5'>主要功能</b>组成

    FPD link主要功能模块

    电子发烧友网站提供《FPD link主要功能模块.pdf》资料免费下载
    发表于 09-27 11:38 0次下载
    FPD link<b class='flag-5'>主要功能</b>模块

    漏洞扫描的主要功能是什么

    漏洞扫描是一种网络安全技术,用于识别计算机系统、网络或应用程序中的安全漏洞。这些漏洞可能被恶意用户利用来获取未授权访问、数据泄露或其他形式的攻击。漏洞扫描的主要功能是帮助组织及时发现并修复这些安全
    的头像 发表于 09-25 10:25 486次阅读

    电子地图的主要功能与应用

    电子地图,即数字地图,是利用计算机技术,以数字方式存储和查阅的地图。它不仅继承了传统纸质地图的基本功能,还通过现代科技手段实现了诸多创新应用。以下是电子地图的主要功能与应用: 一、主要功能 快速存取
    的头像 发表于 09-12 11:18 2418次阅读
    电子地图的<b class='flag-5'>主要功能</b>与应用

    GUTOR不间断电源的主要功能是什么?

    GUTOR不间断电源的主要功能是什么?
    发表于 09-06 17:44

    微处理器的主要功能是什么

    微处理器(Microprocessor),作为计算机系统的核心部件,其主要功能对于整个计算机系统的运行至关重要。
    的头像 发表于 08-22 11:48 2254次阅读

    RFID天线的工作原理和主要功能

    RFID(Radio Frequency Identification,无线射频识别)天线作为RFID系统中的关键组件,其工作原理和主要功能对于整个系统的性能和稳定性至关重要。以下是对RFID天线工作原理和主要功能的详细阐述。
    的头像 发表于 08-09 15:38 1523次阅读

    高频调谐器的主要功能有哪些

    高频调谐器是一种广泛应用于电子通信领域的设备,其主要功能是对接收到的高频信号进行调谐、滤波、放大等处理,以满足通信系统对信号质量的要求。 一、调谐功能 调谐功能是高频调谐器最基本的功能
    的头像 发表于 07-16 16:35 905次阅读

    opencv的主要功能有哪些

    OpenCV(Open Source Computer Vision Library)是一个开源的计算机视觉库,提供了大量的计算机视觉算法和工具。以下是OpenCV的主要功能: 图像处理
    的头像 发表于 07-16 10:35 1732次阅读

    连接器的主要功能是什么

    连接器的主要功能是实现电子设备之间的电气连接和信号传输。连接器的种类繁多,应用领域广泛,其主要功能可以归纳为以下几点: 电气连接:连接器的主要功能是实现电子设备之间的电气连接。连接器通过其金属接触件
    的头像 发表于 06-20 09:22 1179次阅读

    接地电阻柜的主要功能是控制和限制接地电流

    中性点接地电阻柜的主要功能是控制和限制接地电流
    的头像 发表于 05-09 15:16 483次阅读
    接地电阻柜的<b class='flag-5'>主要功能</b>是控制和限制接地电流

    SMD电感器的主要功能是什么?

    SMD电感器的主要功能是什么? SMD电感器的主要功能是用于电路中的电感元件,主要用于储存能量、传输信号、滤波和产生磁场等。 一、能量储存和传输: SMD电感器可以储存电能并将其传输到电路的其他部分
    的头像 发表于 02-03 15:07 1271次阅读

    TC397的VDDP3引脚的主要功能是什么?

    1.TC397的VDDP3引脚的主要功能是什么?用来给类似外部FLASH供电使用的吗? 2.我是否可以不使用VDDP3引脚,讲VDDP3引脚串联一个100nf电容到GND? 3.TC3X系列是否有硬件设计指导手册?
    发表于 02-01 08:28