0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA Triton推理服务器帮助Teams使用认知服务优化语音识别模型

NVIDIA英伟达 来源:NVIDIA英伟达 作者:NVIDIA英伟达 2022-01-04 17:45 次阅读

Microsoft Teams借助AI生成的实时字幕和转录功能,帮助全球学生和职场人士顺利进行在线会议。用于训练的NVIDIA AI计算技术和用于推理语音识别模型的NVIDIA Triton推理服务器进一步提升了这两个功能。

Microsoft Teams 是全球沟通和协作的重要工具,每月有近2.5亿活跃用户。Microsoft Azure 认知服务为Teams提供28种语言的字幕和转录,并将很快能够在NVIDIA GPU上运行关键的计算密集型神经网络推理。

实时字幕功能帮助与会者实时跟踪对话,转录功能方便与会者在日后回顾当时的创意或回看未能参与的会议。

实时字幕对聋哑人、听力障碍者,或者异国与会者特别有用。

NVIDIA Triton开源推理服务软件能够帮助Teams使用认知服务优化语音识别模型。

使用Triton,认知服务能够支持高度先进的语言模型,以极低的延迟实时提供高度准确、个性化的语音转文本结果。同时,可以保证运行这些语音转文本模型的NVIDIA GPU充分发挥其潜力,在消耗更少计算资源的同时,为客户提供更高的吞吐量,进而降低成本。

底层语音识别技术作为认知服务中的一个API,开发人员可以使用它定制和运行自己的应用程序——客服电话转录、智能家居控制或为急救人员提供AI助手。

字字达意的AI

认知服务会生成Teams的转录和字幕,将语音转换为文本,并识别说话人。同时也能够识别专业术语 、姓名和其他会议背景,提高字幕的准确性。

Microsoft Teams的通话、会议及设备首席项目经理Shalendra Chhabra表示:“这样的AI模型非常复杂,需要数千万个神经网络参数才能识别几十种不同的语言。但模型越大,就越难以经济高效地实时运行。”

NVIDIA GPU和Triton软件能够帮助微软在不牺牲低延迟的情况下,通过强大的神经网络,实现高准确性,确保语音-文本的实时转换。

当启用转录功能时,与会者可以在会议结束后轻松补上错过的内容。

Triton三大功能推动效率提升

NVIDIA Triton有助于简化AI模型部署,并解锁高性能推理。用户甚至可以为自己的应用开发自定义后端。软件的一些关键功能可将Microsoft Teams的字幕和转录功能扩展到更多会议和用户,包括:

流推理:新型流推理功能——通过跟踪语音上下语境,提高延迟、敏感性字幕的准确度,它助力NVIDIA和Azure认知服务合作定制语音转文本的应用程序。

动态合批:批大小指神经网络同时处理的输入样本数量。通过Triton的动态合批,单项推理请求被自动组合成一个批次,因此能够在不影响模型延迟的情况下更好地利用GPU资源。

并发模型执行:实时字幕和转录需要同时运行多个深度学习模型。Triton使开发人员能够在单个GPU上同时完成这些工作,包括使用不同深度学习框架的模型。

即刻启程,借助Azure 认知服务,在您的应用中使用语音转文本的功能,并进一步了解NVIDIA Triton 推理服务软件如何帮助团队大规模部署AI模型。

NVIDIA 将参加 CES 2022, 并将在 1 月 5 日凌晨 0 点(北京时间)发表 NVIDIA 特别演讲。

NVIDIA GeForce 高级副总裁 Jeff Fisher 和 NVIDIA 汽车部门副总裁兼总经理 Ali Kani 将展示加速计算在设计、仿真、游戏和自动驾驶汽车方面的新突破。

原文标题:Microsoft Azure 认知服务和NVIDIA AI提升Microsoft Teams实时字幕和转录功能

文章出处:【微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

审核编辑:彭菁
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4979

    浏览量

    102994
  • 服务器
    +关注

    关注

    12

    文章

    9124

    浏览量

    85331
  • 智能家居
    +关注

    关注

    1928

    文章

    9555

    浏览量

    184946

原文标题:Microsoft Azure 认知服务和NVIDIA AI提升Microsoft Teams实时字幕和转录功能

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    NTP服务器的性能优化方法

    NTP(Network Time Protocol,网络时间协议)服务器性能的优化对于确保时间同步的准确性和可靠性至关重要。以下是一些NTP服务器性能优化的方法: 一、增加NTP
    的头像 发表于 12-18 15:24 221次阅读

    独立服务器与云服务器的区别

    随着互联网技术的飞速发展,企业对于服务器的需求日益增加,而服务器市场也随之出现了多种类型的产品,其中最常见的是独立服务器和云服务器。这两种服务器
    的头像 发表于 10-12 14:34 254次阅读

    如何优化Linux服务器的性能

    优化Linux服务器的性能是一个综合性的任务,涉及硬件、软件、配置、监控等多个方面。以下是一个详细的指南,旨在帮助系统管理员和运维人员提升Linux服务器的性能和稳定性。
    的头像 发表于 09-29 16:50 298次阅读

    NVIDIA助力提供多样、灵活的模型选择

    在本案例中,Dify 以模型中立以及开源生态的优势,为广大 AI 创新者提供丰富的模型选择。其集成的 NVIDIAAPI Catalog、NVIDIA NIM和Triton
    的头像 发表于 09-09 09:19 461次阅读

    站群服务器真的对网站优化有用吗?

    hncloud站群服务器(或称为云站群服务器)是一种专门用于网站优化和SEO(搜索引擎优化)的服务器配置,通常用于管理多个网站和
    的头像 发表于 08-21 11:34 265次阅读

    AI云服务器:开启智能计算新时代

    一、AI云服务器的定义与特点 AI云服务器的定义 AI云服务器是一种基于云计算技术,专为处理人工智能相关工作负载而构建的服务器。它集成了强大的计算能力、高效的数据存储和处理能力,以及
    的头像 发表于 08-09 16:08 857次阅读

    服务器数据恢复—搬迁导致服务器无法识别raid的数据恢复案例

    某单位机房搬迁,将所有服务器和存储搬迁到新机房并重新连接线路,启动所有机器发现其中有一台服务器无法识别RAID,提示未做初始化操作。 发生故障的这台服务器安装LINUX操作系统,配置
    的头像 发表于 07-25 16:34 397次阅读

    英伟达推出全新NVIDIA AI Foundry服务NVIDIA NIM推理服务

    NVIDIA 宣布推出全新 NVIDIA AI Foundry 服务NVIDIA NIM 推理服务
    的头像 发表于 07-25 09:48 698次阅读

    AI服务器的特点和关键技术

    AI服务器,即人工智能服务器,是一种专门设计用于运行和加速人工智能(AI)算法与模型的硬件设备。随着人工智能技术的快速发展和普及,AI服务器在数据处理、
    的头像 发表于 07-17 16:34 1525次阅读

    英伟达推出AI模型推理服务NVIDIA NIM

    英伟达近日宣布推出一项革命性的AI模型推理服务——NVIDIA NIM。这项服务将极大地简化AI模型
    的头像 发表于 06-04 09:15 674次阅读

    服务器的特点

    服务器是一种基于云计算技术的服务器服务,它提供了可灵活扩展的计算资源和环境。Rak部落小编为您整理发布云服务器的特点,希望对您有帮助
    的头像 发表于 04-09 09:30 423次阅读

    使用NVIDIA Triton推理服务器来加速AI预测

    这家云计算巨头的计算机视觉和数据科学服务使用 NVIDIA Triton 推理服务器来加速 AI 预测。
    的头像 发表于 02-29 14:04 576次阅读

    linux服务器和windows服务器

    Linux服务器和Windows服务器是目前应用最广泛的两种服务器操作系统。两者各有优劣,也适用于不同的应用场景。本文将 对Linux服务器和Windows
    发表于 02-22 15:46

    独立服务器和云服务器的区别

    独立服务器和云服务器的区别是很多用户在选择服务器时要做的课程,那么独立服务器和云服务器的区别有哪些呢?
    的头像 发表于 01-17 10:58 850次阅读

    利用NVIDIA产品技术组合提升用户体验

    本案例通过利用NVIDIA TensorRT-LLM加速指令识别深度学习模型,并借助NVIDIA Triton
    的头像 发表于 01-17 09:30 687次阅读