0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

使用TensorFlow开发的一款通用深度学习框架,侧重于针对语言相关任务的序列模型

Tensorflowers 来源:lp 2019-03-22 16:59 次阅读

Lingvo 是国际性语言世界语中的一个单词,意为 “语言”。此名称寓指 Lingvo 框架的根基,即它是使用 TensorFlow 开发的一款通用深度学习框架,侧重于针对语言相关任务(例如机器翻译、语音识别和语音合成)的序列模型。

此框架在 Google 内部非常受欢迎,使用它的研究人员也越来越多。目前已发表 数十篇使用 Lingvo 获得顶尖成果的论文,未来还会有更多论文面世。Lingvo 支持多种架构,从传统的循环神经网络 (RNN) 序列模型到 Transformer 模型,再到包含变分自编码器 (VAE) 组件的模型,不一而足。为表示对研究社区的支持,同时鼓励可复现的研究工作,我们开源了此框架,并开始发布论文中使用的模型。

图 1:Lingvo 框架概览,简要展示了如何实例化和训练模型,以及如何将模型导出以进行评估和部署

在构建 Lingvo 时,我们秉持着协作研究的理念,通过在不同任务之间共享公共层的实现来提升代码复用率。此外,所有层都采用相同的公共界面,并且以相同的方式布局。这不仅可以产生更简洁易懂的代码,还能让您非常轻松地将其他开发者为其他任务所做的改进应用到您自己的任务上。执行这种一致性的确成本不菲,需要更多的规则和样板文件,但 Lingvo 会努力将成本降至最低,以确保在研究过程中更快地进行迭代。

协作的另一个方面是共享可复现的成果。Lingvo 提供一个集中的位置,用于存储检入的模型超参数配置。这不仅可以用来记录重要的实验,还能让其他研究者通过训练相同的模型,轻松复现您的成果。

虽然 Lingvo 最初的关注重点是 NLP,但它其实非常灵活,研究人员已经使用此框架成功实现了图像分割、点云分类等任务的模型。它还支持提炼、生成式对抗网络 (GAN) 和多任务模型。同时,此框架的速度并未因此而受到影响,它具有经优化的输入管道和快速分布式训练能力。最后,Lingvo 还将易于实现生产化也纳入考虑,它甚至有一条明确定义的路径,可以将模型移植到移动推理。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4767

    浏览量

    100662
  • 深度学习
    +关注

    关注

    73

    文章

    5497

    浏览量

    121068
  • tensorflow
    +关注

    关注

    13

    文章

    329

    浏览量

    60520

原文标题:Lingvo:TensorFlow 序列建模框架

文章出处:【微信号:tensorflowers,微信公众号:Tensorflowers】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    语言模型开发框架是什么

    语言模型开发框架是指用于训练、推理和部署大型语言模型的软件工具和库。下面,AI部落小编为您介绍
    的头像 发表于 12-06 10:28 80次阅读

    卷积神经网络的实现工具与框架

    卷积神经网络因其在图像和视频处理任务中的卓越性能而广受欢迎。随着深度学习技术的快速发展,多种实现工具和框架应运而生,为研究人员和开发者提供了
    的头像 发表于 11-15 15:20 242次阅读

    【《大语言模型应用指南》阅读体验】+ 基础知识学习

    些局限性。例如,模型可能无法完全理解文本中的深层含义和语境信息;同时,由于训练数据可能存在偏差和噪声,生成的答案也可能存在不准确或误导性的情况。 总结以下,大语言模型通过
    发表于 08-02 11:03

    TensorFlow是什么?TensorFlow怎么用?

    TensorFlow是由Google开发个开源深度学习框架,它允许
    的头像 发表于 07-12 16:38 635次阅读

    深度学习中的时间序列分类方法

    时间序列分类(Time Series Classification, TSC)是机器学习深度学习领域的重要任务
    的头像 发表于 07-09 15:54 829次阅读

    tensorflow简单的模型训练

    在本文中,我们将详细介绍如何使用TensorFlow进行简单的模型训练。TensorFlow个开源的机器学习库,广泛用于各种机器
    的头像 发表于 07-05 09:38 598次阅读

    keras模型tensorflow session

    和训练深度学习模型。Keras是基于TensorFlow、Theano或CNTK等底层计算框架构建的。T
    的头像 发表于 07-05 09:36 496次阅读

    TensorFlow与PyTorch深度学习框架的比较与选择

    深度学习作为人工智能领域的个重要分支,在过去十年中取得了显著的进展。在构建和训练深度学习模型
    的头像 发表于 07-02 14:04 938次阅读

    语言模型:原理与工程时间+小白初识大语言模型

    解锁 我理解的是基于深度学习,需要训练各种数据知识最后生成自己的的语言理解和能力的交互模型。 对于常说的RNN是处理短序列的数据时表现出色,
    发表于 05-12 23:57

    【大语言模型:原理与工程实践】大语言模型的评测

    安全性的评测则关注模型在强化学习阶段的表现。行业模型的评测则针对特定行业的能力,如金融和法律等领域。整体能力的评测从宏观角度评估模型作为
    发表于 05-07 17:12

    【大语言模型:原理与工程实践】大语言模型的预训练

    语言模型的核心特点在于其庞大的参数量,这赋予了模型强大的学习容量,使其无需依赖微调即可适应各种下游任务,而更倾向于培养
    发表于 05-07 17:10

    【大语言模型:原理与工程实践】大语言模型的基础技术

    ,这也是如今生成式 AI 中大语言模型最流行训练架构。(3) Encoder-Decoder预训练语言模型:这类模型旨在将各种自然
    发表于 05-05 12:17

    【大语言模型:原理与工程实践】揭开大语言模型的面纱

    学习能力。这些模型以生成能力强和灵活性强为特点,逐渐演变成通用计算平台。其参数多样性、生成能力和涌现性使其不仅在自然语言处理领域表现出色
    发表于 05-04 23:55

    谷歌模型框架是什么软件?谷歌模型框架怎么用?

    谷歌模型框架通常指的是谷歌开发的用于机器学习和人工智能的软件框架,其中最著名的是TensorFlow
    的头像 发表于 03-01 16:25 842次阅读

    如何使用TensorFlow构建机器学习模型

    在这篇文章中,我将逐步讲解如何使用 TensorFlow 创建个简单的机器学习模型
    的头像 发表于 01-08 09:25 949次阅读
    如何使用<b class='flag-5'>TensorFlow</b>构建机器<b class='flag-5'>学习</b><b class='flag-5'>模型</b>