0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何在没有大量标记数据的情况下,让计算机也学会翻译?

电子工程师 来源:未知 作者:李倩 2018-09-05 09:20 次阅读

神经机器翻译(NMT)关注的是通过 AI 在不同人类语言之间进行翻译的过程。2015 年,蒙特利尔学习算法研究所的研究人员开发出了一项新的算法模型,最终让机器给出了对应的翻译。一夜之间,像谷歌翻译这样的翻译软件质量得到了大幅度提升。

尽管此次改进非常显著,但它仍需要两种语言的句子对,例如:“I like to eat”和“me gusta comer”分别为英语和法语中的“我想要吃”。对于从乌尔都语到英语等没有句子对的语言翻译而言,翻译系统则显得无能为力。从那时起,研究人员就开始构建无需句子对也能翻译的系统,无监督神经机器翻译(UNMT)就是其一。

去年 10 月末,来自西班牙圣塞巴斯蒂安巴斯克大学(UPV)和互联网科技公司 Facebook 人工智能研究院(FAIR)的两支团队,向2018ICLR分别递交了各自的最新研究成果——无监督神经网络翻译模型。

当时,两篇论文共同表明,神经网络可以在没有平行文本的情况下学习翻译。

这意味着该模型将突破原有的神经机器翻译(NMT)需要足够大的平行语料库的限制,创造了一种可以使用单语语料库进行训练的翻译模型,并克服了平行语料库不足的问题。从社会学的角度讲,这将有助于我们翻译一些语言已经丢失了的文字,或者让机器去实时翻译一些稀有语言,如斯瓦西里语和白俄罗斯语。

过去一年间,不断有研究人员试图通过无监督学习用大量无标记数据训练以进一步提高系统的翻译能力。Facebook、纽约大学、巴斯克大学、索邦大学的研究团队成果显著,成功让机器在不知道“house”的西班牙对应词是“casa”的情况下翻译出来。

近日,Facebook 人工智能实验室再次公布了有关无监督神经网络翻译的最新模型,相当于用 10 万个参考译文训练过的监督模型。“在机器翻译领域,这是一个重大的发现,尽管世界上有超过 6500 种语言,但可利用的翻译训练资源池要么不存在、要么就是太小不足以运用在现有系统中。”

为了证明这一进步的价值,研究人员给出了以下陈述:“ 1 个 BLEU 点(判断机器翻译准确度的常用指标)的进步被视为该领域一项了不起的成就。我们的方法相当于有 10 个 BLEU 点的进步。” 实际上,该项研究使得很多没有平行文本的语言翻译变得更为容易,如从乌尔都语到英语的翻译。

▌研究原理

1、字节对编码:不像此前为系统提供完整单词的方式,只给系统提供单词的一部分。例如,单词“hello”可拆分为四部分,分别是“he”“l”“l”“o”。这意味系统可以学习“he”的译词,尽管系统此前从来没有见过该词。

2、语言模型:训练神经网路学习生成在语言中“听起来不错”的句子。例如,这个神经网络可能会将句子“您好嘛”改为“您好吗”。

3、反向翻译:这是神经网络学习向后翻译的另一个技巧。例如,如果想将西班牙语翻译称英语,就需要先教会神经网络从英语翻译成西班牙语,然后用它来生成合成数据,从而增加已有的数据量。

▌逐字翻译

让系统学习双语词典,将一个单词与其他语言的合理翻译联系起来,即系统学习每种语言中的单词嵌入。

训练嵌入词以预测跟给定上下文中单词近似的单词,可以发现很多有趣的语义结构。例如,“kitty”的近义词是“cat”,而“kitty”的嵌入词与“animal”相近,却与“rocket”相差很远。

此外,不同语言的嵌入词有相似的领域结构,这在于世界各地的人都拥有相同的物理环境。例如,英语中的单词“cat”和“furry”之间的关系类似于它们在西班牙语中的相应翻译(“gato”和“peludo”),因为这些单词的频率和其上下文是相似的。

鉴于这些相似之处,研究人员建议使用对抗训练,以推导出一个相当准确的双语词典,无需访问任何平行文本,便可实现逐字翻译。

▌句子修正

不过,研究人员还是建议无监督的方式进行逐字翻译,也有可能造成单词丢失,或无序甚至是错误。所以,接下来,需要在已知大量单词数据的基础上进行编辑,对不流畅或不符合语法结构的句子进行修正。

另外,研究人员还给出以下两种方法,一个是基于神经网络的系统(NMT),一个是基于短语的系统(PBSMT)。虽然任何一种方法都可以提高翻译质量,但二者并用将产生更新的显著效果。

据了解,PBSMT(Facebook统计机器翻译)是 FAIR 此前的研究成果。该系统学习每种语言中短语的概率分布,并教会另一个系统旋转第二组的数据点以匹配第一组的数据点。

以一个比较形象的方式展示:假设有两个图像,一个是杯子与盖子彼此相邻,另一个是盖子在杯子上。该系统将学习如何在没有盖子的情况下,在图像周围移动像素以生成有盖子的图像。

目前,Facebook 人工智能实验室将免费开放代码,方便开发者获取搭建系统。

▌写在最后

要知道,多数现有的 AI 模型是通过“监督学习”训练而成的,这也意味着必须耗费大量的人力对样本数据进行标记与分类。尽管强化学习与生成式对抗网络的出现从一定程度上解决了这一问题,但数据标记仍是目前阻碍 AI 系统发展的最大障碍。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4771

    浏览量

    100742
  • 人工智能
    +关注

    关注

    1791

    文章

    47234

    浏览量

    238351
  • 机器翻译
    +关注

    关注

    0

    文章

    139

    浏览量

    14880

原文标题:翻译们又要失业?Facebook最新无监督机器翻译成果,BLEU提升10个点!

文章出处:【微信号:rgznai100,微信公众号:rgznai100】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    云端超级计算机使用教程

    云端超级计算机是一种基于云计算的高性能计算服务,它将大量计算资源和存储资源集中在一起,通过网络向用户提供按需的计算服务。下面,AI部落小编为
    的头像 发表于 12-17 10:19 93次阅读

    ROM对计算机性能的影响

    是一种非易失性存储器,即使在断电的情况下能保持数据不丢失。它通常用于存储固件,这些固件是计算机启动和运行操作系统所必需的。ROM的内容在制造过程中被写入,并且通常不能被用户更改。 R
    的头像 发表于 11-04 10:31 309次阅读

    龙芯中科亮相第二届中国计算机学会芯片大会

    近日,由CCF体系结构专业委员会、集成电路设计专业委员会、容错计算专业委员会、计算机工程与工艺专业委员会联合举办的第二届中国计算机学会芯片大会在上海成功举办。大会以“发展芯技术,智算芯
    的头像 发表于 07-30 15:47 755次阅读

    ESP8266如何在没有SNTP的情况下写入当前的系统时间?

    当我开发SSL应用程序时,我首先需要SNTP。我们希望通过添加外部RTC模块来记录有效时间,从而避免每次使用SSL时先使用SNTP。但是,我们没有找到设置系统时间的接口。如何在没有SNTP的
    发表于 07-09 07:19

    何在UDP的情况下监听自己通信是否中断?

    请教大佬一个问题。 我如何在UDP的情况下监听自己通信是否中断? 不知道有没有什么可以参考的?
    发表于 06-24 06:04

    工业计算机与普通计算机的区别

    在信息化和自动化日益发展的今天,计算机已经成为了我们日常生活和工作中不可或缺的工具。然而,在计算机领域中,工业计算机和普通计算机虽然都具备基本的计算
    的头像 发表于 06-06 16:45 1378次阅读

    工业计算机是什么?如何在不同行业中使用?

    工业电脑是专为在工业环境中使用而设计的计算机。它们可用于各个行业,包括制造、运 输和能源。它们通常比普通计算机更强大,并且能够在大多数计算机无法运行的环境中运行。在本文中,我们将更深入地了解什么是工业
    的头像 发表于 04-01 15:45 799次阅读
    工业<b class='flag-5'>计算机</b>是什么?如<b class='flag-5'>何在</b>不同行业中使用?

    【量子计算机重构未来 | 阅读体验】+ 了解量子叠加原理

    如何生产制造。。。。。。 近来通过阅读《量子计算机—重构未来》一书,结合网络资料,了解了一点点量子叠加知识,分享给大家。 先提一电子计算机,电子计算机使用二进制表示信息
    发表于 03-13 17:19

    【量子计算机重构未来 | 阅读体验】+量子计算机的原理究竟是什么以及有哪些应用

    很多有名人物,可以概览。 总结本人作为科普小品还是可以看看的,一些距离比较形象比较有意思,但是个人觉得还是没有解释清楚前面已开始提到的两个问题,量子
    发表于 03-11 12:50

    【量子计算机重构未来 | 阅读体验】+ 初识量子计算机

    话对我触动很大:量子计算机不仅能解决身边的问题,还能解决社会层面的重大课题。 看来真是“天下武功,唯快不破”,只要处理速度足够快,海量数据处理就像计算1+1一样简单,可以想象一,用量
    发表于 03-05 17:37

    量子计算机应用——量子计算沉浸式体验系统

    量子计算机走出实验室造中国自主可控量子计算机由于量子计算机的研制属于巨型系统工程,真机搭建复杂,成本高昂,涉及众多基础产业和工程实现环节,需要大量
    的头像 发表于 02-24 08:21 388次阅读
    量子<b class='flag-5'>计算机</b>应用——量子<b class='flag-5'>计算</b>沉浸式体验系统

    没有触摸的情况下寄生电容怎么计算Cp的值?

    如果在没有触摸的情况,CS=Cp,用公式计算的,raw count取值满量程的85%的情况下计算,是否可行 or 在不触摸的
    发表于 02-01 06:36

    计算机系统如何应对大模型时代的挑战与机遇

    “操作系统管理着计算机的资源和进程,以及所有的硬件和软件。计算机的操作系统用户在不需要了解计算机语言的情况下
    发表于 01-23 11:06 547次阅读
    <b class='flag-5'>计算机</b>系统如何应对大模型时代的挑战与机遇

    计算机电源开关时,工控机没有任何反应,不能正常启动 解决方法

    计算机电源开关时,计算机没有任何反应,不能正常启动。 (1) 检查电源连接是否良好,确保电源供应正常; (2) 检查计算机电源是否能正常
    发表于 01-10 14:43

    如何使用NVIDIA DeepStream和Edge Impulse快速推进计算机视觉部署

    基于 AI 的计算机视觉(CV)应用日益增多,这对于从视频流中提取实时洞察至关重要。这项革命性的技术使作业人员能够在没有大量操作干预的情况下获得有价值的信息,从而为创新和解决问题带来了
    的头像 发表于 01-02 10:48 747次阅读
    如何使用NVIDIA DeepStream和Edge Impulse快速推进<b class='flag-5'>计算机</b>视觉部署