0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Google:将AI 应用到语言翻译上,进而弥平语言不通的问题

yrlT_lianggezhi 2018-01-29 14:28 次阅读

Google 的使命是汇集全球资讯,并且让所有人都能使用这些资讯,不过要能理解各式资讯,最困难的就是语言隔阂,因此在东京举办#MadeWithAI 亚太区媒体活动请来了Google 语言研究计画总经理Linne Ha 来谈谈怎么将AI 应用到语言翻译上,进而弥平语言不通的问题。

受惠于智慧型手机的普及,网路人口在最近这几年高速成长,不过网路上有接近50% 的内容仍是以英文为主,对于非以英文为母语的人来说,想要获得资料就多了一道门槛,能让每个人自在的用自己的原生语言在网路上搜集或提供资料是Google 的目标,因此在推动语言翻译或发展上Google 做了非常多的努力。

▲Google语言研究计画总经理Linne Ha。

推动各种语言上网,统一码(Unicode)是重点

不同语言要能在网路上流动,最重要的就是该语言要能被阅读,若是出现乱码或空白文字就容易成为阅读或理解的障碍,因此Google 长期和统一码(Unicode)联盟合作,鼓励更多国家利用统一码的编码系统上网,例如Google 大力鼓励缅甸不要再使用非统一码的字型。

有了统一码这项文字系统后,电脑文字编码就有了一套标准,下一个挑战就是要确保自行能正确地被转为网路或手机上的文字,去年Google 推出开放的Noto 字型,可以支援800 种语言、11 亿个文字,可呈现各式各样的文字。

但这样还不够,虽然文字能呈现,但却不是每个人都知道如何输入文字,因此除了Gboard 提供300 多种键盘、 97 种手写系统、语音输入等方法让使用者可以依照自己方便的方式来输入文字。

在开发手写系统上,Google 也花了一番心力,由于每个人的字迹都不同,因此Google 导入人工智慧技术,搜集很多自愿者的手写范本,让机器学习来辨认文字和书写风格,进而达到更精确的手写辨识。语音输入方面则是透过GOOG-411 的服务来搜集语音资料,类似我们的查号台,当有人打电话进去问问题查电话,GOOG-411 就会帮忙转接,在这样的过程中Google 建立了大量的语音资料库范本,英文语音搜集还算满顺利的。不过其他语言就没这么容易了,虽然说Google 有和专门经营文字和语音资料库的业者合作,但有些语言本身的资料库就较少,例如广东话,因此Google 又开启了下一阶段的任务。

语音搜寻实验,搜集准确的语音资料

既然缺乏语音资料,Google 就开始想方法来搜集各种语言的语音讯息,比方说2010 年Google 推出了荷兰语的Word of Mouth 计画,提供参与实验的使用者手机来搜集他们和亲友间的对话样本,进而得到准确的语音资料。

有了语音资料之后下个问题则是口音和俗语,关于这方面的资料目前Google 仍正在努力发展中,不过经过过去这么长一段时间的努力,到2012 年之后,语音搜寻已可支援到50 种语言,Google 也导入了深度神经网路提升语音辨识的准确性,今年则再新增30 多种的语音输入,甚至包含了非洲两种主要语言,斯瓦希里语(Swahili)和阿姆哈拉语(Amharic),对于弥平语言隔阂来说,这是一个重要的里程碑。

怎么将机器学习应用在语音服务上

既然有了机器学习这项技术,也就意味着Google 能透过演算以及建构更有效的模型来解决语音辨识问题。

Google 这回用了一个超级低成本的预算(2000 美金)来增加孟加拉语的文字转语音服务,首先先准备一套麦克风、USB 转接器和前置声音放大器,并建立一组便携式的录音工作室「ChitChat」让实验者可以录音。

工具有了,下一步就是找来15 名孟加拉的Googler,录制了2000 多个从维基百科撷取出来的孟加拉语和英语,实验者每隔30 分钟至60 分钟就录制250 多个句子,平衡的混音成几个不同的声音后,再交给Google 社群投票看看大家最偏好哪一个声音,最终产出的声学模型刚好就可以代表平均型的人声,成功推出了孟加拉语的文字转语音服务。

除了把更多语言放到网路上,Google 也着手发展方言领域,像是英文就分成美式英文、英式英文、澳洲英文等等,最近Google 正着手处理新加坡式英语,另外,西班牙语、阿拉伯语也是Google 努力的方向。

Google 的中文语音什么时候会有更多突破?

至于***人最常用的中文呢?Google 语言研究计画总经理Linne Ha 不讳言,中文真的是很有挑战的语言,比方说中国人说着中文、写着简体中文,***人说也说着中文、但写的是繁体中文,香港人写的也是繁体中文、不过说的是广东话,繁体中文、简体中文、广东话间各有连结但又不尽相似。

过去Google 是使用「单一语言模式」来处理,比方说***人说的中文就套用繁体中文资料库,香港人说广东话则套用另外一个繁体中文资料库,但这样的语音辨识效果发展有限,近期Google 尝试着将相近的语言加进同一个模型中,目前的实验结果还不错。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • Google
    +关注

    关注

    5

    文章

    1762

    浏览量

    57508
  • AI
    AI
    +关注

    关注

    87

    文章

    30763

    浏览量

    268906
  • 语言
    +关注

    关注

    1

    文章

    97

    浏览量

    24242

原文标题:【Google 谈人工智慧】有了机器学习后,语言还会是隔阂吗

文章出处:【微信号:lianggezhizi,微信公众号:两个质子】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    AI语言模型开发步骤

    开发一个高效、准确的大语言模型是一个复杂且多阶段的过程,涉及数据收集与预处理、模型架构设计、训练与优化、评估与调试等多个环节。接下来,AI部落小编为大家详细阐述AI语言模型的开发步骤
    的头像 发表于 12-19 11:29 62次阅读

    LLMWorld上线代码翻译新工具——问丫·码语翻译侠,快来体验!

    01. 工具介绍 aicode.llmworld.net 问丫·码语翻译侠 是一款由LLMWorld新推出的代码翻译工具,支持各种语言之间的翻译,包括计算机
    的头像 发表于 12-09 11:11 239次阅读
    LLMWorld上线代码<b class='flag-5'>翻译</b>新工具——问丫·码语<b class='flag-5'>翻译</b>侠,快来体验!

    语言模型开发框架是什么

    语言模型开发框架是指用于训练、推理和部署大型语言模型的软件工具和库。下面,AI部落小编为您介绍大语言模型开发框架。
    的头像 发表于 12-06 10:28 115次阅读

    语言模型开发语言是什么

    在人工智能领域,大语言模型(Large Language Models, LLMs)背后,离不开高效的开发语言和工具的支持。下面,AI部落小编为您介绍大语言模型开发所依赖的主要编程
    的头像 发表于 12-04 11:44 99次阅读

    一文理解多模态大语言模型——

    /understanding-multimodal-llms 在过去几个月中, OpenVINO™ 架构师 Yury阅读了众多有关多模态大语言模型的论文和博客,在此基础,推荐了一篇解读多模态大语言模型的最佳文章《Underst
    的头像 发表于 12-02 18:29 309次阅读
    一文理解多模态大<b class='flag-5'>语言</b>模型——<b class='flag-5'>上</b>

    IMAX携手Camb.AI实现影院实时语言翻译

    近日,据外媒最新报道,国际知名影院品牌IMAX与总部位于迪拜的人工智能初创公司Camb.AI宣布达成战略合作,旨在为全球影院观众带来前所未有的实时语言翻译体验。 此次合作的核心目标是
    的头像 发表于 11-26 13:55 381次阅读

    在设备利用AI Edge Torch生成式API部署自定义大语言模型

    ,从而无缝地新的设备端生成式 AI 模型部署到边缘设备。本文是 Google AI Edge 博客连载的第二篇。
    的头像 发表于 11-14 10:23 422次阅读
    在设备<b class='flag-5'>上</b>利用<b class='flag-5'>AI</b> Edge Torch生成式API部署自定义大<b class='flag-5'>语言</b>模型

    DeepL推出新一代翻译编辑大型语言模型

    在人工智能与语言处理领域,DeepL再次以其创新实力引领潮流,宣布成功推出新一代面向翻译与编辑应用的大型语言模型。这一里程碑式的进展,不仅巩固了DeepL作为顶尖语言人工智能公司的地位
    的头像 发表于 07-19 15:56 665次阅读

    nlp自然语言处理的应用有哪些

    的应用。以下是一些NLP的主要应用领域,以及它们在各个领域的具体应用。 机器翻译 机器翻译是NLP的一个重要应用领域。它利用计算机自动一种语言的文本
    的头像 发表于 07-05 09:55 2600次阅读

    自然语言处理技术的原理的应用

    自然语言处理(Natural Language Processing, NLP)作为人工智能(AI)领域的一个重要分支,旨在使计算机能够理解和处理人类自然语言。随着互联网的普及和大数据技术的发展
    的头像 发表于 07-02 12:50 516次阅读

    语言模型(LLM)快速理解

    历史可以追溯到早期的语言模型和机器翻译系统,但其真正的起点可以说是随着深度学习技术的兴起而开始。1.1统计语言模型在深度学习技术出现之前,语言模型主要基于传统的统
    的头像 发表于 06-04 08:27 963次阅读
    大<b class='flag-5'>语言</b>模型(LLM)快速理解

    【大语言模型:原理与工程实践】大语言模型的基础技术

    就无法修改,因此难以灵活应用于下游文本的挖掘中。 词嵌入表示:每个词映射为一个低维稠密的实值向量。不同的是,基于预训练的词嵌入表示先在语料库中利用某种语言模型进行预训练,然后将其应用到下游任务中,词
    发表于 05-05 12:17

    Stability AI发布Stable Code Instruct 3B大语言模型,可编译多种编程语言

    据报道,Stability AI公司近期推出了适配程序员使用的Stable Code Instruct 3B大语言模型,此款模型的显著特点是能够实现编程语言间的自如切换。
    的头像 发表于 03-27 10:04 490次阅读

    【从0开始创建AWTK应用程序】编译应用到RTOS平台

    AWTK是基于C语言开发的跨平台GUI框架。本系列文章介绍如何从0开始创建AWTK应用程序,包括搭建开发调试环境、使用AWTK创建Hello工程并在模拟器运行、AWTK应用程序移植到其它平台。在
    的头像 发表于 03-21 08:23 608次阅读
    【从0开始创建AWTK应用程序】编译<b class='flag-5'>应用到</b>RTOS平台

    自然语言处理的研究内容

    模态 NLP:NLP 正在与计算机视觉融合,允许 AI 文本和图像一起处理以获得更丰富的理解。 3. 对话式AI:聊天机器人和虚拟助手正变得越来越对话,使人与AI的交互更加流畅和自然
    的头像 发表于 01-18 16:39 431次阅读