0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

开源项目:根据语音自动生成动画人物口型

如意 来源:量子位 作者:量子位 2020-12-23 15:26 次阅读

只需要输入一段语音,代码会自动生成与之相对的动画唇形。

还是毫无违和感的那种。

这是一个在GitHub上拥有501星的开源项目,叫做Rhubarb Lip Sync。

它既可以是Windows和OS X命令行工具,也可以作为软件的插件使用,能够根据语音记录自动创建2D嘴型动画。

它可以用于计算机游戏、动画卡通中的角色,或者用于其他需要基于现有录音、对嘴部进行动画处理的的影视项目。

那么,它是怎么实现如此效果的呢?

运作原理

首先,了解一下动画人物说话的六种嘴型。

上述六种嘴型是由汉娜·巴贝拉(Hanna-Barbera)发明,已经成为2D动画嘴型的制作标准,被迪士尼和华纳兄弟等影视公司在多部影视作品采用。

大多数的发音,都可以用这六种嘴型表示出来。

因此,Rhubarb Lip Sync工作的步骤如下:

输入一段语音

Lip Sync识别这段语音

使用六个基本嘴形和最多三个扩展嘴形与语音匹配

输出一个固定格式的文件

假如我说个奇怪的方言,它也能输出相应的嘴型动画吗?

当然不是。

目前,Rhubarb Lip Sync只提供了两个语音识别系统:

PocketSphinx:只能识别英语,准确率更高。

Phonetic :能识别所有语言,因为它是依据个人的声音和音节判别的,但准确率不如前者。

那么,这个小工具可以跟哪些视频软件融合使用呢?

可适用于多款软件

Adobe After Effects

可以在下载Rhubarb Lip Sync,并且安装到AE上,可以直接在AE上运行这个软件。

Moho and OpenToonz

Rhubarb Lip Sync能够生成.dat文件,这种文件可以被Moho and OpenToonz识别,并导入使用。

Spine by Esoteric Software

Rhubarb Lip Syn for Spine是一个图形工具,可让导入Spine项目,执行自动唇形同步,然后将结果重新导入Spine。

Vegas Pro by Magix

Rhubarb Lip Syn 还附带了两个用于Vegas Pro(以前称为Sony Vegas)的插件脚本,可直接在Vegas中使用。

赶快把这个小工具推荐给你喜欢做视频的朋友吧~

源代码地址:

https://github.com/DanielSWolf/rhubarb-lip-sync

最新版本的下载地址:

https://github.com/DanielSWolf/rhubarb-lip-sync/releases

https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/AdobeAfterEffects/README.adoc

https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/EsotericSoftwareSpine/README.adoc
责编AJX

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 语音识别
    +关注

    关注

    38

    文章

    1742

    浏览量

    112722
  • 开源
    +关注

    关注

    3

    文章

    3371

    浏览量

    42580
  • 源代码
    +关注

    关注

    96

    文章

    2946

    浏览量

    66811
收藏 人收藏

    评论

    相关推荐

    开源鸿蒙荣获开放原子“2024年度操作系统领域国内活跃开源项目

    近日,2024开放原子开发者大会暨首届开源技术学术大会在武汉圆满召开。在大会开幕式“2024年度国内活跃开源项目&开发者致谢仪式”上,开放原子开源鸿蒙(OpenAtom OpenHar
    的头像 发表于 12-28 15:39 397次阅读

    凌蒙派OpenHarmony开源项目荣获本期Gitee官方推荐

    近日,我司凌蒙派OpenHarmony开源项目荣获本期Gitee官方推荐。本期Gitee官方推荐不仅是对凌蒙派OpenHarmony开源项目的高度认可,也是对我司在推动
    的头像 发表于 11-20 01:04 319次阅读
    凌蒙派OpenHarmony<b class='flag-5'>开源</b><b class='flag-5'>项目</b>荣获本期Gitee官方推荐

    如何自动生成verilog代码

    介绍几种自动生成verilog代码的方法。
    的头像 发表于 11-05 11:45 367次阅读
    如何<b class='flag-5'>自动</b><b class='flag-5'>生成</b>verilog代码

    ElfBoard开源项目|“智慧教室”开源项目技术文档

    “智慧教室”项目的目标是实现实时采集环境中的温度、湿度及光照信息,并将这些数据可视化地呈现在Qt图形界面上。用户既可以选择手动控制风扇与窗帘的开关,也可以设置系统根据所采集的环境参数自动调节,以达到舒适的室内环境。接下来,将和各
    的头像 发表于 09-11 10:51 559次阅读
    ElfBoard<b class='flag-5'>开源</b><b class='flag-5'>项目</b>|“智慧教室”<b class='flag-5'>开源</b><b class='flag-5'>项目</b>技术文档

    8月全志芯片开源项目分享合集

    ,接收机则是连接串口通过SBUS和T113直接连接,收到指令信号后由4路PWM直接给电机控制输出,以实现自稳飞行的功能。 太极派LVGL版USB口袋显示屏 作者:新范者1986 上一期开源项目
    发表于 09-02 10:25

    Matepad pro12.2 已上市半个月,但是还没有在开源网站看到该项目开源信息,违背开源精神

    Matepad pro12.2 已上市半个月,本人自己也购买了同款12+256的pad,想要同步学习下这款pad的一些体验还不错的功能点,但是目前为止还没有在开源网站看到该项目开源信息,也查询不到
    发表于 08-27 17:25

    普强信息成功中标“语音智检项目

    普强在智能语音技术领域深耕多年,成功中标澳门某银行“语音智检项目”,彰显了普强在智能语音技术的卓越实力与深厚底蕴。
    的头像 发表于 07-25 16:35 572次阅读

    关于Makefile自动生成-autotools的使用

    的Makefile并非日常任务,但遇见需要构建大型软件项目时,利用工具自动生成Makefile就显得尤为关键。接下来,我们将重点介绍一款自动化构建工具——Autoto
    的头像 发表于 07-25 15:50 1524次阅读
    关于Makefile<b class='flag-5'>自动</b><b class='flag-5'>生成</b>-autotools的使用

    旷视AI开源新突破:上传照片即可生成表情包视频!

    为了展示其泛化性,MegActor甚至可以将VASA中的人物肖像和视频组合生成,得到生动的表情视频。即使与阿里EMO的官方案例相比,MegActor也能生成近似的效果。
    的头像 发表于 07-12 11:20 404次阅读
    旷视AI<b class='flag-5'>开源</b>新突破:上传照片即可<b class='flag-5'>生成</b>表情包视频!

    商汤发布首个“可控”人物视频生成大模型Vimi

    近日,商汤科技在人工智能领域再次取得重大突破,正式发布了其首个面向消费者的“可控”人物视频生成大模型——Vimi。这一创新技术的问世,标志着视频内容创作进入了一个全新的互动与个性化时代。
    的头像 发表于 07-04 15:29 769次阅读

    Transformer模型在语音识别和语音生成中的应用优势

    随着人工智能技术的飞速发展,语音识别和语音生成作为人机交互的重要组成部分,正逐渐渗透到我们生活的各个方面。而Transformer模型,自其诞生以来,凭借其独特的自注意力机制和并行计算能力,在
    的头像 发表于 07-03 18:24 1189次阅读

    微软网页版PPT新增语音识别及字幕生成功能

    据报道,微软计划于今年六月份推出网页版PowerPoint全新语音识别功能。此项功能将能够监控PowerPoint视频中的声音,进而自动生成字幕。
    的头像 发表于 05-16 14:36 440次阅读

    抖音严打不当虚拟人物AI生成行为,优化平台生态环境

    据悉,去年8月抖音发布了《人工智能生成内容的平台规范及行业倡议》,强调禁止利用AI技术制作虚拟人物进行低质量创作。今年3月27日,抖音安全中心又发布公告表示,发现少数账号依然存在使用AI技术生成虚拟
    的头像 发表于 03-27 14:54 674次阅读

    生成式 AI 制作动画:周期短、成本低!

    工作室和特效公司正广泛采用生成式AI技术进行背景生成、角色创作和动作合成。这种技术的应用不仅提高了动画制作的效率,还使得动画作品在视觉效果和创意上有了更大的突破。
    的头像 发表于 03-18 08:19 3677次阅读
    <b class='flag-5'>生成</b>式 AI 制作<b class='flag-5'>动画</b>:周期短、成本低!

    谷歌Gemini AI模型因人物图像生成问题暂停运行

    据报道,部分用户发现Gemini生成的图片存在明显错误,如特斯拉创始人和其他名人变成了黑人模样。谷歌已决定暂停该模型的人物图像生成功能以待改善。
    的头像 发表于 02-25 09:59 606次阅读