0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

使用Neurorack音乐音频合成器创作智能音乐

星星科技指导员 来源:NVIDIA 作者:Jason Black 2022-04-06 14:34 次阅读

你喜欢合成器驱动的乐队,比如 Depche Mode 、 Erasure 或 Kraftwerk 吗?你想过在家里用合成器创作自己的音乐有多酷吗?如果在NVIDIA 的帮助下,这一过程能得到加强呢 Jetson 纳米 ?

最新的 Jetson 本月最佳项目 已经找到了一种方法来实现这一点,将 Eurorack synthesizer 与 Jetson 纳米结合起来,创造了 Neurorack 。这款音乐音频合成器是第一款将深度生成模型的强大功能与 Eurorack 机器的紧凑性相结合的产品

“这个项目的目标是设计下一代乐器,为音乐家提供一种新的工具,同时增强音乐家的创造力。它提出了一种新的思考和创作音乐的方法,”这些应用程序开发人员指出,他们是人工创造智能和数据科学([about] and compose music ,” noted the app developers , who are members of Artificial Creative Intelligence and Data Science ( ACIDS )小组的成员,总部设在法国巴黎的 IRCAM 实验室。“我们深信人工智能可以用来实现这一目标。”

Neurorack 的实时功能依赖于 Jetson Nano 的处理能力和 尼农·戴夫的研究 制作训练模型,这些模型在计算和内存占用方面都很轻。

“我们最初的梦想是找到一种方法,将深度模型小型化,并允许它们嵌入嵌入式音频硬件和合成器中。由于我们对各种形式的合成器都充满热情,尤其是Eurorack,我们认为直接使用这种格式是有意义的,因为它更有趣Nano从一开始就是我们的首选…它让我们能够在不损失音质的情况下依赖深度模型,同时保持实时性限制,”Devis说。

开发商在接近该项目时有几个关键的设计考虑,包括:

音乐性:选择的生成模型可以产生不使用样本就无法合成的声音。

可控性:他们选择的界面方便且易于操作。

实时性:硬件的行为就像传统的合成器,并且同样具有反应性。

独立功能:无需电脑即可播放。

正如开发人员在他们的 NVIDIA 开发者论坛帖子 中提到的这个项目:“该模型基于一种改进的神经源滤波器架构,它允许基于描述符的打击声音实时合成。”

Neurorack 使用 PyTorch 深度音频合成模型(见图 1 )生成通常需要样本的声音,易于操作,不需要单独的计算机。

poYBAGJNNGqAKgwNAAB0jag1q34559.png

poYBAGJNNGqAKgwNAAB0jag1q34559.png

图 1 : diagram 显示模块的总体结构以及硬件和软件(绿色)组件之间的关系。

硬件具有四个控制电压( CV )输入和两个门(以及用于处理菜单的屏幕、旋转和按钮),它们都与特定的 Python通信。这些控件(以及模块本身)的行为高度依赖于嵌入的深层模型的类型。对于 Neurorack 的第一个版本,开发人员实现了一个基于描述符的冲击声音生成器,如他们的 GitHub 文档 中所述。

Eurorack 的硬件和软件是由 ACIS 团队的 Ninon Devis 、 Philippe Esling 和 Martin Vert 共同开发的。根据他们 网站 的说法, ACIDS “一心想通过开发创新的人工智能模型来模拟音乐创造力。”

项目代码和硬件设计是免费的、开源的,可在 GitHub repository 中获得。

该团队希望让音乐家和对人工智能/嵌入式计算感兴趣的人也能访问该项目。

“我们希望这个项目能引起两个社区的兴趣!现在复制这个项目有点技术性,但我们将致力于简化部署,希望能找到其他像我们这样奇怪的人,” Devis 说。“我们坚信,为音乐开发机器学习模型的一个关键方面将导致赋予创造性表达能力,即使对非专家也是如此。”

两名团队成员 Devis 和 Esling 使用他们开发的乐器组建了一支乐队。他们目前正在制作一部全长的真人秀,将以 Neurorack 为特色,并计划在今年 4 月的下一场 法国综合艺术节 中表演。

关于作者

Jason Black是 NVIDIA 的自主机器营销和通信高级经理。作为过去 25 年的作家和编辑,他喜欢在流行语背后寻找故事的核心。看到机器人 MIG 把他带到哪里,他很兴奋。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4984

    浏览量

    103020
  • 电脑
    +关注

    关注

    15

    文章

    1702

    浏览量

    68809
  • acis
    +关注

    关注

    0

    文章

    5

    浏览量

    3165
收藏 人收藏

    评论

    相关推荐

    LMX2615EVM-CVAL宽带15GHz合成器

    电子发烧友网站提供《LMX2615EVM-CVAL宽带15GHz合成器.pdf》资料免费下载
    发表于 11-19 14:22 0次下载
    LMX2615EVM-CVAL宽带15GHz<b class='flag-5'>合成器</b>

    意法半导体助力Qu-Bit Electronix打造全新数字模块化合成器

    当Qu-Bit Electronix于2020年3月为他们旗下的Daisy平台开展Kickstarter众筹活动的时候,音乐行业的面貌已悄然发生了巨大的变化。在合成器这一领域,“模块化”与“模拟
    的头像 发表于 11-04 14:46 229次阅读

    TPA3116加了MUTE电路后播放音乐音量开到最大喇叭出现杂音怎么解决?

    TPA3116加了MUTE电路后播放音乐音量开到最大喇叭出现杂音(低音最明显)
    发表于 10-24 07:23

    AN-1879小数N分频频率合成器

    电子发烧友网站提供《AN-1879小数N分频频率合成器.pdf》资料免费下载
    发表于 09-23 11:31 0次下载
    AN-1879小数N分频频率<b class='flag-5'>合成器</b>

    使用替代拓扑改善LMX2820射频合成器相位噪声

    电子发烧友网站提供《使用替代拓扑改善LMX2820射频合成器相位噪声.pdf》资料免费下载
    发表于 08-29 11:22 0次下载
    使用替代拓扑改善LMX2820射频<b class='flag-5'>合成器</b>相位噪声

    CDCEL824可编程2 PLL时钟合成器数据表

    电子发烧友网站提供《CDCEL824可编程2 PLL时钟合成器数据表.pdf》资料免费下载
    发表于 08-23 11:20 0次下载
    CDCEL824可编程2 PLL时钟<b class='flag-5'>合成器</b>数据表

    CDCDLP223高性能时钟频率合成器数据表

    电子发烧友网站提供《CDCDLP223高性能时钟频率合成器数据表.pdf》资料免费下载
    发表于 08-22 10:35 0次下载
    CDCDLP223高性能时钟频率<b class='flag-5'>合成器</b>数据表

    CDC7005高性能时钟频率合成器和抖动消除器数据表

    电子发烧友网站提供《CDC7005高性能时钟频率合成器和抖动消除器数据表.pdf》资料免费下载
    发表于 08-21 11:14 0次下载
    CDC7005高性能时钟频率<b class='flag-5'>合成器</b>和抖动消除器数据表

    功分器能否作为功率合成器使用

    1. 引言 功分器可以作为功率合成器使用 。功率合成器是将多个信号源的功率合并为单一输出信号的设备,广泛应用于提高系统效率和信号质量。功分器作为功率分配器件,其在功率合成器中的应用具有重要意义
    的头像 发表于 08-14 09:48 474次阅读

    单节功率合成器工作原理是什么

    单节功率合成器是一种将多个功率放大器的输出信号进行合成,以实现更高的输出功率和更好的信号质量的电子设备。其工作原理涉及到多个方面的知识,包括信号合成、功率放大、滤波器设计等。 信号合成
    的头像 发表于 08-13 14:32 456次阅读

    锁相环频率合成器的特点和应用

    锁相环频率合成器(Phase-Locked Loop Frequency Synthesizer, PLLFS)是一种利用锁相环(Phase-Locked Loop, PLL)技术实现频率合成的装置。其基本原理基于相位负反馈控制系统,通过调整输出信号的相位和频率,使其与参
    的头像 发表于 08-05 15:01 723次阅读

    音乐大模型掀起AI音乐创作热潮,AI让“一语成歌”成为可能

    电子发烧友网报道(文/李弯弯)随着大模型技术的发展,AI音乐生成悄然而生。音乐生成是一个结合了人工智能技术和音乐创作的领域,它涵盖了从基本的音频
    的头像 发表于 05-30 01:01 4031次阅读

    智能门铃音乐芯片,为家的温馨注入音乐的灵魂

    随着科技的进步,智能家居设备逐渐进入我们的生活,其中智能门铃音乐芯片以其独特的功能,不仅提升了用户体验,还为家的温馨注入了音乐的灵魂。//01//当您疲惫一天归家,不再是刺耳的铃声,而
    的头像 发表于 04-29 08:08 384次阅读
    <b class='flag-5'>智能</b>门铃<b class='flag-5'>音乐</b>芯片,为家的温馨注入<b class='flag-5'>音乐</b>的灵魂

    频率合成器和锁相环的区别有哪些?

    频率合成器和锁相环是两种常见的电子设备,用于生成稳定的频率信号。尽管它们的功能都是产生特定频率的信号,但它们在工作原理和应用方面有着明显的区别。
    的头像 发表于 02-27 18:22 1384次阅读

    上新|Synth Unit和Atomic Motion Base介绍

    合成器是一种电子音频设备,用于创造各种声音和音乐效果。它通过合成电路和数字信号处理技术,将不同的声音元素结合在一起,生成新的声音。合成器可以
    的头像 发表于 02-19 12:47 437次阅读
    上新|Synth Unit和Atomic Motion Base介绍