0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

全球AI音乐会,第一次听见中国声音

脑极体 来源:脑极体 作者:脑极体 2024-04-19 11:01 390次阅读

盛夏将至,各条AI赛道也热烈了起来。如果评选一下,近段时间哪个领域的AI应用最为火爆,那么AI音乐创作绝对名列前茅。

一个月之前,海外初创企业Suno发布新版AI音乐生成大模型Suno V3,它可以根据用户自然语言快速生成相关风格音乐,在全球范围内引发热议。而就在不久前,来自前DeepMind团队成员的Udio音乐大模型发布。这款模型可以带来非常逼真的音乐制作效果,并且可以完成多段式、长音乐作品的生成。

AI音乐生成大模型赛道,竞争突然激烈了起来。加上OpenAI的MuseNet、谷歌的MusicLM、Meta的MusicGen等项目,我们似乎在今年迎来了一场全球AI音乐会。一时间异彩纷呈,好不热闹。

但在这场AI音乐会中,有一个现象非常值得重视:这一次,中国科技与全球前沿AI趋势之间没有时差,无缝衔接。我们不再是跟随者与追赶者,而是第一时间加入了这场音乐与AI的盛宴,奏响了属于自己的旋律。

4月2日,由昆仑万维打造的AI音乐生成大模型“天工SkyMusic”开启免费邀测,4月17日更是正式发布。

天工SkyMusic是国内唯一公开可用的AI音乐生成大模型,也是中国首个音乐SOTA模型。

它与震撼全球科技与音乐产业的Suno、Udio保持了时间线上的高度同步,同时多个领域的技术能力更加出色。在与Suno V3的横向测评中,天工SkyMusic在人声&BGM音质、人声自然度、发音可懂度等领域显著领先对手,并以6.65分的综合得分超越Suno V3,成为全球AI音乐最新SOTA模型。

wKgaomYh3oqAOsQ-AAFs-iXnfDE192.jpg

“中国AI不缺席”,是一段我们期待了很久的旋律。究竟是什么让昆仑万维能够完成这次演奏?天工SkyMusic,以及背后的天工3.0有着怎样的产业与社会价值?

让我们打开这场全球AI音乐会,听懂一首关于“中国AI不缺席”的盛夏奏鸣曲。

天工SkyMusic:东方的AI音乐会

不缺席的中国AI音乐大模型,不仅需要第一时间跻身行业一线,更需要在能力上拿出足够有说服力的答案。

天工SkyMusic在发布之后,获得了各方非常积极的反馈。来自媒体、音乐人与行业专家以及广大用户的声音,证明了其具备加入全球AI音乐大模型竞逐的底气。AI音乐会不仅发生在欧美,同时也奏响在东方。

首先,我们可以具体来看一下天工SkyMusic在技术能力上的特色。

通过采用音乐音频领域类Sora的DiT模型架构,天工SkyMusic在AI音乐大模型的几个核心能力指标上都有不俗的表现。

其中包括高质量的音乐生成能力、高逼真的人声模拟能力、高丰富度的歌词段落控制能力、高规模的音乐风格掌握,以及高灵活的音乐表达。

举例而言,欧美AI音乐风格多以“器”见长,更偏重乐器丰富度参数,但在人声拟合方面往往表现一般。

相较而言,昆仑万维天工SkyMusic则专门在人声自然度、发音可懂度上进行了模型专门训练,使得AI发音清晰、无异响,让大模型生成的音乐足以“以假乱真”。

此外,天工SkyMusic所能够创作的音乐,展现出了对多种不同音乐风格,不同生成诉求的把握。比如神曲改造对流行音乐的把握,古诗词改编对中国传统文化与格律的把握等。

透过广泛的生成案例,我们可以发现天工SkyMusic具有丰富的使用场景与广泛的需求人群,例如:

1.音乐从业者可以借助天工SkyMusic寻找灵感,辅助音乐创作。比如说,创作者可以输入一些“母题”,包括亲情、爱情等。通过天工SkyMusic生成的歌词与旋律来寻找灵感,探索创作边界。

2.短视频创作者和UP主可以通过音乐生成来拓展创作边界,降低音乐方案的创作门槛。比如说,UP主可以用天工SkyMusic改编“网络神曲”,获得新的视频BGM。下面这首神曲,天工SkyMusic就可以为你带来完全不一样的感受。


3.音乐爱好者与粉丝可以获得更多样的音乐乐趣,与自己喜欢的音乐类型、音乐风格进行更加多样性、深层次的互动。比如我们可以换一个声音,把我们喜欢的音乐进行重新演绎。

4.在教育教学场景中,天工SkyMusic可以用来辅助音乐教育,让学习者感受到音乐创作的内在逻辑与丰富技巧。同时还能够助力传统文化、乐器演奏等方面的教育教学。比如说,天工SkyMusic可以基于古诗词生成音乐,让学生更生动准确掌握古典文化的精髓。

在这样的应用价值基础上,我们还必须看到天工SkyMusic作为国内最早,也是目前唯一的AI音乐大模型,在填补产业空白方面的价值是巨大的。它的出现,意味着中国用户有了更加符合华语音乐创作习惯的AI模型,对中文有了更好的支持。同时它完全免费,不限使用次数,无需额外的使用门槛,这都是国外同类AI音乐模型所无法实现的。

而从技术角度上看,天工SkyMusic对比MuseNet、MusicLM、MusicGen等项目也具备独特的技术优势。

除了上文提到的人声合成演唱能力外,在音乐风格上天工SkyMusic更加精巧且多元。它能够通过歌词控制情绪变化,实现如颤音、歌剧、吟唱等多种歌唱技巧,并且可以使生成的音乐作品情感更加丰富且贴合情境。在此基础上,天工SkyMusic支持创作说唱、民谣、放克、古风、电子等多种音乐风格,用户可以根据个人喜好定制音乐风格。

总体来看,天工SkyMusic开创了中国AI音乐大模型的先河,成为中国首个音乐AIGC SOTA,并且大幅提高了AI大模型音乐生成在人声领域的技术表现。

天工 3.0:全球最大规模的开源MOE大模型

天工SkyMusic能够与全球AI音乐会同频奏响,背后必然离不开两点:一是战略方向的敏锐把握,二是技术底座的基石打造。

而天工SkyMusic背后的技术基石,则是刚刚发布的“天工3.0”

天工3.0采用了4000亿级参数MoE混合专家模型,是目前全球模型参数最大、性能最强的MoE模型之一。相较于上一代天工2.0MoE大模型,其在模型语义理解、逻辑推理,以及通用性、泛化性、不确定性知识、学习能力等领域都有着大幅的性能提升,其模型技术知识能力提升超过20%,数学/推理/代码/文创能力提升超过30%。

具体来看,天工3.0在四个方向带来了全面升级:

首次是逻辑推理能力的增强。天工3.0强大的逻辑推理能力使其能够在实际应用中更加准确和高效地处理信息。例如,在天工3.0AI搜索的研究模式中,能够围绕用户的某个简单指令进行相关问题的延伸,并实时判断该段落信息是否需要联网搜索。在分析某个具体行业的信息时,能够实现总结相关事件、拆解产业链地图等复杂功能,并以结构化或思维导图的形式进行最终展示,让AIGC能力与行业应用更紧密融合。

其次,是语义理解能力的增强。天工3.0能够更好地理解和处理用户自然语言Query中的复杂语义信息,包括隐喻、多义词等。比如说,天工3.0可以对用户Query进行拆解、细化,甚至对用户进行追问,从而在面对不确定知识时表现更好,能够满足用户多样化的需求。

此外,天工3.0新增了专项Agent训练能力。天工3.0可以针对模型独立规划、调用、组合外部工具及信息的能力进行了专项训练,使其能够独立生成并调用代码,完成包括产业研究、产品横评、信息分析、图片生成、图表绘制等多种复杂用户需求。

针对B端产业用户的需求,天工3.0也在知识库能力、任意工具调用能力、复杂角色指令追寻能力等领域进行了升级,企业用户可以通过上传知识文档构建专属知识库及Agent,并实现自动调用制定工具、完成复杂指令遵循Agent构建等实用能力。

最后,天工3.0的内容生成能力也得到了全面升级。对比天工2.0,天工3.0群星了全面的内容创作能力增强,能够完成AI音乐生成、AI语音、AI对话、AI二次元漫画生成等内容创作。还可以通过专项Agent训练实现在对话中结合文本需求实时生成图片、结合文本需求实时内容分析及图表构建等能力。

总结天工3.0的技术特点,最为关键的一点就是:独立思考。

天工3.0可以将复杂任务进行拆解优化,并在每一步都独立思考,判断每一步是否需要调用不同的工具。也是基于独立思考能力,天工3.0新增了联网能力、文生图、代码能力等优势应用能力,同时增强了AI搜索等能力的表现。

更为值得注意的是,性能强大,技术独创性极强的天工3.0,选择了开源开放的策略。在全球开源大模型极速发展,基于开源生态的AI应用百花齐放的大背景下,天工3.0的开源无疑是给中国AI开源事业注入了强心剂。全面提升了中国开源大模型的整体技术水平与产业底座厚度。

在选择开源开放的同时,天工3.0还搭建了智能体广场,帮助开发者定制化打造智能体。更好的中文适配度,也让天工3.0与中文开发需求更加契合。

全面增强的能力,更加丰富的功能,以及与开发者更紧密地契合,让天工3.0成为一块基石——“中国AI不缺席”的基石。

这一次,中国AI不缺席

过去AI行业内部总是认为,我们与欧美顶级AI企业之间存在着时间差。在新模型、新技术火热之后,中国AI行业才开始跟随和学习。

但在AI音乐大模型的热潮里,情况显然并非如此。为什么我们这次可以不跟随,不焦虑,而是第一时间抵达这个舞台,开始自己的演奏?

事实上,在AI音乐生成这个方向上,昆仑万维一直保持着高度关注。早在2022年12月昆仑万维发布的“昆仑天工”AIGC全系列开源算法与模型中,就包括多模态音乐内容生成大模型。此后,昆仑万维还打造了多个基于AI音乐大模型的合作项目,掌握了丰富的实践经验。昆仑万维关注并且重视AI音乐生成,是天工SkyMusic的战略牵引。

天工3.0与天工SkyMusic的发布展现出来了这样一个价值逻辑:在AI大模型快速发展的产业纪元里,想要提升创新效率,把握战略机遇,需要首先孕育一个底座。这个底座可以融合各种先进的AI技术能力。

wKgZomYh3oqAHuwZAABV3EHqUIw366.jpg

昆仑万维集团董事长兼CEO方汉认为,SOTA指的是当前技术在本领域技术指标全球第一。OpenAI是文本大模型和视频生成大模型的SOTA,而昆仑万维目前实现了音乐AIGC的SOTA。

之所以能够实现这一点,有赖于天工3.0提供了底座级别的AI能力,进而实现发展效率与发展质量的统一。

昆仑万维创始人周亚辉认为:“未来三十年,人类社会很大的一个变化,是人类要从感知线,变成表达线,整个人类社会在自我表达侧要翻1000倍;创作和自我表达是未来30年在整个社交和文化领域增长最快的曲线,会有越来越多人表达自我,表达对世界的理解、对社会事物的态度,表达越来越艺术化和趣味化;这种表达在过去很困难,因为工具门槛高,而未来30年是自我表达的30年,我们要用AI把人类创作的门槛降得足够低,让人们更充分地实现自我表达。”

基于昆仑万维“All in AGI 和 AIGC”的战略布局,天工3.0成为集自然语言处理、计算机视觉、多模态、AI搜索、AI智能体等多项前沿技术为一身的AI大模型。基于天工3.0提供的底座能力,昆仑万维可以敏锐步骤发展机会,抓住诸如AI音乐创作这样的产业风口。而广大开发者则可以获得多元且丰富的AI能力,将AI带到千行百业的每个角落。

以超级模型蕴育种种AI技术,包容千行百业,这才是全球AI音乐会中,那道独特且悦耳的东方旋律。

在起步阶段的天工SkyMusic,已经为用户带来了丰厚的音乐创作乐趣。随着未来的持续优化升级,我们会得到一个专业且易用的音乐创作平台。围绕天工SkyMusic,将可能出现AI音乐创作者生态,新的音乐明星。进而影响音乐行业的发展。

在全球AI音乐的热潮背后,我们可以看到从“中国AI不缺席”到“中国AI如何引领”的深刻变革。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30805

    浏览量

    268933
  • OpenAI
    +关注

    关注

    9

    文章

    1083

    浏览量

    6485
  • 大模型
    +关注

    关注

    2

    文章

    2436

    浏览量

    2662
收藏 人收藏

    相关推荐

    ADS1256第一次上电的时候,采集的ADC信号是实际值的半,为什么?

    最近在用ADS1256这款ADC芯片,出现了个很怪异的问题。当我第一次上电的时候,采集的ADC信号是实际值的半,重新上电后又正常了。 但是并不是每次
    发表于 12-13 15:33

    DDC264第一次执行初始化,DOUT无输出的原因?怎么解决?

    第一次执行初始化操作(Figure 30.Configuration register write and read operations)时,DOUT无输出。但在第二及之后执行相同的操作,可以
    发表于 11-19 06:32

    使用DAC80501ZDQFR在关闭状态下第一次输出电压会有抖动,为什么?

    使用DAC80501ZDQFR在关闭状态下第一次输出电压会有抖动大概在几十ms后再次输出后续电压就是正常的,DAC输出没有加滤波直接输出到运放
    发表于 11-14 08:03

    用LM4675D类功放时,第一次个焊上后有输入就是没有输出,为什么?

    用LM4675D类功放时,第一次个焊上后有输入但是就是没有输出,外部电路未发现异常,后来将板上芯片更换后,可以使用,但用了不久,芯片便又没有输出,发现芯片并未发热.怎么回事?谢谢
    发表于 11-01 06:43

    TAS2557第一次跟第二播放的时候输出声音不同, 请问可以从甚么地方下手检查?

    第一次跟第二播放的时候, 输出的声音不同, 请问可以从甚么地方下手检查, 谢谢!
    发表于 10-18 06:00

    INA381 reset接高电平,Alert第一次没有锁住,第二才锁住的,这是为什么?

    TINA-TI下图是仿真出的波形 INA381 reset接高电平, Alert第一次没有锁住,第二才锁住的,这是为什么?
    发表于 08-02 08:01

    在例程 ”BLE_GATTS_SPP“中,手机第一次连接蓝牙服务时,怎么添加配对密码?

    在例程 ”BLE_GATTS_SPP“中,手机第一次连接蓝牙服务时,怎么添加配对密码?
    发表于 07-19 08:28

    stm32F407第一次数据没有进行接收,第二数据发送时才进行接,为什么?

    stm32F407第一次数据没有进行接收,第二数据发送时才进行接
    发表于 07-05 08:11

    鸿蒙OS开发:【一次开发,多端部署】(音乐专辑页面)

    基于自适应和响应式布局,实现一次开发、多端部署音乐专辑页面。
    的头像 发表于 05-25 16:21 799次阅读
    鸿蒙OS开发:【<b class='flag-5'>一次</b>开发,多端部署】(<b class='flag-5'>音乐</b>专辑页面)

    HarmonyOS开发案例:【一次开发,多端部署-音乐专辑】

    基于自适应和响应式布局,实现一次开发、多端部署音乐专辑页面。
    的头像 发表于 05-13 16:48 679次阅读
    HarmonyOS开发案例:【<b class='flag-5'>一次</b>开发,多端部署-<b class='flag-5'>音乐</b>专辑】

    OpenHarmony项目群生态委员第一次线下会议成功召开

    4月18日,在鸿湖万联(江苏)科技发展有限公司支持下, OpenAtom OpenHarmony(简称"OpenHarmony")项目群生态委员第一次线下会议在无锡市国家软件园召开。
    的头像 发表于 04-20 09:42 586次阅读

    通过CAN控制电机启动,第一次发送start motor后,电机没有起来的原因?

    各位大神,我通过CAN控制电机启动,第一次发送start motor后,电机没有起来,然后返回状态为ALIGN_CHARGE_BOOT_CAP;再发一次start motor才可以正常使能。不知道这是什么情况呢?求大神解答,谢谢。
    发表于 04-18 07:47

    stm32f767第一次读取nandflash导致屏幕闪烁的原因?

    fmsc总线上同时挂在sdram做ltdc显存,nandflash存储文件图片,比如我把张图片存入nandflash,当我第一次从nandflash读取这张图片的时候导致屏幕闪烁花屏
    发表于 04-09 06:02

    STM32L4 I2C主从通信,第一次通信成功,第二只检测一次中断就卡住了为什么?

    STM32L4 通过I2C方式组成主机——从机通信(主机从机都是stm32L431),主机给从机第一次发送消息能够成功,但是从机返回信息就会失败。 主机给从机第一次发送消息后,不让从机响应。主机
    发表于 03-29 08:32

    成都芯进电子股份有限公司创立大会暨第一次股东大会成功召开

    审议通过了《成都芯进电子股份有限公司筹建报告》、《成都芯进电子股份有限公司章程》等十三项议案,选举产生了公司第一届董事、监事及成员。公司第一届董事
    的头像 发表于 01-26 08:30 1210次阅读
    成都芯进电子股份有限公司创立大会暨<b class='flag-5'>第一次</b>股东大会成功召开