0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI视频创作一条龙!达摩院“寻光”平台炸场WAIC,突破可控编辑难题

卡奥斯开源社区 来源:jf_92107760 作者:jf_92107760 2024-07-09 18:19 次阅读

卡奥斯智能交互引擎是卡奥斯基于海尔近40年工业生产经验积累和卡奥斯7年工业互联网平台建设的最佳实践,基于大语言模型和RAG技术,集合海量工业领域生态资源方优质产品和知识服务,旨在通过智能搜索、连续交互,实时生成个性化的内容和智能化产品推荐,为用户提供快速、可靠的交互式搜索服务,首创了聚焦工业领域的智能交互引擎。

详情戳:卡奥斯智能交互引擎

AIGC时代,视频创作这事儿真的不一样了。

就像这样,轻轻一圈,选定目标立刻变身单独图层,再丝滑嵌入不同的背景视频,场景变换so easy~

wKgaomaNDo6AR2pSAB1uboTkOdo152.gifwKgZomaNDpCAS3fcAC3awFqdVQg861.gif

想要调整一下镜头角度,交给AI,同样能一键完成:

wKgZomaNDpKAD0bYACLCtNQOdNo851.gif

还能一键消除、修改目标:

wKgZomaNDpSAJ76DAH1qC9l9eeQ809.gif

后期再也不用加班加到手抽筋(doge)。

划!重!点!这还不是实验室里的单一技术demo,而是马上就要开放内测,让创作者们直接可以用起来的一站式AI视频创作平台——“寻光”。

就是说,传统上分散在不同制作流程中的剧本创作、分镜图设计、视频素材编辑等步骤,现在都可以在AI加持下,在同一个平台上流畅完成。

这就是阿里达摩院在上海世界人工智能大会上带来的最新惊喜。

演示一出,现场的观众都坐不住了。

wKgaomaNDpeAPdlRAAGtTIkTDyQ062.jpg

而达摩院官方,也透露出了AI视频领域新成果背后更大的“野心”:

不对标Sora,而是走自己的路,希望更快让AI生产力匹配人类想象力

“寻梦光影间”

所谓寻光,意指“寻梦光影间”:

即通过人工智能技术,提供全新的视频创作模式。

wKgZomaNDpeAZgmKAADOPZ0QVVw690.jpg

与Sora等今年备受关注的AI视频生成模型不同,寻光关注到的,是“Sora之后,视频工作流的变革”。

达摩院认为,Sora等AI视频生成模型给足了人们对视频生产方式彻底变革的想象力,但一方面,AI视频内容的可控编辑,包括对复杂剧情的理解、生成对象的一致性等,仍然是当前算法所面临的一大挑战。

另一方面,业界尚没有统一的AI视频编辑平台,能让创作者们一站式体验到AI加持的视频创作全流程。

举个例子,OpenAI创始成员Andrej Karpathy最近也玩上了AI视频,整出了个AI版《傲慢与偏见》。

wKgaomaNDpiAOWo2AAKn0uuR_sI796.jpg

在这个短片的制作过程中,他用到的工具包括Claude、Ideogram、Luma、ElevenLabs、VEED……而他本人也抱怨说:

老实说这个工作流非常混乱,工具与工具之间存在大量的复制粘贴,3个片段的简单小视频就花了我大约1个小时的时间。
这里面存在一个巨大的机会。谁正在打造100%的AI原生视频制作平台?

达摩院打造寻光,定位为PUGC一站式AI视频创作平台,目标正是针对以上问题,用AI能力重塑传统视频制作的全流程

具体来说,寻光可以辅助用户创作剧本、分镜图等,支持对生成及上传素材进行丰富的AI编辑,包括人物控制、场景控制、运镜控制、目标新增/消除/修改等10多种功能。

wKgZomaNDpiAS-tLAAE9HV54ZVw851.jpg

并且在交互方面,主打“让视频编辑像操作PPT一样简单”

以分镜设计环节为例,上传到寻光的原始视频素材,会由算法切分成多个分镜头。

在创作空间里,用户可以方便地查看到每一个分镜头,并用简单的拖拽操作对其进行调整。

在新建的空白分镜中,除了添加已有素材,寻光平台还支持用户调用多种多模态生成模型,生产新的内容。

wKgaomaNDpmANaB-AAESfyvvQXc330.jpg

而在编辑功能方面,寻光强调的是精细化的编辑和控制:在AI加持下,依据用户意图,在语义层面而不是像素层面实现编辑;同时,视频里的人体、人脸、前景、背景等任意局部目标,都可以进行精细化的编辑和修改。

在现场,达摩院视觉技术实验室高级算法专家陈威华着重提到了基于视频图层的编辑能力

以前景图层功能为例,用户通过文本输入,即可生成符合描述的、具有透明背景的视频,并且一键就能将其融合到其他背景视频当中。

wKgZomaNDpqAXsWtADDSKWQb4IU629.gif

寻光也支持图层拆解功能,用户在视频第一帧选择想要提取的物体,算法就会自动跟踪,把整段视频中对应的目标拆解出来,形成独立的带透明背景的视频图层。

飘动的头发也扣得很精细的那种:

wKgZomaNDpyAXZkOAAPnGk2nWZM681.gif

另外,在对视频全局元素的编辑方面,风格迁移上,寻光平台提供了20+不同风格。

wKgaomaNDp6AcfFwAFySxVBqiZ4748.gif

运镜控制上,左右平移、上下平移、推进拉远、左右环绕等都能支持。

wKgZomaNDqCAHxsHAAFm8YcDJjs066.jpg

在对视频局部元素的编辑方面,除了目标消除,寻光平台还能实现人脸的精准控制:

视频取自国风武侠动漫《少年白马醉春风》第三集

轻轻一拉实现运动控制:

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30072

    浏览量

    268332
  • 人工智能
    +关注

    关注

    1791

    文章

    46820

    浏览量

    237455
收藏 人收藏

    评论

    相关推荐

    行家放话!骁8至尊版是一条大冰龙:彻底稳了

    10月12日消息,iQOO产品经理戈蓝V表示,高通骁8至尊版是一条大冰龙,很难想象,过去的好多重载游戏在我这台手机上变成了中轻载,等通子发布会后再细聊。此前博主数码闲聊站浅测了高通骁8至尊版量产
    的头像 发表于 10-17 12:26 300次阅读
    行家放话!骁<b class='flag-5'>龙</b>8至尊版是<b class='flag-5'>一条</b>大冰龙:彻底稳了

    AI 大模型行业应用:企业如何走出一条智能化蜕变之路?

    随着 chatGPT 的横空问世,我们对于人工智能在日常生活中的应用场景逐渐了解,无论是搜索、问答、文生图还是文生视频都出现了很多创意,甚至 AI 还可以做诗,输入一条指令,就可以让它当场赋诗
    的头像 发表于 09-27 18:16 578次阅读

    即梦AI上线,字节跳动挑战Sora等AI创作平台

    字节跳动近期动作频频,其剪映团队精心研发的“即梦AI”移动版已正式登陆苹果App Store,标志着字节在AI创作领域的又重要布局。即梦AI
    的头像 发表于 08-07 16:47 531次阅读

    商汤发布首个“可控”人物视频生成大模型Vimi

    近日,商汤科技在人工智能领域再次取得重大突破,正式发布了其首个面向消费者的“可控”人物视频生成大模型——Vimi。这创新技术的问世,标志着视频
    的头像 发表于 07-04 15:29 702次阅读

    谷歌AI突破:为无声视频智能配音

    近日,谷歌DeepMind团队公布了项革命性的技术——利用AI为无声视频生成背景音乐的“video-to-audio”技术。这技术的出现,不仅为
    的头像 发表于 06-21 10:50 461次阅读

    AI角色创作平台「捏Ta」完成超千万元融资

    AI角色创作平台“捏Ta”(公司名为“看见概念”)近期完成了天使轮和Pre-A轮融资,总额超千万元。
    的头像 发表于 04-12 10:41 824次阅读
    <b class='flag-5'>AI</b>角色<b class='flag-5'>创作</b><b class='flag-5'>平台</b>「捏Ta」完成超千万元融资

    迪思与百度智能云联手发布AI视频创作模型

    迪思传媒与百度智能云联手研发的AI视频创作模型D&S-AI Video于3月25日正式亮相,并成功集成至迪思AI智链
    的头像 发表于 03-26 11:46 679次阅读

    云知声AIGC内容创作平台蓝藻AI全新升级

    近日,云知声AIGC内容创作平台蓝藻AI宣布完成全新升级,并推出超值会员服务,旨在为广大创作者提供更丰富多元的声音选择,助力内容创作更高效、
    的头像 发表于 03-16 14:05 1191次阅读

    Stability AI与Morph AI共同推出体化AI视频创作工具

    近日,业界领先的AI技术公司Stability AI与中国AI创业公司Morph AI达成重要合作。双方宣布共同推出款革新性的all-in
    的头像 发表于 03-05 10:44 834次阅读

    阿里达摩北京公司新增AI业务

    阿里巴巴达摩(北京)科技有限公司近日进行了工商变更,经营范围有所调整。具体来说,公司去除了智联网、芯片技术、量子计算等数据通信、电子产品、软件和硬件技术及产品的研究、开发等业务,而新增了人工智能应用软件开发、人工智能基础软件开发,以及第
    的头像 发表于 02-23 11:39 987次阅读

    OpenAI 在 AI 生成视频领域扔出枚“王”,视频生成模型“Sora”

    ABSTRACT摘要2月16日凌晨,也就是中国大年初七,OpenAI在AI生成视频领域扔出枚“王”,宣布推出全新的生成式人工智能模型“Sora”。这家旧金山公司周四推出的该工具使用
    的头像 发表于 02-22 08:25 342次阅读
    OpenAI 在 <b class='flag-5'>AI</b> 生成<b class='flag-5'>视频</b>领域扔出<b class='flag-5'>一</b>枚“王<b class='flag-5'>炸</b>”,<b class='flag-5'>视频</b>生成模型“Sora”

    UCB_SWAP配置信息共16,写入一条有效配置后,上一条需写1使配置无效是为什么?

    UCB_SWAP配置信息共16,写入一条有效配置后,上一条需写1使配置无效。 经过实测发现配置是从下至上检索,取最后一条有效配置,而不是从上至下检索,取第
    发表于 01-24 08:31

    云知声全新推出AIGC内容创作平台蓝藻AI

    近日,云知声基于智能语音技术和山海大模型技术,全新推出AIGC内容创作平台——蓝藻AI,为创作者提供AI声音克隆、
    的头像 发表于 01-10 13:38 764次阅读

    产学研三界顶级大咖分享:RISC-V场景Show暨开源生态高级别论坛定档12/19

    和中科软件研究所高级工程师于佳耕出席,现场为大家分享新轮处理器技术突破、RISC-V架构生态建设以及开源操作系统教学。同时,现场嘉宾还将分享勘智AI芯片的性能展示及其在开源操作系统
    发表于 12-15 18:36

    阿里达摩量子实验室裁撤 整体捐献给浙江大学

    日前,阿里达摩量子实验室裁撤,达摩量子实验室以及仪器设备全部被捐给浙江大学。相关信息从首席科学家施尧耘发布的动态可以印证;这可以说是来自官方的确认。 2015年阿里云和中国科学院开
    的头像 发表于 11-28 16:04 597次阅读