0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

阿里首推AI视频生成利器Tora:指尖画圈,自由操控物体运动轨迹

要长高 2024-08-06 16:41 次阅读

近日,阿里巴巴团队震撼发布了一项革命性的创新成果——Tora,一个前所未有的AI视频生成框架。Tora深度融合了文本、视觉与轨迹条件,依托其独创的轨迹导向扩散变换器(DiT)技术,彻底颠覆了视频内容的创造与控制方式,为电影特效、虚拟现实等多个领域开辟了广阔的创意天地。

该框架的精髓在于其三大核心组件的精密协作:轨迹提取器(TE)、时空DiT模块以及运动引导融合器(MGF)。TE运用前沿的3D视频压缩网络技术,如同魔法般将输入的轨迹信息转化为高效的分层时空运动补丁,为视频生成铺设了一条坚实的道路。随后,MGF凭借其独特魅力,将这些运动补丁与DiT模块无缝对接,确保每一帧视频都严格遵循预设轨迹,展现出流畅且逼真的动态画面。

尤为令人瞩目的是,Tora框架能够轻松驾驭长达204帧、720P高清视频的创作,同时赋予用户前所未有的自由度,精准调控视频的时长、尺寸及分辨率,满足不同场景下的多样化需求。在保持卓越运动保真度的同时,Tora还能细腻捕捉并模拟物理世界的微妙运动规律,为观众开启一扇通往极致沉浸体验的大门。

阿里巴巴团队将Tora誉为“数字时代的神笔马良”,象征着用户只需简单勾勒,即可驾驭物体的运动轨迹,轻松编织出复杂而精彩的视频故事。这一创新不仅极大降低了视频制作的技术门槛,更为电影特效师、广告创意人及虚拟现实开发者等业界精英提供了前所未有的强大工具,预示着视频创作与传播领域即将迎来一场深刻的变革。

随着Tora框架的正式问世,阿里巴巴再次证明了其在人工智能领域的领先地位与创新能力。展望未来,随着技术的持续演进与升级,我们有充分的理由期待Tora能够引领全球视频创作与传播领域迈向更加辉煌的明天,不断创造新的奇迹与可能。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 视频
    +关注

    关注

    6

    文章

    1930

    浏览量

    72779
  • AI
    AI
    +关注

    关注

    87

    文章

    29916

    浏览量

    268197
  • 阿里巴巴
    +关注

    关注

    7

    文章

    1607

    浏览量

    47066
收藏 人收藏

    评论

    相关推荐

    字节跳动自研视频生成模型Seaweed开放

    近日,字节跳动旗下的AI内容平台即梦AI传来新消息,宣布自研的视频生成模型Seaweed即日起正式面向平台用户开放使用。这一举措标志着字节跳动在AI
    的头像 发表于 11-11 14:31 136次阅读

    今日看点丨Vishay裁员800人,关闭上海等三家工厂;字节跳动发布两款视频生成大模型

    企业市场开启邀测。   火山引擎介绍,豆包视频生成模型基于DiT架构,通过高效的DiT融合计算单元,能更充分地压缩编码视频与文本,让视频在大动态与运镜中自由切换,拥有变焦、环绕、平摇、
    发表于 09-25 15:48 684次阅读

    火山引擎推出豆包·视频生成模型

    在近期举办的2024火山引擎AI创新巡展上,火山引擎总裁谭待隆重推出了豆包·视频生成模型,这一举措标志着火山引擎在视频内容生成领域迈出了重要一步。豆包模型凭借其独特的技术优势,吸引了业
    的头像 发表于 09-25 14:11 244次阅读

    阿里通义将发布视频生成大模型

    在即将召开的云栖大会上,阿里通义将震撼发布其自主研发的视频生成大模型。目前,用户已可通过通义App频道及通义万相PC端预约体验这一创新功能,尽管具体使用尚未开放。
    的头像 发表于 09-19 17:01 294次阅读

    MediaTek与快手携手创新,端侧视频生成技术引领AI新纪元

    在科技日新月异的今天,MediaTek与快手再次携手,于近日宣布了一项重大技术突破——高效端侧视频生成技术的诞生。这项技术不仅是对即将于2024年世界移动通信大会(MWC 2024)上亮相的先进视频生成技术的有力延续,更是双方在生成
    的头像 发表于 07-05 11:52 952次阅读

    MediaTek联合快手推出高效端侧视频生成技术

    MediaTek 与快手共同宣布,推出高效端侧视频生成技术,共同探索并推进生成AI 技术的革新。作为对 2024 世界移动通信大会(MWC 2024)上亮相的视频生成技术的延续,该
    的头像 发表于 07-05 11:23 4476次阅读

    Runway发布Gen-3 Alpha视频生成模型

    专为电影和图像内容创作者提供生成AI工具的Runway公司近日宣布,其最新的Gen-3 Alpha视频生成模型已经正式问世。这款模型在多方面均取得了显著的进步,为创作者们带来了前所未有的便利和可能性。
    的头像 发表于 06-19 09:25 515次阅读

    谷歌发布全新视频生成模型Veo与Imagen文生图模型

    谷歌近日宣布了两项重大技术进展,首先是视频生成模型Veo的正式推出。这款先进的模型能够支持生成质量更高的视频内容,让用户能够根据自己的需求设定光照、镜头语言、视频颜色风格等参数,为
    的头像 发表于 05-16 10:46 359次阅读

    阿里视频生成技术创新!视频生成使用了哪些AI技术和算法

    照片就能让 EMO 合成演戏唱歌视频。   阿里云在视频生成领域的创新   EMO(Emote Portrait Alive)是一个由阿里巴巴集团智能计算研究院开发的框架,一个音频驱动
    的头像 发表于 05-08 00:07 3311次阅读

    新火种AI|围攻光明顶:Sora效应下的AI视频生成竞赛

    Sora的出现,让AI视频生成领域真正“活”了起来
    的头像 发表于 03-16 11:12 586次阅读

    除了刷屏的Sora,国内外还有哪些AI视频生成工具

    。Sora的发布也让AI生成视频有了突破性进展。   过去一年多,全球科技公司都在发布各种大模型,然而AI生成内容更多集中在文本和图片方面,
    的头像 发表于 02-26 08:42 4222次阅读
    除了刷屏的Sora,国内外还有哪些<b class='flag-5'>AI</b><b class='flag-5'>视频生成</b>工具

    openai发布首个视频生成模型sora

    美国当地时间2024年2月15日 ,OpenAI正式发布文生视频模型Sora ,并发布了48个文生视频案例和技术报告 ,正式入局视频生成领域 。Sora能够根据提示词生成60s的连贯
    的头像 发表于 02-21 16:45 1162次阅读

    OpenAI新年开出王炸,视频生成模型Sora问世

    近日,OpenAI在AI生成视频领域取得重大突破,发布了全新的生成式人工智能模型“Sora”。该模型在视频生成方面展现出了惊人的能力,通过文
    的头像 发表于 02-20 11:46 721次阅读

    AI视频年大爆发!2023年AI视频生成领域的现状全盘点

    2023年,也是AI视频元年。过去一年究竟有哪些爆款应用诞生,未来视频生成领域面临的难题还有哪些?
    的头像 发表于 02-20 10:40 1108次阅读
    <b class='flag-5'>AI</b><b class='flag-5'>视频</b>年大爆发!2023年<b class='flag-5'>AI</b><b class='flag-5'>视频生成</b>领域的现状全盘点

    OpenAI发布文生视频模型Sora,引领AI视频生成新纪元

    在人工智能(AI)领域掀起新一轮革命浪潮的,正是OpenAI最新推出的文生视频大模型——Sora。这款被业界广泛赞誉的模型,以其“逼真”和“富有想象力”的视频生成能力,彻底颠覆了传统视频生成
    的头像 发表于 02-19 11:03 869次阅读