近日,阿里云推出全新视频生成大模型 I2VGen-XL,并在魔搭社区开放体验,用户上传一张图片后 2 分钟左右即可生成一段 1280*720 的高分辨率视频。据介绍,该模型的训练还使用了多种风格的视频数据,可生成科技感、电影色、卡通风格和素描等类型丰富的视频。目前,I2VGen-XL 的模型和代码均已开源。
在此之前,阿里云曾推出 AI 绘画创作大模型通义万相(基座模型 Composer)和可控视频生成模型 VideoComposer,团队在该领域发表 60 多篇 CCF-A 类论文,并在国际顶级视觉竞赛中获得 10 余项冠军。
和 AI 绘画创作大模型相比,视频生成大模型的技术门槛更高,其需要克服文本和视频内容匹配度、视频画面质量、画面连续性等诸多技术挑战。在此之前,阿里云和微软等科技公司相继推出一系列可控视频生成研究成果,例如用户可通过定义空间布局、运动模式等条件来生成视频,但其画面清晰度难以满足真实场景应用的需求。
针对该问题,阿里云进一步提出创新思路,I2VGen-XL 模型设计了两个阶段:首先在低分辨率条件下保证生成结果和给定图像语义的匹配度,随后通过视频扩散模型 (VLDM) 来提高视频分辨率,并同时提升时间和空间上的一致性,保证最终视频内容的清晰度和连贯性,最终实现 1280*720 高分辨率的突破,并且在画面细节的展现上大幅领先现有模型。
I2VGen-XL 模型研发负责人表示,未来将进一步实现 2K 超清效果,可应用于短视频内容生产、电影制作等场景。
I2VGen-XL 流程图
目前,I2VGen-XL 模型已吸引国内外用户和开发者的广泛体验和二次开发,涌现了大量创意 AI 视频生成内容,例如在城堡上展翅的恐龙、宇航员在飞船中行走的科幻电影画面等等……知名 AI 社交媒体分析师 Ahsen Khaliq 在推特发布多条由该模型生成的视频效果,并表示模型在清晰度、纹理、语义和时间连续性方面有优势。
模型体验地址:
https://modelscope.cn/studios/damo/I2VGen-XL-Demo/summary
-
分辨率
+关注
关注
2文章
1074浏览量
42089 -
AI
+关注
关注
87文章
32020浏览量
270889 -
模型
+关注
关注
1文章
3393浏览量
49367 -
大模型
+关注
关注
2文章
2714浏览量
3320
原文标题:降本增效:Grab 如何在云上将 Kafka 消费者流量成本降到零
文章出处:【微信号:AI前线,微信公众号:AI前线】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
智慧光伏运维管理系统助力光伏运维降本增效

Grab选定亚马逊云科技为首选云服务商
戴尔科技助力企业实现科学的降本增效
谷景电感替代国外品牌电感助力客户降本增效
光伏电站智慧运维系统助力光伏电站降本增效

市场解读 对话展商 磁元件峰会揭秘新能源降本增效秘籍

AR眼镜:医药厂商降本增效新利器
直线电机模组:米思米如何以“磁”之力,引领降本增效新风尚?
隆基分布式光伏电站助力铸造企业降本增效
降本增效,智能制造,离不开储能散热管理

无人机智能巡检系统助力光伏运维降本增效
清远mes管理系统助力企业降本增效
加速企业云上降本增效,提升性能首选云耀 X 实例

评论