0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Sora爆红,多模态大模型是下一发展阶段

21克888 来源:电子发烧友网 作者:综合报道 2024-02-20 16:13 次阅读

“大语言模型为 AI 产业带来新的生机,然而语言模型的应用场景有限。要全面打开生成式 AI 的想象力,还是要依托多模态大模型。”IDC 中国研究总监卢言霞近日表示。Sora在文生视频领域真正迈出了第一步,真正做到生成式 AI 驱动生成短视频。接下来也将刺激其他科技巨头加快在该领域的技术攻关力度以及产品发布速度。

哪些公司有潜力快速推出类似产品呢?根据卢言霞的判断,几个最有潜力的群体包括,在大模型以及 AI 领域投入最为领先的科技巨头,如 BAT、科大讯飞等;在计算机视觉领域拥有深厚积累的公司,比如商汤、海康一类的公司;以及短视频类公司;更可大胆想象,也或许会培训出多模态大模型的全新创企。

多模态大模型将率先在短视频、广告、互娱、影视、媒体等领域采用,辅助人类员工生成视频,既可以提高生产速度又可以提高生产数量,还可以创造全新的视觉感受,能够帮助企业真正实现降本增效、提升用户体验。

根据预测,未来 5 年,生成式 AI 生成的文本类文件、图像类文件、视频类文件、软件代码类文件数量将会越来越平均。而这其中,与图像文件相关的数据量可能是文本文件的 100 倍,视频文件是图像文件的 10 倍。整体来看,由于 GenAI 的采用和使用日益增多,近期和远期所创建数据的增长速度都将快于近几年。

卢言霞指出,多模态大模型行业发展的挑战在于:

• 高质量数据的稀缺:图像、视频类数据掌握在少数公司手中。这些数据也需要标注,甚至重新采集,才能用于大模型的训练。
• 多模态大模型对算力的消耗更高,算力的可获取性以及成本将是挑战之一。
• 顶尖的大模型研发人才,也是行业发展的稀缺资源。

此外,多模态大模型将带来更严峻的安全方面的挑战。一方面多模态大模型将读取更多的图像、视频类数据,这些图像视频数据是否合规是否安全,需要得到保障;另一方面,生成的视频与真实世界之间的差异,是否会影响到人身安全、社会稳定、企业安全等,也需要注意。

当前 Sora 生成的是1分钟的视频,对于行业已经是重大突破,何时能生成2分钟、5分钟以上的视频还未知,无论如何多模态大模型的应用都将是颠覆性的。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
收藏 人收藏

    相关推荐

    海康威视发布模态模型文搜存储系列产品

    模态模型为安防行业带来重大技术革新,基于观澜大模型技术体系,海康威视将大参数量、大样本量的图文模态
    的头像 发表于 02-18 10:33 174次阅读

    商汤日日新模态模型权威评测第

    刚刚,商汤科技日日新SenseNova模态模型,在权威综合评测权威平台OpenCompass的模态评测中取得榜单第
    的头像 发表于 12-20 10:39 416次阅读

    成都汇阳投资关于Sora 正式上线,模态模型的里程碑

      事 件  12月10日,OpenAl正式上线 Sora,并向包括美国在内的多数国家用户开放,用户可在OpenAI官网上体验Sora。同时,Sora 被包含在ChatGPT Plus
    的头像 发表于 12-16 14:39 317次阅读

    文理解模态大语言模型——下

    /understanding-multimodal-llms   《文理解模态大语言模型 - 上》介绍了什么是
    的头像 发表于 12-03 15:18 270次阅读
    <b class='flag-5'>一</b>文理解<b class='flag-5'>多</b><b class='flag-5'>模态</b>大语言<b class='flag-5'>模型</b>——下

    文理解模态大语言模型——上

    /understanding-multimodal-llms 在过去几个月中, OpenVINO™ 架构师 Yury阅读了众多有关模态大语言模型的论文和博客,在此基础上,推荐了篇解
    的头像 发表于 12-02 18:29 550次阅读
    <b class='flag-5'>一</b>文理解<b class='flag-5'>多</b><b class='flag-5'>模态</b>大语言<b class='flag-5'>模型</b>——上

    利用OpenVINO部署Qwen2模态模型

    模态模型的核心思想是将不同媒体数据(如文本、图像、音频和视频等)进行融合,通过学习不同模态之间的关联,实现更加智能化的信息处理。简单来说,
    的头像 发表于 10-18 09:39 634次阅读

    苹果发布300亿参数模态AI大模型MM1.5

    苹果近日推出了全新的模态AI大模型MM1.5,该模型拥有高达300亿的参数规模,是在前代MM1架构的基础上进
    的头像 发表于 10-14 15:50 352次阅读

    云知声推出山海模态模型

    在人工智能技术的浩瀚星海中,模态交互技术正成为引领未来的新航标。继OpenAI的GPT-4o掀起滔天巨浪后,云知声以创新之姿,推出了其匠心独运的山海模态
    的头像 发表于 08-27 15:20 457次阅读

    依图模态模型伙伴CTO精研班圆满举办

    模型在不同行业领域的应用前景;7月19日, “依图科技模态模型伙伴CTO精研班”在杭州圆满举办,让更多的伙伴们深度体验了依图
    的头像 发表于 07-23 15:16 507次阅读

    Sora还在PPT阶段,“中国版Sora”已经开放使用了!

    电子发烧友网报道(文/梁浩斌)今年春节期间,OpenAI的AI文字生成视频模型Sora惊艳全世界,极高的视频生成效果、长达60秒的视频生成长度,让过去Pika Labs推出的Pika 1.0、去年
    的头像 发表于 06-17 09:07 3555次阅读

    李未可科技正式推出WAKE-AI模态AI大模型

    文本生成、语言理解、图像识别及视频生成等模态交互能力。   该大模型围绕 GPS 轨迹+视觉+语音打造新代 LLM-Based的自然交互,同时
    发表于 04-18 17:01 679次阅读
    李未可科技正式推出WAKE-AI<b class='flag-5'>多</b><b class='flag-5'>模态</b>AI大<b class='flag-5'>模型</b>

    AI机器人迎来模态模型

    配备 GR00T 模型的机器人由于需要“吸收消化”外界的模态信息,还要快速完成理解、决策、行动等系列动作,因此对于算力的需求是巨量的。
    发表于 04-12 10:39 324次阅读

    苹果发布300亿参数MM1模态模型

    近日,科技巨头苹果公司在篇由多位专家共同撰写的论文中,正式公布了其最新的模态模型研究成果——MM1。这款具有高达300亿参数的
    的头像 发表于 03-19 11:19 980次阅读

    Sora短期不会向公众开放 还处于反馈获取阶段

    Sora短期不会向公众开放 还处于反馈获取阶段 据外媒报道Sora核心团队在次采访中透露,Sora短期不会向公众开放,
    的头像 发表于 03-14 14:55 726次阅读

    蚂蚁集团推出20亿参数模态遥感基础模型SkySense

    近日,蚂蚁集团联合武汉大学宣布成功研发出20亿参数模态遥感基础模型SkySense。这创新模型由蚂蚁集团的AI创新研发部门NextEvo
    的头像 发表于 03-04 11:22 925次阅读