0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

GTC 2023:多模态短视频模型推理优化方案解析

西西 来源:英伟达官网 作者:英伟达官网 2023-03-23 18:17 次阅读

演讲人:李杰,快手科技算法引擎工程师

关于多模态短视频模型推理优化方案解析

多卡推理--流水线并行:将模型和数据切分,以流水线形式计算,提高GPU利用率。模型切分策略:依照各部分的计算时间和参数量设计。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4729

    浏览量

    128891
  • 英伟达
    +关注

    关注

    22

    文章

    3770

    浏览量

    90990
  • gtc
    gtc
    +关注

    关注

    0

    文章

    73

    浏览量

    4425
  • 短视频
    +关注

    关注

    1

    文章

    124

    浏览量

    8923
收藏 人收藏

    评论

    相关推荐

    CDN高级技术专家周哲:深度剖析短视频分发过程中的用户体验优化技术点

    和分发的角度介绍整体方案,并且重点讲解短视频加速的注意事项和用户体验优化要点。深圳云栖大会已经圆满落幕,在3月29日飞天技术汇-弹性计算、网络和CDN专场中,阿里云CDN高级技术专家周哲为我们带来
    发表于 04-03 14:32

    使用rk3588npu推理模型模型推理时间还增加了,这怎么解释

    使用rk3588npu推理模型模型推理时间还增加了,这怎么解释
    发表于 11-05 18:22

    基于层次注意力机制的模态围堵情感识别模型

    识别模型。在音频模态中加人频率注意力机制学习频域上下文信息,利用模态注意力机制将视频特征与音频特征进行融合,依据改进的损失函数对
    发表于 04-01 11:20 9次下载
    基于层次注意力机制的<b class='flag-5'>多</b><b class='flag-5'>模态</b>围堵情感识别<b class='flag-5'>模型</b>

    蛋白质能量模型模态优化算法综述

    算法的基础,提出了一种基于二面角相似度的蛋白质构象模态优化方法。首先,执行模态探测,将 Rosetta粗粒度能量模型作为筛选高质量新个体的
    发表于 05-18 15:33 1次下载

    GTC 2023短视频模态超大模型的场景应用

    快手科技围绕提高模型计算效率和可部署开展技术攻关,沉淀了一套通用的混合并行训练、压缩、推理整体解决方案
    的头像 发表于 03-23 17:56 2203次阅读
    <b class='flag-5'>GTC</b> <b class='flag-5'>2023</b>:<b class='flag-5'>短视频</b><b class='flag-5'>多</b><b class='flag-5'>模态</b>超大<b class='flag-5'>模型</b>的场景应用

    VisCPM:迈向多语言模态模型时代

    可以大致分为两类: 1. 在图生文(image-to-text generation)方面,以 GPT-4 为代表的模态模型,可以面向图像进行开放域对话和深度推理; 2. 在文生图
    的头像 发表于 07-10 10:05 711次阅读
    VisCPM:迈向多语言<b class='flag-5'>多</b><b class='flag-5'>模态</b>大<b class='flag-5'>模型</b>时代

    更强更通用:智源「悟道3.0」Emu模态模型开源,在模态序列中「补全一切」

    热度。Flamingo 具备强大的模态上下文少样本学习能力。 Flamingo 走的技术路线是将大语言模型与一个预训练视觉编码器结合,并插入可学习的层来捕捉跨模态依赖,其采用图文对、
    的头像 发表于 07-16 20:45 717次阅读
    更强更通用:智源「悟道3.0」Emu<b class='flag-5'>多</b><b class='flag-5'>模态</b>大<b class='flag-5'>模型</b>开源,在<b class='flag-5'>多</b><b class='flag-5'>模态</b>序列中「补全一切」

    北大&amp;华为提出:模态基础大模型的高效微调

    深度学习的大模型时代已经来临,越来越多的大规模预训练模型在文本、视觉和模态领域展示出杰出的生成和推理能力。然而大
    的头像 发表于 11-08 16:20 948次阅读
    北大&amp;华为提出:<b class='flag-5'>多</b><b class='flag-5'>模态</b>基础大<b class='flag-5'>模型</b>的高效微调

    探究编辑模态大语言模型的可行性

    不同于单模态模型编辑,模态模型编辑需要考虑更多的模态信息。文章出发点依然从单
    发表于 11-09 14:53 503次阅读
    探究编辑<b class='flag-5'>多</b><b class='flag-5'>模态</b>大语言<b class='flag-5'>模型</b>的可行性

    模型+模态的3种实现方法

    我们知道,预训练LLM已经取得了诸多惊人的成就, 然而其明显的劣势是不支持其他模态(包括图像、语音、视频模态)的输入和输出,那么如何在预训练LLM的基础上引入跨模态的信息,让其变得更强
    的头像 发表于 12-13 13:55 1693次阅读
    大<b class='flag-5'>模型</b>+<b class='flag-5'>多</b><b class='flag-5'>模态</b>的3种实现方法

    自动驾驶和模态大语言模型的发展历程

    模态大语言模型(MLLM) 最近引起了广泛的关注,其将 LLM 的推理能力与图像、视频和音频数据相结合,通过多
    发表于 12-28 11:45 520次阅读
    自动驾驶和<b class='flag-5'>多</b><b class='flag-5'>模态</b>大语言<b class='flag-5'>模型</b>的发展历程

    李未可科技正式推出WAKE-AI模态AI大模型

    李未可科技模态 AI 大模型正式发布,积极推进 AI 在终端的场景应用   4月18日,2024中国生成式AI大会上李未可科技正式发布为眼镜等未来终端定向优化等自研WAKE-AI
    发表于 04-18 17:01 592次阅读
    李未可科技正式推出WAKE-AI<b class='flag-5'>多</b><b class='flag-5'>模态</b>AI大<b class='flag-5'>模型</b>

    Meta发布模态LLAMA 3.2人工智能模型

    Meta Platforms近日宣布了一项重要技术突破,成功推出了模态LLAMA 3.2人工智能模型。这一创新模型不仅能够深度解析文本信息
    的头像 发表于 09-27 11:44 398次阅读

    利用OpenVINO部署Qwen2模态模型

    模态模型的核心思想是将不同媒体数据(如文本、图像、音频和视频等)进行融合,通过学习不同模态之间的关联,实现更加智能化的信息处理。简单来说
    的头像 发表于 10-18 09:39 413次阅读

    商汤日日新模态模型权威评测第一

    刚刚,商汤科技日日新SenseNova模态模型,在权威综合评测权威平台OpenCompass的模态评测中取得榜单第一。
    的头像 发表于 12-20 10:39 144次阅读