0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Google Gemma优化后可在NVIDIA GPU上运行

NVIDIA英伟达 来源:NVIDIA英伟达 2024-02-25 11:01 次阅读

借助 TensorRT-LLM,Google 全新开放语言模型可在 NVIDIA AI 平台(包括本地 RTX AI PC)上加速运行。

2024 年 2 月 21 日,NVIDIA 携手 Google 在所有 NVIDIA AI 平台上发布面向 Gemma 的优化功能,Gemma 是 Google 最先进的新型轻量级 2B 和 7B 开放语言模型,可在任何地方运行,从而降低成本并加快特定领域用户案例的创新工作。

NVIDIA 和 Google 的团队紧密合作,利用 NVIDIA TensorRT-LLM(用于优化大语言模型推理性能的开源库),在数据中心的 NVIDIA GPU云计算和搭载 NVIDIA RTX GPU 的 PC 上运行时,加速 Gemma 性能(Gemma 由创建 Gemini 模型的相同研究和技术构建)。

这使开发者能将全球高性能 AI PC 中超过 1 亿台搭载 NVIDIA RTX GPU 的用户作为潜在用户进行开发。

开发者还可在搭载 NVIDIA GPU 的云端运行 Gemma,该实例拥有 141GB HBM3e 显存,速度为 4.8TB/秒,Google 将于今年部署该实例。

此外,企业级开发者还可利用 NVIDIA 丰富的工具生态系统(包括依托 NeMo 框架的 NVIDIA AI Enterprise 和 TensorRT-LLM),对 Gemma 进行微调,并将优化后的模型部署到生产应用中。





审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    5160

    浏览量

    104898
  • 云计算
    +关注

    关注

    39

    文章

    7949

    浏览量

    138632
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4849

    浏览量

    129985

原文标题:共耀光芒:Google Gemma 优化后可在 NVIDIA GPU 上运行

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    相关推荐

    使用NVIDIA RTX PRO Blackwell系列GPU加速AI开发

    NVIDIA GTC 推出新一代专业级 GPU 和 AI 赋能的开发者工具—同时,ChatRTX 更新现已支持 NVIDIA NIM,RTX Remix 正式结束测试阶段,本月的 NVIDIA
    的头像 发表于 03-28 09:59 231次阅读

    Google发布最新AI模型Gemma 3

    Gemma 开放模型系列是 Google 推动实用 AI 技术普惠大众的重要基石。上个月,Gemma 迎来了首个生日。回望过去一年,其成果斐然:全球下载量突破 1 亿,社区欣欣向荣,衍生模型超过 6 万个1。
    的头像 发表于 03-18 09:51 496次阅读

    无法在GPU运行ONNX模型的Benchmark_app怎么解决?

    在 CPU 和 GPU 运行OpenVINO™ 2023.0 Benchmark_app推断的 ONNX 模型。 在 CPU 推理成功,但在
    发表于 03-06 08:02

    在龙芯3a6000上部署DeepSeek 和 Gemma2大模型

    run deepseek-r1:1.5b 3.运行Gemma 2大模型 如果想体验 Google Gemma 2 可以到下面的网站选择不同参数的大模型https://ollama.
    发表于 02-07 19:35

    NVIDIA和GeForce RTX GPU专为AI时代打造

    NVIDIA 和 GeForce RTX GPU 专为 AI 时代打造。
    的头像 发表于 01-06 10:45 391次阅读

    《CST Studio Suite 2024 GPU加速计算指南》

    。 2. 操作系统支持:CST Studio Suite在不同操作系统持续测试,可在支持的操作系统使用GPU计算,具体参考相关文档。 3. 许可证:
    发表于 12-16 14:25

    如何构建及优化GPU云网络

    并从计算节点成本优化、集群网络与拓扑的选择等方面论述如何构建及优化GPU云网络。
    的头像 发表于 11-06 16:03 656次阅读
    如何构建及<b class='flag-5'>优化</b><b class='flag-5'>GPU</b>云网络

    AMD与NVIDIA GPU优缺点

    NVIDIA的RTX系列显卡以其强大的光线追踪和DLSS技术领先于市场。例如,NVIDIA的RTX 3080在4K分辨率下提供了卓越的游戏体验,而AMD的Radeon RX 6800 XT虽然在某些游戏中表现接近,但在光线追踪技术
    的头像 发表于 10-27 11:15 1575次阅读

    TI TDA2x SoC基于GPU的环视优化

    电子发烧友网站提供《TI TDA2x SoC基于GPU的环视优化.pdf》资料免费下载
    发表于 10-10 09:14 0次下载
    TI TDA2x SoC<b class='flag-5'>上</b>基于<b class='flag-5'>GPU</b>的环视<b class='flag-5'>优化</b>

    Google Gemma 2模型的部署和Fine-Tune演示

    Google 近期发布了最新开放模型 Gemma 2,目前与同等规模的开放模型相比,取得了明显的优势,同时在安全可控性上得到了显著的增强。
    的头像 发表于 08-09 17:04 963次阅读
    <b class='flag-5'>Google</b> <b class='flag-5'>Gemma</b> 2模型的部署和Fine-Tune演示

    暴涨预警!NVIDIA GPU供应大跳水

    gpu
    jf_02331860
    发布于 :2024年07月26日 09:41:42

    英国公司实现英伟达CUDA软件在AMD GPU的无缝运行

    7月18日最新资讯,英国创新科技企业Spectral Compute震撼发布了其革命性GPGPU编程工具包——“SCALE”,该工具包实现了英伟达CUDA软件在AMD GPU的无缝迁移与运行,标志着在
    的头像 发表于 07-18 14:40 835次阅读

    NVIDIA加速微软最新的Phi-3 Mini开源语言模型

    NVIDIA 宣布使用 NVIDIA TensorRT-LLM 加速微软最新的 Phi-3 Mini 开源语言模型。TensorRT-LLM 是一个开源库,用于优化从 PC 到云端的 NVID
    的头像 发表于 04-28 10:36 750次阅读

    NVIDIA全面加快Meta Llama 3的推理速度

    Meta 最新开源大语言模型采用 NVIDIA 技术构建,其经过优化可在云、数据中心、边缘和 PC 的 NVIDIA
    的头像 发表于 04-23 09:52 607次阅读

    利用NVIDIA组件提升GPU推理的吞吐

    本实践中,唯品会 AI 平台与 NVIDIA 团队合作,结合 NVIDIA TensorRT 和 NVIDIA Merlin HierarchicalKV(HKV)将推理的稠密网络和热 Embedding 全置于
    的头像 发表于 04-20 09:39 929次阅读