0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AMD开源Brotli-G压缩格式,可使用GPU加速Brotli压缩

OSC开源社区 来源:OSC开源社区 作者:OSC开源社区 2022-11-24 11:50 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

AMDGPUOpen 团队公布了一个新的开源项目:Brotli-G,Brotli-G 基于 IETF 维护的完善的 Brotli 无损压缩算法标准( RFC7932),但可以使用 GPU 进一步增强 Brotli 压缩算法的性能和压缩比。

Brotli 压缩算法由 Google Research 开发,于 2013 年首次发布,开源规范于 2013 年至 2016 年间开发和推广。

Brotli 是 LZ77 压缩算法和霍夫曼编码(类似于 GZIP 和 Deflate)的组合,作为 GZIP 和 Deflate 算法的开源继承者,Brotli 具有相似的性能,但压缩比更好。

18208f78-6b2e-11ed-8abf-dac502259ad0.jpg

目前 Brotli 在 Web 应用程序和内容中被广泛采用,用于压缩 Web 应用程序资产,例如字体、javascript、图像等。

● 如今超过 95% 的网络浏览器都支持 Brotli 解压。

● 许多 Web 应用程序框架都支持 Brotli 编码(例如 NGINX 和 ASP.NET)。

● 一些 CDN 使用 Brotli 编码(例如 Azure 和 ImageKit)

Brotli-G 性能优化

Brotli-G对标准 Brotli 比特流格式的修改主要集中在:允许在 GPU 和多线程 CPU 上进行高效的数据并行解压缩,同时仍保持相对较高压缩率。主要的变化可概括为:

限制要压缩的块(页面)的大小,提供在 GPU 上使用多个计算单元 (CU) 的能力。

实施并行霍夫曼子流,提供使用 SIMD 处理的能力。

简化了比特流格式,最大限度地提高 GPU 性能。

目前 Brotli-G 解压缩算法已作为 “着色器 -shader” 程序(用微软的 HLSL高阶着色器语言编写)实现,可以在任何兼容 DirectX 的显卡上运行(但似乎不支持AMD 的 Radeon 显卡...)。在着色器中实现解压缩,可充分利用 GPU 硬件的巨大并行处理能力,以实现快速解压缩效果。

AMD 开源的是一个 Brotli-G SDK,包含用于 CPU 和 GPU 上的 CPU 压缩和解压缩的源代码。该 SDK 还包含 CLI 应用程序的源码,可用于测量 Brotli-G 编解码器的性能。

需要注意的一件事是,已经使用 Brotli 压缩的内容,无法使用 Brotli-G 解压缩器进行解压。如果要利用 Brotli-G,必须使用兼容 Brotli-G 的压缩器(也在 SDK 中提供)重新压缩该内容。

目前该 SDK 以基于 MIT 的 BCP 78 许可证(这是标准 Brotli 压缩算法的许可证)开源,可以在其 GitHub 存储库中找到:https://github.com/GPUOpen-LibrariesAndSDKs/brotli_g_sdk

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • amd
    amd
    +关注

    关注

    25

    文章

    5720

    浏览量

    140602
  • gpu
    gpu
    +关注

    关注

    28

    文章

    5317

    浏览量

    136178
  • 开源
    +关注

    关注

    3

    文章

    4415

    浏览量

    46566
  • 压缩算法
    +关注

    关注

    1

    文章

    22

    浏览量

    10764

原文标题:AMD开源Brotli-G压缩格式,可使用GPU加速Brotli压缩

文章出处:【微信号:OSC开源社区,微信公众号:OSC开源社区】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    AMD正式推出Instinct MI350P PCIe GPU加速

    AMD于2026年5月8日正式推出Instinct MI350P PCIe GPU加速卡,作为四年来首款面向企业级市场的PCIe接口Instinct系列产品,其以“精简架构+极致能效”为核心,专为AI推理任务优化,实现从部署到运
    的头像 发表于 05-08 11:25 631次阅读

    如何在 VisionFive v2 上使用外部 GPU

    如果旧的 amd gpu 在 VisionFive V2 上运行,我想使用带有开源 amd 驱动程序的 amd
    发表于 03-13 06:38

    解密压缩率对EMI导电泡棉材料性能的致命影响

    摘要:导电泡棉的实际屏蔽效能常因压缩率差异而大幅低于规格参数。本文揭示压缩率如何显著影响接触电阻和屏蔽效能(压缩不足时性能可能骤降50%以上),指出结构公差、装配误差等实际因素导致压缩
    的头像 发表于 03-09 10:37 500次阅读

    Nginx Gzip压缩配置指南

    说起Gzip压缩,可能很多人觉得这是个老生常谈的话题。但我在这几年的运维工作中发现,真正把Gzip配置到位的网站其实不多。去年帮一个客户做性能优化,他们的网站日均带宽消耗在2TB左右,一看Nginx
    的头像 发表于 01-30 16:03 606次阅读

    linux的压缩和解压操作

    1、 压缩/解压操作 在开发中,很多时候会遇到某些文件要进行压缩的操作,比如文件较大不方便传输的时候,可能会考虑对文件进行压缩,以减少文件传输的时间。 比如在网络中传输文件的时候,就会考虑先将文件
    发表于 12-23 06:56

    电能质量在线监测装置数据压缩对装置性能有哪些影响?

    电能质量在线监测装置的数据压缩功能对性能的影响 总体可控且轻微 ,核心集中在「CPU 占用、内存消耗、存储读写速度、数据传输延迟」四大维度,且通过厂商优化(硬件加速、算法选型、资源调度)可将负面影响
    的头像 发表于 12-17 10:28 549次阅读
    电能质量在线监测装置数据<b class='flag-5'>压缩</b>对装置性能有哪些影响?

    如何配置电能质量在线监测装置的数据压缩存储功能?

    现代电能质量在线监测装置普遍支持数据压缩存储,可显著节省存储空间 (2-20 倍) 和传输流量。配置步骤如下: 一、配置前准备 1. 确认装置支持情况 高端装置 (电网侧):标配硬件压缩模块
    的头像 发表于 12-17 10:26 680次阅读
    如何配置电能质量在线监测装置的数据<b class='flag-5'>压缩</b>存储功能?

    电能质量在线监测装置支持哪些数据压缩算法?

    电能质量在线监测装置支持 无损压缩 和 有损压缩 两大类算法,适配不同数据类型(实时数据、历史数据、波形数据)与应用场景(存储 / 传输 / 故障追溯),且在基础型、增强型、电网级装置中支持力度逐步
    的头像 发表于 12-12 14:08 797次阅读
    电能质量在线监测装置支持哪些数据<b class='flag-5'>压缩</b>算法?

    电能质量在线监测装置的数据压缩存储功能对数据传输速度有影响吗?

    ); 次要负面影响: 压缩 / 解压过程会消耗少量时间 (硬件加速可忽略,软件压缩有轻微延迟);最终净效果取决于 压缩比、算法效率、硬件是否支持加速
    的头像 发表于 12-11 16:43 1388次阅读
    电能质量在线监测装置的数据<b class='flag-5'>压缩</b>存储功能对数据传输速度有影响吗?

    电能质量在线监测装置的数据压缩存储功能支持的数据格式可以修改吗?

    电能质量在线监测装置的数据压缩存储功能支持的数据格式 部分可修改 ,具体取决于格式类型(数据文件格式 / 压缩算法
    的头像 发表于 12-11 16:39 1280次阅读
    电能质量在线监测装置的数据<b class='flag-5'>压缩</b>存储功能支持的数据<b class='flag-5'>格式</b>可以修改吗?

    氢气压缩机PLC数据采集系统解决方案

    在某大型化工企业的氢气生产与压缩车间,氢气压缩机作为核心设备,承担着将低压氢气压缩至高压状态以满足后续工艺需求的关键任务。该车间配备了多台不同型号的氢气压缩机,这些
    的头像 发表于 08-15 17:15 1134次阅读
    氢气<b class='flag-5'>压缩</b>机PLC数据采集系统解决方案

    低内存场景下的高效压缩利器:FastLZ压缩库应用实践指南

    联网设备等场景的严苛需求。 FastLZ ——是一款高效且小巧的开源压缩库,主要用于实现基于LZ77算法的字节对齐数据压缩。LZ77(Lempel-Ziv 1977)是数据压缩领域的一
    的头像 发表于 07-22 15:13 561次阅读
    低内存场景下的高效<b class='flag-5'>压缩</b>利器:FastLZ<b class='flag-5'>压缩</b>库应用实践指南

    压缩机式冷水机:技术原理、应用场景与行业创新

    在半导体制造、工业温控及加工领域,压缩机式冷水机凭借其稳定的制冷性能,成为保障工艺精度与设备可靠性的核心装备。本文将从技术原理、系统构成、应用场景及行业创新趋势四方面,系统解析压缩机式冷水机的技术
    的头像 发表于 07-11 15:52 1321次阅读
    <b class='flag-5'>压缩</b>机式冷水机:技术原理、应用场景与行业创新

    基于FPGA的压缩算法加速实现

    本设计中,计划实现对文件的压缩及解压,同时优化压缩中所涉及的信号处理和计算密集型功能,实现对其的加速处理。本设计的最终目标是证明在充分并行化的硬件体系结构 FPGA 上实现该算法时,可以大大提高该算
    的头像 发表于 07-10 11:09 2675次阅读
    基于FPGA的<b class='flag-5'>压缩</b>算法<b class='flag-5'>加速</b>实现

    华为联合业界伙伴主导的SRv6压缩标准RFC 9800正式发布

    部署加速阶段。 RFC9800是SRv6核心系列标准里面定义SRv6压缩方法的关键标准,该标准定义了REPLACE(即华为主导联合业界伙伴原创提出的G-SRv6技术)和NEXT两种SRv6 SID
    的头像 发表于 07-04 20:37 1568次阅读