0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AMD开源Brotli-G压缩格式,可使用GPU加速Brotli压缩

OSC开源社区 来源:OSC开源社区 作者:OSC开源社区 2022-11-24 11:50 次阅读

AMDGPUOpen 团队公布了一个新的开源项目:Brotli-G,Brotli-G 基于 IETF 维护的完善的 Brotli 无损压缩算法标准( RFC7932),但可以使用 GPU 进一步增强 Brotli 压缩算法的性能和压缩比。

Brotli 压缩算法由 Google Research 开发,于 2013 年首次发布,开源规范于 2013 年至 2016 年间开发和推广。

Brotli 是 LZ77 压缩算法和霍夫曼编码(类似于 GZIP 和 Deflate)的组合,作为 GZIP 和 Deflate 算法的开源继承者,Brotli 具有相似的性能,但压缩比更好。

18208f78-6b2e-11ed-8abf-dac502259ad0.jpg

目前 Brotli 在 Web 应用程序和内容中被广泛采用,用于压缩 Web 应用程序资产,例如字体、javascript、图像等。

● 如今超过 95% 的网络浏览器都支持 Brotli 解压。

● 许多 Web 应用程序框架都支持 Brotli 编码(例如 NGINX 和 ASP.NET)。

● 一些 CDN 使用 Brotli 编码(例如 Azure 和 ImageKit)

Brotli-G 性能优化

Brotli-G对标准 Brotli 比特流格式的修改主要集中在:允许在 GPU 和多线程 CPU 上进行高效的数据并行解压缩,同时仍保持相对较高压缩率。主要的变化可概括为:

限制要压缩的块(页面)的大小,提供在 GPU 上使用多个计算单元 (CU) 的能力。

实施并行霍夫曼子流,提供使用 SIMD 处理的能力。

简化了比特流格式,最大限度地提高 GPU 性能。

目前 Brotli-G 解压缩算法已作为 “着色器 -shader” 程序(用微软的 HLSL高阶着色器语言编写)实现,可以在任何兼容 DirectX 的显卡上运行(但似乎不支持AMD 的 Radeon 显卡...)。在着色器中实现解压缩,可充分利用 GPU 硬件的巨大并行处理能力,以实现快速解压缩效果。

AMD 开源的是一个 Brotli-G SDK,包含用于 CPU 和 GPU 上的 CPU 压缩和解压缩的源代码。该 SDK 还包含 CLI 应用程序的源码,可用于测量 Brotli-G 编解码器的性能。

需要注意的一件事是,已经使用 Brotli 压缩的内容,无法使用 Brotli-G 解压缩器进行解压。如果要利用 Brotli-G,必须使用兼容 Brotli-G 的压缩器(也在 SDK 中提供)重新压缩该内容。

目前该 SDK 以基于 MIT 的 BCP 78 许可证(这是标准 Brotli 压缩算法的许可证)开源,可以在其 GitHub 存储库中找到:https://github.com/GPUOpen-LibrariesAndSDKs/brotli_g_sdk

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • amd
    amd
    +关注

    关注

    25

    文章

    5273

    浏览量

    132968
  • gpu
    gpu
    +关注

    关注

    27

    文章

    4507

    浏览量

    127497
  • 开源
    +关注

    关注

    3

    文章

    3039

    浏览量

    41829
  • 压缩算法
    +关注

    关注

    1

    文章

    20

    浏览量

    10471

原文标题:AMD开源Brotli-G压缩格式,可使用GPU加速Brotli压缩

文章出处:【微信号:OSC开源社区,微信公众号:OSC开源社区】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    压缩空气储能工作原理 压缩空气储能的优缺点

    压缩空气储能(CAES)是一种利用空气的压缩和膨胀来存储和释放能量的技术。
    的头像 发表于 04-25 15:18 956次阅读

    FPGA压缩算法有哪些

    在图像压缩算法中可以采用哈夫曼编码的方式对编码冗余的信息进行压缩,可以采用预测的方式来减少像素间冗余,可以采用量化的方式完成心理视觉冗余信息的去除
    的头像 发表于 04-15 11:48 319次阅读
    FPGA<b class='flag-5'>压缩</b>算法有哪些

    Python压缩和解压缩实现代码分享

    压缩和解压缩是日常常用的操作,不管是windows上图形界面的操作,还是linux上用命令来进行压缩压缩,总的而言都还是比较方便的。
    的头像 发表于 04-11 11:28 273次阅读

    离心压缩机的工作原理是什么

    离心压缩机是一种常见的压缩机类型,广泛应用于工业和商业领域。它通过旋转运动将气体抽入,增加其压力并将其排出。离心压缩机具有高效、可靠的特点,适用于各种气体的压缩和处理。下面将详细介绍离
    的头像 发表于 02-14 17:12 906次阅读

    螺杆压缩机工作原理 螺杆压缩机的工作循环可分为

    螺杆压缩机是一种通过螺杆运动来压缩气体的机械设备。它由主螺杆和副螺杆组成,两者通过齿轮传动保持一定的相对运动轨迹。在工作过程中,气体被吸入螺杆压缩机的吸气口,然后沿着螺杆的螺旋槽被压缩
    的头像 发表于 02-04 10:19 509次阅读

    压缩机的类型和区别

    压缩机的类型和区别。 一、离心压缩机 离心压缩机是一种将气体以离心力的形式压缩的机械设备。它具有以下特点: 1. 工作原理:离心压缩机通过高
    的头像 发表于 02-01 14:36 1048次阅读

    螺杆式空气压缩机与活塞式空气压缩机的区别

    螺杆式空气压缩机与活塞式空气压缩机是两种常见的压缩机类型,它们在结构、工作原理、性能和应用方面都有所不同。本文将从这些方面详细介绍这两种压缩机的区别。 结构和工作原理的区别: 活塞式空
    的头像 发表于 01-25 11:11 1514次阅读

    螺杆式制冷压缩机工作原理 离心式压缩机和螺杆式压缩机区别

    螺杆式制冷压缩机是一种常用于制冷和空调系统的压缩机,其工作原理是基于物理原理和机械设计的。在本文中,我们将详细介绍螺杆式制冷压缩机的工作原理,并与另一种常见的压缩机——离心式
    的头像 发表于 01-17 17:09 750次阅读

    空气压缩机和压缩后气体的最大压力有关系吗?

    空气压缩机和压缩后气体的最大压力有关系么?比如多大的空压机后面达到多大的压力就转不动了?知道后面的最高压力如何选择压缩机型号啊?
    发表于 12-26 06:20

    如何选择压缩机?

    如何选择压缩机? 选择压缩机是一个相当复杂的过程,需要综合考虑多个因素。本文将详细介绍如何选择压缩机,包括了所需的基本知识、市场上常见的压缩机类型、关键的选择因素和技术参数等。 一、基
    的头像 发表于 12-11 11:26 659次阅读

    NNCF压缩与量化YOLOv8模型与OpenVINO部署测试

    OpenVINO2023版本衍生出了一个新支持工具包NNCF(Neural Network Compression Framework – 神经网络压缩框架),通过对OpenVINO IR格式模型的压缩与量化更好的提升模型在Op
    的头像 发表于 11-20 10:46 1083次阅读
    NNCF<b class='flag-5'>压缩</b>与量化YOLOv8模型与OpenVINO部署测试

    自适应可伸缩纹理压缩开发人员指南

    自适应可伸缩纹理压缩(ASTC)是由Arm®和AMD开发的一种先进的有损纹理压缩技术。 本指南提供了有关如何有效使用ASTC来优化应用程序性能的信息。它涵盖以下主题: •什么是ASTC,为什么需要它
    发表于 08-10 07:58

    基于SYSBIOS系统如何将PCM格式的音频编码为MP3格式

    音频编解码的主要对象是音乐和语音,音频的编解码格式可分为无压缩格式、无损压缩格式、有损音乐压缩
    的头像 发表于 08-09 16:53 828次阅读
    基于SYSBIOS系统如何将PCM<b class='flag-5'>格式</b>的音频编码为MP3<b class='flag-5'>格式</b>?

    压缩机退磁保护电路原理图讲解

    压缩机退磁保护电路用于检测压缩机工作的相电流峰值,与芯片内部软件相配合,当检测到压缩机电流大于设定的退磁保护点时,硬件触发IPM模块关断压缩机驱动PWM信号,同时输出Fo信号到
    发表于 08-07 09:09 1650次阅读
    <b class='flag-5'>压缩</b>机退磁保护电路原理图讲解

    Linux中常用的压缩和解压缩命令介绍

    在Linux中,压缩和解压缩文件是常见的操作。有时候,我们需要将大文件压缩成较小的文件,以便于传输和存储。同时,我们也需要解压缩文件来获得原始数据。本文咱们就介绍在Linux中常用的
    发表于 07-31 11:50 2131次阅读