0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NeurIPS 2023 | 清华ETH提出首个二值化光谱重建算法

智能感知与物联网技术研究所 来源:未知 2023-12-03 20:20 次阅读
wKgaomVsc56ANMSQAAC3ITqhUNk915.png论文链接:https://arxiv.org/abs/2305.10299

代码链接1:

https://github.com/caiyuanhao1998/BiSCI

代码链接2:

https://github.com/caiyuanhao1998/MSTwKgaomVsc56ADjR6AAFs8X4VRDo646.png

▲ 图1 BiSRNet 与当前最先进的二值网络的性能对比

目前所有的代码,预训练模型和测试结果均已开源在我们开发的一个二值化光谱压缩重建工具包 BiSCI 内,该工具包支持八类最主要的二值网络,欢迎大家来使用。同时,我们还将 BiSRNet 嵌入到了我们之前开发的光谱重建工具箱 MST 当中。目前 MST 工具包已支持超过 12 类深度学习算法,并包含各种配套的可视化函数,欢迎大家来对比。

wKgaomVsc56AHhoZAAAl6LOgh3c585.png光谱压缩重建任务介绍

相比于常规的三通道 RGB 图像,高光谱图像包含几十上百个波段,从而捕获了关于成像场景更丰富的信息。也正因为这一重要特性,高光谱图像被广泛地应用于医疗,地形勘探,农业等领域。如图 2 所示,在医院进行检查时,如果只看常规的 RGB 图像可能很难诊断病因,但是如果采用高光谱图像捕获并在特定波长下渲染的话,就可以看清楚各类血管,骨骼结构等,从而辅助医生诊断。同样的原理也可应用在遥感地形勘探和农业病虫害检测

wKgaomVsc5-AO7A6AAZHNQUitzI972.png

▲图2 高光谱图像的应用

然而高光谱图像并容易获取,传统的成像设备采用光谱仪对成像场景进行逐波段的扫描,费时费力,难以捕捉运动场景。近些年,科学家们专门设计了单曝光压缩成像(Snapshot Compressive Imaging,SCI)系统来解决这一问题。其光路结构如图 3 所示。

该系统首先通过一个编码孔径掩膜对成像场景的各光谱通道进行调制,然后通过一个三棱镜进行色散后在相机上捕获到一个二维的快照估计图(compressive measurement)。通过这个光路系统,我们便可将三维的光谱立方块压缩成一个二维的图像。而光谱压缩重建的任务便是从这个二维的压缩估计图上恢复出三维的高光谱数据。

wKgaomVsc5-ABFdEAARU9M4SX2I257.png

▲图3 单曝光压缩成像系统

当前的主流方法是采用的是全精度模型如 CNN 或者 Transformer 来学一个从压缩估计图到三维光谱立方块的映射。几个比较经典算法有我们之前的工作 MST,MST++,CST,DAUHST,HDNet 等(这些方法全部都开源在我们的工具箱 MST 当中)。

这类方法虽然取得了很好的重建效果,但却难以部署到移动端设备(如智能手机、相机、无人机等)上,因为移动端设备的内存空间,计算资源和电力均有限,无法运转全精度模型。另一方面,全精度模型的一些计算单元如深度展开算子和多头自注意力机制等相对复杂,移动端设备无法支持。为了推动光谱重建算法的实际应用,本文做了如下贡献:

(1)提出了光谱压缩重建领域内首个基于二值神经网络(Binarized Neural Network,BNN)的算法——二值化光谱重分布网络(Binarized Spectral-Redistribution Network,BiSRNet)。

(2)设计了一个新的二值化卷积单元——二值化光谱重分布卷积(Binarized Spectral-Redistribution Convolution,BiSR-Conv)。该卷积单元可以调整光谱表征的强度和分布,同时在反向传播中更好地逼近二值化符号(Sign)函数,从而让求得的梯度更加准确。

(3)制作了四个二值化卷积模块来解决特征图形变过程中的维度不匹配问题,从而让全精度信息能流通整个模型的每一层卷积单元以弥补二值卷积造成的信息损失。

(4)我们的 BiSRNet 显著地超越了当前最先进的二值化算法,甚至取得了能与全精度 CNN 比肩的效果,然而我们的 BiSRNet 算法却只需要极低的存储空间(约 0.06 %)和计算代价(约 1 %)。

wKgaomVsc5-AfHKrAAAtJ0fTuoM470.png

本文方法

2.1 基础模型

一般来说,用于二值化的全精度模型应该是比较轻量的且它的计算单元可以再移动端设备上运行。然而,现存的 CNN 或 Transformer 模型均不满足这一要求。为此,我们重新设计了一个简单,轻量,易于部署的基础模型(Base Model)。

受到之前工作 MST,MST++,CST,DAUHST 的启发,我们设计的基础模型也采用一个 U 形结构,如图 4 所示。

wKgaomVsc5-AP5IkAASFDtpAqCk484.png

▲图4 基础模型的网络结构

在这个基础模型中,采用的所有计算单元都可以被移动端设备支持,同时也不涉及计算复杂度高的操作。

2.2 二值化光谱重分布卷积单元

二值化光谱重分布卷积的细节如图 4(c)所示。将输入的全精度激活信号记为 。我们注意到,受到特定成像波长的限制,高光谱信号沿着光谱维度有着不同的强度与分布。为了适应光谱图像的这一特性,我们提议在二值化激活之前,按通道对高光谱图像表示进行重分布:

wKgaomVsc5-AKqqgAAAQUCI-D0c210.png

其中的 表示重分布后的激活。 表示可学习参数。然后 经过一个符号函数后被量化到 1 位的激活

wKgaomVsc6CAY4mGAAAmhlDOkGU686.png

如图 5(b)和(c)所示,由于符号函数是不可导的,之前的方法大都采用一个分段线性函数 Clip(x)或者二次函数 Quad(x)来在反向传播中拟合符号函数。

wKgaomVsc6CACZJrAAFMLlcBEqs399.png

▲图 5 符号函数与各类逼近函数的对比图

Clip(x)与 Quad(x)的具体表达式如下:

wKgaomVsc6CAZ6o-AABAxK7AE-k034.png

然而分段线性函数知识一个粗略的估计,它与符号函数之间依旧有着很大的误差。图 5 中的阴影部分面积就表示这个误差的大小,Clip(x)的误差是 1。此外,一旦激活或者权重的值落在了 [-1,1] 之外,他们就不会再被更新。尽管分段二次函数是一个更精确的逼近(误差为 2/3),上述的两个问题依旧存在。为此,我们设计了一个可缩放的双曲正切函数来在反向传播中拟合符号函数:

wKgaomVsc6GAOTt-AAAvB_4yjbk974.png

其中 是一个可学习的参数,自适应地调整 Tanh()与 Sign()之间的距离。我们证明当 时,Tanh()→ Sign()如下:

wKgaomVsc6GAYSWWAABmZOuOrgM511.png

我们仿照之前的二值化算法,定义然后我们可以得到:

wKgaomVsc6GAeJM2AAAd6rj5uxc468.png

我们计算图 5(d)中的阴影面积:

wKgaomVsc6GAHxBPAABm9UvZ2Cg495.png

由此可见,当 足够大时,Tanh()可以任意地逼近 Sign()。同时,我们的 Tanh()既不是分段函数,也不会因为 x 落在 [-1,1] 之外而无法更新。

更进一步,我们比较三个逼近函数的一阶导数。如图 5 下边一行所示取值范围均为 ,这着本质的区别。而我们以通过改变参数 来调整它的取值范围 和形状,从而更加灵活地逼

在二值化卷积层当中,32 位的权重 也被二值化到一位的权重

wKgaomVsc6GAaEVrAAAgEOvSUNc118.png

其中的 表示取均值。由此,计算繁重的全精度卷积操作便可由纯逻辑异或非运算(XNOR)与位计数(bit-count)操作替换如下:

wKgaomVsc6GAVa4vAAAoaSWeh8I209.png

因为全精度信息 的取值范围与二值卷积的输出 差别较大,直接引入残差连接将两者相加容易导致 的信息被淹没掉,所以先采用一个 RPReLU 激活函数来重塑 的取值范围:

wKgaomVsc6GAcfHtAAA0Ol_z078790.png

然后再引入残差链接:

wKgaomVsc6KAQmKUAAAc1nmtwfE996.png

通过我们的设计,全精度信息流就不会被二值卷积给阻断,从而能够顺畅地流过我们设计的 BiSR-Conv 单元,如图 4 (c) 中的红色箭头所示。

wKgaomVsc6KALu6jAAPXzkRMOgw342.png

▲图6 本文卷积二值卷积块与普通二值卷积块在处理特征图维度变化时的对比

全精度信息流在二值化算法中非常重要,因为它在一定程度上弥补了量化导致的信息损失。然而在特征图的上下采样过程中,由于维度发生了变化,难以直接引入残差链接以补充全精度信息,如图 6 中每个子图的左半部分所示。蓝色箭头表示二值信号,红色箭头表示全精度信息流。普通的二值卷积模块会在特征度维度改变的同时阻断全精度信息流的传递。然而我们的二值卷积模块通过采用分割合并的技巧,让全精度信息流不被阻断,从而在整个二值模型中流通。

wKgaomVsc5-AfHKrAAAtJ0fTuoM470.png

实验结果

3.1 量化指标

wKgaomVsc6KAQcy9AAau48xfLoQ304.png

▲表1 BiSRNet 与 SOTA BNN,传统方法,全精度CNN方法的量化指标对比 表 1 展示了我们的 BiSRNet 与 SOTA BNN,传统方法,全精度 CNN 方法的量化指标对比。可以看到,我们的 BiSRNet 显著超越了当前最先进的 BNN 算法 BTM 2.55 dB。同时超越了所有的 64 位传统算法,增幅超过了 4.49 dB。值得注意的是,我们的 BiSRNet 取得了能与全精度 CNN 方法比肩的性能,比如超过了 1.23 dB,然而却只占用了 0.06 % 的存储空间和 1 % 计算代价。

3.2 视觉对比

wKgaomVsc6KAQvF7AAZ04FQhqmw396.png▲图7 BiSRNet 与其他 BNN 方法在仿真数据及上的视觉对比wKgaomVsc6KAclbJAAVJ0W-RZIU240.png‍‍图8 BiSRNet 与其他 BNN 方法在真实数据集上的视觉对比

wKgaomVsc6OAfjN5AAAr2pbNr48215.png

总结

本文首次探索了压缩量化在光谱压缩重建领域的应用,提出了该领域首个二值化卷积神经网络 BiSRNet,在量化指标和视觉结果上都显著地超越了当前最先进的二值化模型。代码,预训练权重,重建结果均开源在:https://github.com/caiyuanhao1998/BiSCI ·


原文标题:NeurIPS 2023 | 清华ETH提出首个二值化光谱重建算法

文章出处:【微信公众号:智能感知与物联网技术研究所】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 物联网
    +关注

    关注

    2900

    文章

    43994

    浏览量

    369882

原文标题:NeurIPS 2023 | 清华ETH提出首个二值化光谱重建算法

文章出处:【微信号:tyutcsplab,微信公众号:智能感知与物联网技术研究所】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    爱芯元智受邀参加2024清华自动论坛

    近日,“2024清华自动论坛”在广州举行。本次论坛由清华校友总会自动系分会主办,汇聚了海内外约200位清华大学自动
    的头像 发表于 11-05 14:41 120次阅读

    基于FPGA实现OTSU算法

    OSTU大津法是一种确定图像阈值的方法,由日本学者大津提出来的。
    的头像 发表于 10-25 15:23 109次阅读
    基于FPGA实现OTSU<b class='flag-5'>算法</b>

    阿里云推出首个域名AI大模型应用

    阿里云近日宣布其域名产品服务已全面完成AI升级,并成功推出首个基于通义大模型的域名AI应用。此次升级不仅引入了“.ai”等40多个热门新域名后缀,还纳入了2000万个全球域名资源,极大地丰富了用户的注册选择。
    的头像 发表于 08-09 14:55 448次阅读

    康谋分享 | aiSim5仿真场景重建感知置信度评估(三)

    aiSim5能重建高精度的赛道、车库、高速公路等真实交通场景,用于测试和训练ADAS/AD系统。通过全局行动日志,能将驾驶数据转化为场景重建,车道线检测算法和多目标检测算法在仿真与现实
    的头像 发表于 05-08 16:59 2366次阅读
    康谋分享 | aiSim5仿真场景<b class='flag-5'>重建</b>感知置信度评估(三)

    图像连通区域的标记原理

    ,即给每个连通区域一个唯一的标识符。 连通区域标记是图像分析和图像处理中的一个重要步骤,可以用于图像分割、边缘检测、目标提取、形状描述等应用。在本文中,我们将介绍图像连通区域标记的原理和常用算法。 连通区
    的头像 发表于 01-05 14:28 740次阅读

    工业上常见的高精度主动式重建算法

    三维重建目前是最为炙手可热的领域。摄影测量或结构光投影技术可以解决漫反射重建问题,但却无法有效应对镜面反射物体(如玻璃、积水、反光物体和汽车车身)等的重建挑战。
    发表于 01-05 10:46 418次阅读
    工业上常见的高精度主动式<b class='flag-5'>重建</b><b class='flag-5'>算法</b>

    NeurIPS23|视觉 「读脑术」:从大脑活动中重建你眼中的世界

    在这篇 NeurIPS23 论文中,来自鲁汶大学、新加坡国立大学和中科院自动所的研究者提出了一种视觉 「读脑术」,能够从人类的大脑活动中以高分辨率出解析出人眼观看到的图像。 人类的感知不仅由客观
    的头像 发表于 12-24 21:35 467次阅读
    <b class='flag-5'>NeurIPS</b>23|视觉 「读脑术」:从大脑活动中<b class='flag-5'>重建</b>你眼中的世界

    英特尔研究院将在NeurIPS大会上展示业界领先的AI研究成果

    英特尔研究院将在NeurIPS 2023大会上展示一系列富有价值、业界领先的AI创新成果。面向广大开发者、研究人员和学界人士,这一AI和计算机视觉领域的全球顶会将于12月10日至16日在美国新奥尔良
    的头像 发表于 12-08 19:15 506次阅读

    英特尔研究院将在NeurIPS大会上展示业界领先的AI研究成果

    和学界人士,这一AI和计算机视觉领域的全球顶会将于12月10日至16日在美国新奥尔良市举办。        在NeurIPS 2023上,英特尔研究院将展示其最新AI研究成果,并和由创新者和思想领袖组成的多元社区分享英特尔“让
    的头像 发表于 12-08 09:17 659次阅读

    中国研制出全球首个全模拟光电智能计算芯片

    经长期联合攻关,清华大学研究团队突破传统芯片的物理瓶颈,创造性提出光电融合的全新计算框架,并研制出国际首个全模拟光电智能计算芯片(简称ACCEL)。
    的头像 发表于 12-04 17:39 1121次阅读

    如何区分光谱、多光谱和高光谱

    图像光谱测量则是结合了光谱技术和成像技术,将光谱分辨能力和图形分辨能力相结合,造就了空间维度上的面光谱分析,也就是现在的多光谱成像和高
    发表于 12-04 11:49 727次阅读
    如何区分<b class='flag-5'>光谱</b>、多<b class='flag-5'>光谱</b>和高<b class='flag-5'>光谱</b>

    维材料层的共振拉曼光谱

      拉曼光谱一直是表征石墨烯、六方氮化硼或过渡金属硫属物 (TMD) 等维材料的最重要的测量技术之一。分析其拉曼光谱可以揭示有关层数、
    的头像 发表于 11-30 15:34 460次阅读
    <b class='flag-5'>二</b>维材料层的共振拉曼<b class='flag-5'>光谱</b>

    清华Ð提出首个光谱重建算法

    相比于常规的三通道 RGB 图像,高光谱图像包含几十上百个波段,从而捕获了关于成像场景更丰富的信息。也正因为这一重要特性,高光谱图像被广泛地应用于医疗,地形勘探,农业等领域。
    的头像 发表于 11-29 15:43 489次阅读
    <b class='flag-5'>清华</b>Ð<b class='flag-5'>提出首个</b><b class='flag-5'>二</b><b class='flag-5'>值</b><b class='flag-5'>化</b><b class='flag-5'>光谱</b><b class='flag-5'>重建</b><b class='flag-5'>算法</b>

    NeurIPS 2023 | AI Agents先行者CAMEL:首个基于大模型的多智能体框架

    顶级人工智能会议 NeurIPS 2023 录用。 论文题目: CAMEL: Communicative Agents for “Mind” Exploration of Large Scale Language Model Society 论文
    的头像 发表于 11-26 21:25 920次阅读
    <b class='flag-5'>NeurIPS</b> <b class='flag-5'>2023</b> | AI Agents先行者CAMEL:<b class='flag-5'>首个</b>基于大模型的多智能体框架

    CMU、MIT、清华联合发布全球首个生成式机器人智能体RoboGen

    CMU、MIT、清华联合发布了全球首个生成式机器人智能体RoboGen,可以无限生成数据,让机器人7*24小时永不停歇地训练。为机器人进入通用场景迈出坚实一步。
    的头像 发表于 11-09 10:19 1043次阅读