0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于结构与分解的红外光强与偏振图像融合

MEMS 来源:红外芯闻 2023-06-01 09:34 次阅读

在一些特定环境下,红外传感器无法探测到目标时,需要将偏振技术与红外技术相融合。为了获得更清楚的融合图像,可采用一种基于多尺度结构分解的图像融合方法实现红外光强与偏振图像融合。

据麦姆斯咨询报道,近期,西安工程大学电子信息学院的科研团队在《红外技术》期刊上发表了以“基于结构与分解的红外光强与偏振图像融合”为主题的文章。该文章第一作者为陈锦妮硕士生导师,主要从事信息与信号处理方面的研究工作;通讯作者为陈宇洋,主要从事图像融合方面的研究工作。

本文提出一种反正切权值函数与应用在红外与可见光图像融合算法相结合,通过均值滤波器,将图块级的融合转换成图像级的融合,在不同尺度下通过不同权值,充分提取基础层与细节层中的特征,有效地提高融合图像的对比度、保留更多的纹理细节、提升了客观指标。

多尺度图像分解融合方法原理

本文研究一种基于多尺度结构分解的红外光强与偏振图像融合方法。首先,多尺度的优势可以在融合图像中感知信息结构、抑制目标周围的伪影。其次,将红外光强与偏振图像通过滑动窗口进行精确图像分解与融合,并且转换为图像级滤波融合,可以降低计算复杂度。

多尺度图像分解的基本框架

结构图块分解的基本思想是将一个大小为k × k的图像块分解为3个概念上独立的部分:平均强度、信号强度和信号结构。在平均强度融合方面,采用加权平均计算强度分量,以使红外信息与偏振信息都能在融合图像中得到体现。一般采取两张输入图像进行融合。

控制权重函数非线性曲线如图1所示。不同的目标物在不同环境下的红外特性与偏振特征不同,所反应出红外光强与偏振图像的平均强度各有高低,通过不同λ的选择,可以扩大红外光强和偏振图块平均强度的权重差。λ较大表示更多偏振特征可以在融合结果中得到体现,目标的偏振特征也会得到增强。

b339d832-0018-11ee-90ce-dac502259ad0.jpg

图1 控制权重函数非线性曲线

信号强度的融合结果将会直接影响到图像的局部对比度。信号强度越大,图像的对比度将会越强、细节更清晰。通过独立融合的平均强度、信号强度、信号结构的3个分量,逆分解可以计算出局部融合图块xˆ。

图块级转换成图像级滤波融合

图块级融合通常可以通过滑动窗口实现,对每个图块进行相应的分解融合,然后放回原处,在图像重叠处采用像数平均原则,在选择较大尺寸的图块时图块级的分解与融合计算代价非常高。为了解决计算代价过高的问题,本文将图块级的分解融合转换成图像级的滤波融合。

多尺度结构分解方法

了进一步解决融合图像中目标边缘模糊和细节丢失等问题,本文采用多尺度的方法,可以让不同尺度上的特征与细节得到充分的利用,文中采取的多尺度方法与Li H的方法一致。通过下采样可以将图片分解成J层,其中包括J-1层细节层和一层基础层。算法再分解尺度为4时的融合过程如图2所示。当中第一行和第三行分别是4种尺度下的红外图像与偏振图像,第二行展示不同尺度下的融合过程与最终的融合结果。

b340c12e-0018-11ee-90ce-dac502259ad0.jpg

图2 展示多尺度结构分解算法在J=4时的融合过程

融合图像主客观分析

在进行图像评价之前,应该确定本算法中参数λ。进行6组不同λ参数的融合对比实验,根据实验结果,当λ=5时,本算法在7项评价指标中4项领先,所以这里采用λ=5。分解层数J是由图像的H和W与一个可变常数T所自适应确定,这里约定使用T=3,细节层为2×2,中间层与基础层分别为2×2与1×1,表1详细说明本算法在5组融合图像下不同融合参数的平均质量评价。从中可以看到当λ=5时算法在信息熵(EN)、视觉保真度(VIF)、多尺度结构相似度测量(MS_SSIM)、结构相似度测量(SSIM),4种指标上取得优势,而其它的指标也有不俗的表现。

表1 5组融合图像下不同λ的平均质量评价

b348ca9a-0018-11ee-90ce-dac502259ad0.jpg

主观评价

选取常见数据集中的5组图像进行相应的融合,并对比8种多尺度算法在红外偏振融合的结果,其中包括CP、DWT、GP、LP、PCA、RP、SIDWT以及本文所提出的算法。如图3~图7所示。

b34db38e-0018-11ee-90ce-dac502259ad0.jpg

图3 Airport在8种多尺度融合算法的结果图:(a)红外图像;(b)偏振图像;(c)对比度金字塔;(d)离散小波变换;(e)梯度金字塔;(f)拉普拉斯金字塔;(g)主成分分析;(h)低通金字塔;(i)平移不变小波变换;(j)本文算法

b356c32a-0018-11ee-90ce-dac502259ad0.jpg

图4 Road在8种多尺度融合算法的结果图:(a)红外图像;(b)偏振图像;(c)对比度金字塔;(d)离散小波变换;(e)梯度金字塔;(f)拉普拉斯金字塔;(g)主成分分析;(h)低通金字塔;(i)平移不变小波变换;(j)本文算法

b362588e-0018-11ee-90ce-dac502259ad0.jpg

图5 Car在8种多尺度融合算法的结果图:(a)红外图像;(b)偏振图像;(c)对比度金字塔;(d)离散小波变换;(e)梯度金字塔;(f)拉普拉斯金字塔;(g)主成分分析;(h)低通金字塔;(i)平移不变小波变换;(j)本文算法

b36a2546-0018-11ee-90ce-dac502259ad0.jpg

图6 Windows在8种多尺度融合算法的结果图:(a)红外图像;(b)偏振图像;(c)对比度金字塔;(d)离散小波变换;(e)梯度金字塔;(f)拉普拉斯金字塔;(g)主成分分析;(h)低通金字塔;(i)平移不变小波变换;(j)本文算法

b3735d00-0018-11ee-90ce-dac502259ad0.jpg

图7 Outdoor在8种多尺度融合算法的结果图:(a)红外图像;(b)偏振图像;(c)对比度金字塔;(d)离散小波变换;(e)梯度金字塔;(f)拉普拉斯金字塔;(g)主成分分析;(h)低通金字塔;(i)平移不变小波变换;(j)本文算法

从5组融合图像中可以得知,通过CP算法融合的图像,容易产生噪声,并且大部分在图像中出现噪声,部分图像目标周围出现伪影。DWT的融合思想,首先对源图像进行变换,然后按照一定规则对变换系数进行合并,最后对合并后的系数进行逆变换得到融合图像。而DWT目标周围发生严重的伪影,以及少部分的纹理丢失。

GP与LP都是基于金字塔的多尺度分解方法,将源图像分别分解到不同的空间频带上,融合过程是在各空间频率层上分别进行的,这样就可以针对不同分解层的不同频带上的特征与细节,采用不同的融合算子以达到突出特定频带上特征与细节的目的。PCA融合结果整体平滑,但将关键偏振信息丢失。

RP融合通过许多低频信息,导致融合图中存在许多噪声导致融合结果不清晰。SIDWT也是采用不同的融合策略将高频信息与低频信息分别融合,最后逆变换获得最终图像,整体融合结果对比度较低。最后本文所改进的算法,在红外光强与偏振图像的融合中,图像对比度得到整体提高以及更多的纹理信息,且目标周围伪影得到有效处理。

客观评价

除了主观评价之外,为了对此方法与其他融合方法进行定量对比,选取7种图像质量的评价指标,其中包括:EN信息熵、QAB/F基于梯度的融合性能、差异相关(SCD)、标准差(SD)、VIF视觉保真度、MS_SSIM多尺度结构相似度测量、SSIM结构相似度测量,评价指标的具体数值如表2所示。EN主要是度量图像包含信息量多少的评价指标;QAB/F代表图像边缘的保留程度;SCD的值度量融合后图像与源图像差异性,并且与人类视觉主观评价相似;SD代表图像的灰度级分布;VIF用于量化整个图像的信息保真度;所选取7个评价指标的数值越大,代表融合图像的质量越好。

表2 融合图像的客观评价指标

b37d4e8c-0018-11ee-90ce-dac502259ad0.jpg

结论

本文根据传统多尺度融合方法在红外光强与偏振图像中存在的对比度低、目标偏振特征不明显、纹理细节不够清晰等问题,提出一种反正切函数作为权重函数与多尺度结构分解相结合的融合算法应用在红外光强与偏振融合中。详细说明多尺度结构分解的融合算法,将图块级融合的方式转换为图像级的滤波融合。然后通过参数实验结果对比,选取较好的融合参数进行融合。

在主观上具有较好的效果,提高融合图像整体对比度,有效地抑制了目标周围伪影以及保留了更多的纹理细节。在常用的公共数据集中进行主观评价与客观评价,实验结果表明,本方法具有良好的主观视觉效果,有效解决融合图像对比低、目标偏振特征不突出、纹理细节不够清晰、目标伪影等问题,并且在与传统多尺度算法的7种客观评价指标的比较中取得4种指标领先的结果,说明该算法在红外与偏振的融合图像中具有较多优势以及多场景的适应性与稳定性。






审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 红外传感器
    +关注

    关注

    9

    文章

    508

    浏览量

    47481
  • PCA
    PCA
    +关注

    关注

    0

    文章

    88

    浏览量

    29530
  • SCD
    SCD
    +关注

    关注

    0

    文章

    9

    浏览量

    10194
  • DWT
    DWT
    +关注

    关注

    0

    文章

    20

    浏览量

    11119

原文标题:基于结构与分解的红外光强与偏振图像融合

文章出处:【微信号:MEMSensor,微信公众号:MEMS】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    如何使用便携式矿物红外光谱仪进行野外勘测

    在地质勘探领域,便携式矿物红外光谱仪成为了野外勘测的得力工具。它能够快速、准确地识别矿物种类,为地质学家和勘探人员提供重要的信息。那么,究竟如何使用便携式矿物红外光谱仪进行野外勘测呢?本文将为你详细
    的头像 发表于 10-31 17:13 76次阅读
    如何使用便携式矿物<b class='flag-5'>红外光</b>谱仪进行野外勘测

    红外光电远距离传感器TYPE:E3K-M5DDK-S原理采用什么方式

    红外光电远距离传感器通过发射红外光束并接收其反射信号来测量目标物体的距离,其原理基于红外线的物体反射和接收以及相应的信号处理技术。
    的头像 发表于 09-25 14:36 134次阅读

    集群智慧,防干扰先锋 ——集群版红外光栅的应用革新

    在安全防护领域,红外光栅探测器作为一项关键技术,广泛应用于门窗、通道等防入侵场景。然而,传统红外光栅在密集安装时易受相互干扰,导致误报频发,这一问题始终困扰着安防行业。 面对这一挑战,广州艾礼富电子
    的头像 发表于 08-20 09:12 196次阅读
    集群智慧,防干扰先锋 ——集群版<b class='flag-5'>红外光</b>栅的应用革新

    中科爱毕赛思红外光电探测技术,打破高端市场“卡脖子”困境

    “超晶格红外光电探测,如同照相机通过可见光感知事物,但它是通过红外手段来感知世界的……”在中科爱毕赛思(常州)光电科技有限公司(以下简称“中科爱毕赛思”),工作人员这样介绍公司的核心产品——超晶格红外光电探测技术。
    的头像 发表于 05-30 09:14 1.7w次阅读
    中科爱毕赛思<b class='flag-5'>红外光</b>电探测技术,打破高端市场“卡脖子”困境

    南方科技大学成功研制室温片上微型红外光谱仪

    红外光谱仪在工业和实验室中有着重要的应用价值。然而,传统红外光谱仪(如光栅分光式、傅里叶变换式红外光谱仪)体积庞大、造价高昂且需要液氮制冷,这极大地限制了红外光谱仪在便携式设备上等更广
    的头像 发表于 05-10 09:08 555次阅读
    南方科技大学成功研制室温片上微型<b class='flag-5'>红外光</b>谱仪

    便携式矿物分析红外光谱仪

    ,尤其是便携式红外光谱仪,已经成为地球科学家的重要工具。这类设备不仅改善了矿物探测的效率,也极大地提升了现场分析的能力。 什么是红外光谱分析? 红外光谱分析是一种利用物质吸收红外光的特
    的头像 发表于 05-07 15:49 363次阅读
    便携式矿物分析<b class='flag-5'>红外光</b>谱仪

    深度学习在偏振图像融合领域的研究进展与现状

    基于多尺度变换(MST)的偏振图像融合方法研究开始较早且应用广泛。2016年,中北大学提出一种红外偏振与强度
    发表于 03-11 11:17 1069次阅读
    深度学习在<b class='flag-5'>偏振</b><b class='flag-5'>图像</b><b class='flag-5'>融合</b>领域的研究进展与现状

    偏振成像技术分为哪几类?分别有何特点?

    偏振成像可以获取目标的空间、光强以及偏振信息,由目标物体发出或反射的光线携带的偏振信息
    的头像 发表于 03-01 10:31 898次阅读

    红外与可见光图像融合方法综述

    图像融合旨在将来自不同源图像的互补信息融合在一起,生成一幅具有更高质量、更多信息量和更清晰的图像红外
    的头像 发表于 02-22 09:35 3509次阅读
    <b class='flag-5'>红外</b>与可见光<b class='flag-5'>图像</b><b class='flag-5'>融合</b>方法综述

    红外光谱仪的原理 近红外光谱仪的采样方式

    科学、制药和食品行业等领域。本文将详细介绍近红外光谱仪的原理,以及不同的采样方式。 近红外光谱仪的原理 近红外光谱的波长范围通常为800 nm到2500 nm,其吸收峰对应的频率正好与物质的化学键振动频率相近,因此可以通过测量样
    的头像 发表于 02-04 16:52 1669次阅读

    傅里叶红外光谱仪的用途 傅里叶红外光谱仪的工作原理及基本结构

    或发射来获得样品的红外光谱信息,以分析样品的成分和结构。傅里叶光谱仪具有高分辨率、高灵敏度、宽波长范围和量化能力强等优势,在科学研究、工业控制和生产监测等领域发挥着重要作用。 傅里叶红外光谱仪的工作原理是基于傅里叶变换的原理。傅
    的头像 发表于 02-01 13:43 1901次阅读

    片上红外偏振探测研究进展

    拓扑材料因其独特的电子能带结构而表现出新颖的光电现象。拓扑材料在线偏振光和圆偏振光下产生显著的光电流。这些现象分别被称为线性光电流效应(LPGE)和环形光电流效应(CPGE)。
    的头像 发表于 01-31 11:41 931次阅读
    片上<b class='flag-5'>红外</b><b class='flag-5'>偏振</b>探测研究进展

    红外光谱仪是干什么用的 近红外光谱仪使用方法

    红外光谱仪是一种用于测量物质在近红外波段的吸收和散射性质的仪器。近红外光谱仪的原理基于光的互作用和物质的分子结构之间的相互关系,能够提供物质分子的
    的头像 发表于 01-25 13:43 2214次阅读

    苹果公司获Vision Pro头显专利:运用红外偏振光改善眼部功能

    传统的眼睛追踪装置并不采用偏振光,因此容易受到如睫毛、眼皮反射等干扰,影响虹膜识别及眼球/目光追踪的精度。为此,苹果提出使用偏振红外(IR)光以改进这一问题。
    的头像 发表于 01-04 14:32 711次阅读
    苹果公司获Vision Pro头显专利:运用<b class='flag-5'>红外</b><b class='flag-5'>偏振</b>光改善眼部功能

    3D结构光内部硬件拆解

    无论是结构光、TOF还是双目立体成像方案,主要的硬件包括红外光发射器、红外光摄像头、可见光摄像头和图像处理芯片四部分,红外摄像头需要特制的窄
    的头像 发表于 11-13 16:11 797次阅读
    3D<b class='flag-5'>结构</b>光内部硬件拆解