EDP Sciences logo
Submit your paper
Search
Menu
All issues Volume 42 / No 4 (August 2024) JNWPU, 42 4 (2024) 735-743 Full HTML
Open Access
Issue
JNWPU
Volume 42, Number 4, August 2024
Page(s) 735 - 743
DOI https://doi.org/10.1051/jnwpu/20244240735
Published online 08 October 2024

© 2024 Journal of Northwestern Polytechnical University. All rights reserved.

Licence Creative CommonsThis is an Open Access article distributed under the terms of the Creative Commons Attribution License (https://creativecommons.org/licenses/by/4.0), which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.

红外与可见光图像融合技术是多源传感器信息融合领域的重要分支[1]。红外图像主要反映物体自身热辐射, 不易受复杂条件(如光照、天气等)影响。而可见光图像具有较高的空间分辨率和丰富的细节信息, 相比于红外图像更符合人们视觉认知。通过图像融合技术可以使同一场景中既包含红外图像目标的对比度信息, 又能体现可见光图像丰富的细节纹理, 实现两者优势互补[2]。目前, 该技术已广泛应用于军事侦查[3]、医学分析[4]、安防监控[5]等领域。

红外与可见光图像融合算法可分为两大类[6]: 传统算法和基于深度学习的算法。传统算法通常需要设计合适的变换算法及融合规则来达到较好的融合效果。为提升融合结果的视觉表达能力, 众多学者引入多尺度变换(multi-scale transform, MST)思想, 通过多级分解获取图像尺度、分辨率不同的特征信息来提升图像融合效果。Li等[7]提出一种基于提升平稳小波变换和非下采样变换融合算法, 该方法可以使融合图像边缘清晰、目标突出, 同时具有较好的实时性。Ren等[8]提出一种基于特征分解的多尺度融合算法, 该方法能够较好地保留图像目标对比度以及细节信息, 并且符合人眼视觉效果。Li等[9]提出一种基于潜在低秩表示的多尺度分解融合算法, 该方法通过多级分解得到细节层和基础层, 分别采用核范数和加权平均策略进行融合, 从而较好地保留原始异源图像中显著特征和对比度信息。然而, 随着多尺度变换分解层数的增多, 噪声对高频融合结果的干扰更加强烈, 导致融合结果质量下降。

近年来, 由于深度学习具有一定的自适应性和抗噪能力[10], 在图像融合领域得到广泛关注。Ma等[11]提出FusionGAN算法, 利用生成器与鉴别器之间的对抗关系进行融合, 能够同时保留异源图像对比度和纹理信息, 且不受红外图像中噪声影响。Jian等[12]提出一种基于残差块网络的对称编解码融合算法, 该算法通过基于注意力权重的特征融合策略, 较好地保留红外图像的显著特征。Zhang等[13]设计一种基于卷积神经网络的融合框架, 以端到端方式进行训练, 并通过引入感知损失函数保留更多纹理信息, 从而获得符合人类视觉感知的融合图像。虽然基于深度学习的算法具有良好的融合效果, 但仍然存在以下缺陷[14]: ①有限的训练数据集会降低最终的融合精度及性能; ②利用损失函数进行融合虽然可以改善融合效果, 但算法实时性下降较为明显。

针对上述问题, 提出一种基于目标增强与鼠群优化的红外与可见光图像融合算法(infrared and visible image fusion method based on target enhancem-ent and rat swarm optimizer, TERSFuse)。本文主要贡献有:

1) 为解决红外图像清晰度相对较低的问题, 利用引导滤波与自适应伽马校正, 设计一种红外对比度增强模块, 从而增强红外图像的信息丰富度。

2) 为改善光线较暗情况下可见光图像边缘轮廓模糊的不足, 构建一种基于亮度感知的可见光图像增强模块, 对选取数据集中所有图像进行亮度判别, 并采用交替方向乘子法对低亮度图像进行处理, 从而增强可见光图像清晰度。

3) 为同时保留通过分解得到的高、低频融合图像中清晰度、对比度信息, 设计基于鼠群优化的图像重建模块, 通过鼠群优化算法(rat swarm optimizer, RSO)计算重构权重系数并进行自适应分配, 重建出符合人们视觉感知的融合图像。

1 TERSFuse算法介绍

1.1 算法流程

本文提出的TERSFuse算法原理如图 1所示。

1) 搭建红外对比度增强模块对红外图像进行增强。首先, 通过引导滤波将红外图像分解为细节层和基础层, 并分别对其进行灰度拉伸和加权分布自适应伽马校正; 其次, 将增强结果与红外图像边缘提取结果进行线性重构, 从而得到同时具有显著对比度和边缘轮廓细节的红外增强图像HIR。

2) 构建基于亮度感知的可见光图像增强模块对可见光图像进行增强。通过计算亮度值定义低亮度图像; 利用交替方向乘子法进行增强, 得到细节信息丰富的可见光增强图像HVIS。

3) 采用拉普拉斯金字塔对2种增强图像分别进行多尺度分解, 得到高频和低频图像。

4) 利用“最大绝对值”规则对高频图像进行融合, 通过计算融合权重系数对低频图像进行融合。

5) 构造基于图像视觉信息质量QAB/F、离散余弦特征互信息QFMI_dct和相关系数QCC的自适应目标函数, 通过RSO实现高低频图像重构权重自适应分配, 从而获得包含丰富原始信息的融合图像F。

thumbnail 图1

融合算法原理框图

1.2 图像增强模块

1) 红外对比度增强模块

针对原红外图像IIR因成像机制而导致图像清晰度低、边缘模糊等问题, 本文设计红外对比度增强模块。首先，利用引导滤波(guided image filtering, GIF)对红外图像进行分层处理[15], 得到基础层IIRb与细节层IIRd, 如(1)式所示。

其次, 对于基础层IIRb利用加权分布自适应伽马校正(adaptive gamma correction with weighting distribution, AGCWD)进行增强, 得到基础层增强结果EIRb。对于细节层IIRd引入灰度拉伸算法, 输出细节层增强结果EIRd, 表示为

式中: maxIIRd为细节层变换最大值; minIIRd为细节层变换最小值。通过canny算子对IIR进行边缘提取, 得到IIRe。最后，通过(3)式可以得到增强后的红外图像HIR。

2) 基于亮度感知的可见光图像增强模块

针对可见光图像IVIS因光照强度干扰难以有效表达目标特征, 造成融合图像质量低的问题, 本文设计基于亮度感知的可见光图像增强模块。

IVIS的物理模型可以描述为IVIS=L·R, L和R分别为光照率和反射率。根据贝叶斯定理, 模型可以看作后验分布P(L, R|IVIS)

式中: P(IVIS|L, R)为似然估计概率; P(L)为光照先验概率; P(R)为反射率先验概率。通过似然与先验建立目标函数E(L, R), 采用乘子交替方向法进行迭代, 获得局部最优解

式中: α=1 000, β=0.01, γ=0.1;‖·‖ι为ι-范数算子; ‖R·L-IVIS‖22为最小化估计(R·L)和图像IVIS之间的距离; ‖▽L‖22在光照L上强制空间平滑; ‖▽R‖1强制反射率R分段连续; ‖L-L0‖22避免缩放问题。采用快速傅里叶变换(fast Fourier transformation, FFT)加快算法处理速度, 第j次迭代下光照L表示为

式中: Δ为正常数; ▽h为水平方向梯度算子; ▽v为垂直方向梯度算子; T-1为逆FFT算子。

同理, 第j次迭代下反射率R表示为

式中: λ=10;dhj为第j次迭代下水平方向辅助变量; bhj-1为第j-1次迭代下水平方向误差。最终得到增强图像I′VIS, 公式为

假设所选取的数据集中图像共X张, 计算各个图像亮度平均值L, 如(10)~(11)式所示

式中: Lz为数据集中第z张原图像亮度; Rz, Gz和Bz分别为图像中包含红色、绿色和蓝色数值大小。最后通过(12)式输出增强结果。

1.3 MST图像分解

对红外和可见光图像分别利用拉普拉斯金字塔进行多尺度分解[16], 用高斯金字塔的每一层图像减去上采样, 并进行高斯卷积, 得到一系列分解图像

式中: l=2;LVISl为可见光增强图像进行分解后最后一层图像, 表示低频信息; LVISh为HVIS进行分解后第h层图像, 表示高频信息。同理可得红外增强图像分解结果

1) 高频图像融合规则

为保留原图像细节纹理信息, 利用“最大绝对值”融合规则进行融合, 得到高频融合图像Lh

2) 低频图像融合规则

为保留原图像对比度信息, 储存HIR中每个像素对应灰度值, 反映红外显著特征分布

低频图像融合权重表示为

式中: W∈[0, 1];η=10。最后通过公式(18)得到低频融合图像LFl

1.4 基于鼠群优化的图像重建模块

为了同时保留红外与可见光高、低频融合图像中清晰度和对比度信息, 提出一种基于鼠群优化的图像重建模块, 通过鼠群优化寻找重构权重系数ξ, 并生成最终融合图像F

重构权重系数ξ的寻找与确定分为2个步骤。

1) 目标函数的构建

选取视觉信息质量、离散余弦特征互信息和相关系数3个图像评价指标来构建目标函数, 设原红外图像和可见光图像分别表示为A和B, 图像大小为M×N, 表达式为

式中: QAB/F反映输入图像融合中获得视觉信息的质量, 通过(21)式得到

QFMI_dct为离散余弦特征互信息, 用于衡量特征信息的传递情况, 其定义为

式中: IFA为图像F中关于图像A的特征信息量; IFB为图像F中关于图像B的特征信息量; HF, HA, HB分别表示为基于图像F、图像A、图像B的直方图熵。

QCC为相关系数, 反映图像F与理想参考图像Y之间相关度, 可表示为

式中: F为融合图像像素平均值; Y为理想参考图像像素平均值。

2) 基于鼠群的自适应优化

鼠群优化算法(RSO)是Gaurav等[17]在2020年提出的一种自然元启发优化算法, 通过模拟自然界中老鼠追逐猎物与攻击猎物相互作用的过程, 以寻求最优解, 具有效率高、灵活性强、实现简单等优点。假设最优的搜索代理知道猎物的位置, 其余搜索代理可以根据目前获得的猎物位置对其进行更新, 本文搜索代理的数量设置为40。此外, G和C系数计算如(24)式所示。

式中: Imax=20;t为当前迭代次数, 且t=0, 1, 2, …, Imax; 参数T和C分别为[1, 5]和[0, 2]之间的随机数。为更新搜索代理的位置, 通过老鼠与猎物的战斗过程, 调整选择参数, 其数学定义描述如(25)~(26)式所示。

式中: ξk(t)为初始化位置, ξk(t+1)定义更新后的位置, 且k=1, 2, …, n; ξr(t)为最优解。随后检查是否有任何搜索代理超出搜索空间的边界限制, 若超出则对其进行修改, 并再次迭代计算更新个体适应度代入公式进行求解。如果满足设置目标函数的要求min{QAB/F+QFMI_dct+QCC}, 则优化结束, 输出重构权重系数ξ, 获得最终融合图像F, 否则继续进行迭代寻找最优解。

2 实验结果与分析

2.1 实验设置

为验证本文所提出TERSFuse融合算法优势, 在TNO数据集随机选取21组图像进行主观和客观评价。本文算法实验平台配置如表 1所示。

本文选择以下7种经典融合算法进行对比实验: 基于梯度和强度比例保持的算法(PMGI)[18]、基于卷积神经网络的方法(IFCNN)[13]、基于嵌套连接的融合算法(NestFuse)[19]、基于残差块网络的对称编解码图像融合算法(SEDRFuse)[12]、基于深度学习的生成对抗网络融合算法(FusionGAN)[11]、基于显著目标检测的方法(STDFusionNet)[20]、基于自编码网络的融合方法(DenseFuse)[21]。

实验中, 选取信息熵(EN)、空间频率(spatial frequency, SF)、平均梯度(AG)和自然场景分析(natual scene statistics, NSS)作为评价指标[22]。其中EN反映图像包含信息量丰富程度, 数值越大表明获得融合图像包含的信息量越大; SF反映图像在空间域内灰度变化率; AG用于衡量融合图像清晰程度, 平均梯度数值越大, 图像清晰度越好, 融合质量越好; NSS用于计算原图像与输出图像之间交互信息的多少。

表1

实验平台配置

2.2 消融实验

由于本文所提出的算法中分别构造红外对比度增强模块(模块A)和基于亮度感知的可见光图像增强模块(模块B), 并设计基于鼠群优化的图像重建模块(模块C)来提升融合算法的性能。因此, 为验证各模块作用, 进行消融实验, 通过不同模块独立或协同的融合实验, 分别计算TNO数据集中21组图像EN、SF、AG和NSS评价指标的平均数据以进行客观分析, 结果如表 2所示, 最优值用粗体表示。

从表 2可以看出, 分别引入红外对比度增强模块、基于亮度感知的可见光图像增强模块和基于鼠群优化的图像重建模块, 在EN、SF、AG、NSS指标上均有提升。本文所提算法在SF、AG和NSS方面处于最优值, EN指标为次优值, 表明融合图像包含丰富的信息量, 提高了图像清晰程度, 解决了由天气、环境因素或成像机制导致图像清晰度低、信息丢失等问题。

表2

21组图像不同模块独立或协同融合实验指标平均值

2.3 主观分析

从TNO数据集中随机选取21组图像, 与7种经典融合算法进行比较。由于篇幅限制, 通过对其中2组图像实验分析, 验证本文算法视觉效果, 并用红框标注显示融合图像之间的差异。

从图 2实验比较可以看出, 与其他7种算法相比, 本文算法保持了原红外图像中主要对比度信息, 有效地区分背景与目标, 并增强行人目标边缘轮廓, 提高图像质量, 更适合人类视觉感知效果。

根据图 3实验对比结果, IFCNN、NestFuse和STDFusionNet算法具有较强的提取全局信息能力, 但忽略红外图像中同样重要的对比度信息。PMGI、FusionGAN、DenseFuse和SEDRFuse算法中背景信息较为模糊, 不能有效保留树木纹理、人物轮廓等局部信息。而本文算法在保持细节与突出目标之间取得了较好的平衡。

thumbnail 图2

“行人”图像实验
thumbnail 图3

“烟雾后面的士兵”图像实验

2.4 客观分析

为进一步验证本文算法优越性, 选取EN、SF、AG和NSS指标对21组图像进行客观评价, 如表 3所示, 最优值用粗体表示。

由表中可以看出, 与其他7种对比算法相比, 本文提出的融合算法在改善图像质量上具有较好的效果。所提出算法具有最优的AG和SF数值，表明融合图像具有最佳的清晰度和最高的对比度。同时, 最大的EN数值表明融合图像具有更加细节的表达能力。对于NSS指标, 表明融合图像较好地模拟人类的视觉机制, 比较结果如图 4所示。

其中, 本文选取IFCNN、NestFuse和DenseFuse算法对增强处理后的数据集进行融合。根据实验对比结果显示, 所得融合图像在4个指标数值均有明显提升, 但均低于本文所提方法融合图像质量指标。

综上所述, 本文所提融合算法相较其他7种对比算法具有明显优势。

表3

21组融合图像评价指标平均值

thumbnail 图4

不同融合算法客观指标平均值对比

3 结论

本文提出了一种基于目标增强与鼠群优化的红外与可见光图像融合算法, 该算法有效地解决了现有算法难以实现目标清晰、同时包含原图像中对比度和边缘纹理的问题。为了增强图像特征的表达能力, 提出了红外对比度增强模块与基于亮度感知的可见光图像增强模块, 使得本文算法在保留原图像中重要信息的基础上, 提高目标对比度, 并突出各种细节; 同时, 设计了一种基于鼠群优化的图像重构模块, 进一步实现高频图像和低频图像重构权重的自适应分配, 提高融合图像视觉效果。

实验结果表明, 与7种融合算法相比, 本文提出的TERSFuse算法具有较好的主观和客观评价效果, 不仅能够突出图像中重要目标, 而且有效保留了异源图像中的丰富信息。

References

  1. WANG Feng, CHENG Yongmei, LI Song, et al. Remote sensing image fusion algorithm based on multi-feature[J]. Journal of Northwestern Polytechnical University, 2015, 33(3): 489–494. [Article] (in Chinese) [Google Scholar]
  2. WANG Feng, CHENG Yongmei. Image fusion method based on JBF and multi-order local region energy[J]. Journal of Northwestern Polytechnical University, 2022, 40(6): 1414–1421. [Article] (in Chinese) [NASA ADS] [CrossRef] [EDP Sciences] [Google Scholar]
  3. WANG Feng, CHENG Yongmei, LI Hui. Image fusion algorithm of focal region detection and TAM-SCM based on SHT domain[J]. Journal of Northwestern polytechnical university, 2019, 37(1): 114–121. [Article] (in Chinese) [CrossRef] [EDP Sciences] [Google Scholar]
  4. SUN Changqi, ZHANG Cong, XIONG Naixue. Infrared and visible image fusion techniques based on deep learning: a review[J]. Electronics, 2020, 9(12): 2162–2185. [Article] [CrossRef] [Google Scholar]
  5. AN Ying, HAO Zhao, HUO Zhaohui. Infrared and visible image fusion based on two-scale decomposition and improved saliency detection[J]. Journal of Physics: Conference Series, 2021, 1856(1): 012058–012065. [Article] [CrossRef] [Google Scholar]
  6. QIAN Kun, LI Tianyu, LI Zhe, et al. Infrared and visible image fusion algorithm based on split-attention residual networks[J]. Journal of Northwestern Polytechnical University, 2022, 40(6): 1404–1413. [Article] (in Chinese) [NASA ADS] [CrossRef] [EDP Sciences] [Google Scholar]
  7. LI Junwu, LI Binhua, JIANG Yaoxi. An infrared and visible image fusion algorithm based on LSWT-NSST[J]. IEEE Access, 2020, 8: 179857–179880. [Article] [CrossRef] [Google Scholar]
  8. REN Long, PAN Zhibin, CAO Jianzhong, et al. Infrared and visible image fusion based on edge-preserving guided filter and infrared feature decomposition[J]. Signal Processing, 2021, 186(2): 108108–108129 [NASA ADS] [CrossRef] [Google Scholar]
  9. LI Hui, WU Xiaojun, KITTLER J. MDLatLRR: a novel decomposition method for infrared and visible image fusion[J]. IEEE Trans on Image Processing, 2020, 29: 4733–4746. [Article] [NASA ADS] [CrossRef] [Google Scholar]
  10. LIU Yu, CHEN Xun, WANG Zengfu, et al. Deep learning for pixel-level image fusion: recent advances and future prospects[J]. Information Fusion, 2018, 42: 158–173. [Article] [CrossRef] [Google Scholar]
  11. MA Jiayi, YU Wei, LIANG Pengwei, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2018, 48: 11–26 [Google Scholar]
  12. JIAN Lihua, YANG Xiaomin, LIU Zheng, et al. SEDRFuse: a symmetric encoder-decoder with residual block network for infrared and visible image fusion[J]. IEEE Trans on Instrumentation and Measurement, 2021, 70: 13–87 [Google Scholar]
  13. ZHANG Yu, LIU Yu, SUN Peng, et al. IFCNN: a general image fusion framework based on convolutional neural network[J]. Information Fusion, 2020, 54: 99–118. [Article] [CrossRef] [Google Scholar]
  14. HAO Shuai, HE Tian, MA Xu, et al. NOSMFuse: an infrared and visible image fusion approach based on norm optimization and slime mold architecture[J]. Applied Intelligence, 2022, 53(5): 5388–5401 [Google Scholar]
  15. GUO Zhaoyang, YU Xiantao, DU Qinglei. Infrared and visible image fusion based on saliency and fast guided filtering[J]. Infrared Physics and Technology, 2022, 123(3): 104178–104186 [NASA ADS] [CrossRef] [Google Scholar]
  16. CHEN Jun, LI Xuejiao, LUO Linbo, et al. Infrared and visible image fusion based on target-enhanced multiscale transform decomposition[J]. Information Sciences, 2020, 508(4): 64–78 [CrossRef] [Google Scholar]
  17. GAURAV D, MEENAKSHI G, ATULYA N, et al. A novel algorithm for global optimization: rat swarm optimizer[J]. Journal of Ambient Intelligence and Humanized Computing, 2020, 12(10): 8457–8482 [Google Scholar]
  18. ZHANG Hao, XU Han, XIAO Yang, et al. Rethinking the image fusion: a fast unified image fusion network based on proportional maintenance of gradient and intensity[C]//Proceedings of the AAAI Conference on Artificial Intelligence, 2020 [Google Scholar]
  19. LI Hui, WU Xiaojun, DURRANI T. NestFuse: an infrared and visible image fusion architecture based on nest connection and spatial/channel attention models[J]. IEEE Trans on Instrumentation and Measurement, 2020, 69(12): 9645–9656 [CrossRef] [Google Scholar]
  20. MA Jiayi, TANG Linfeng, XU Meilong, et al. STDFusionNet: an infrared and visible image fusion network based on salient target detection[J]. IEEE Trans on Instrumentation and Measurement, 2021, 70: 1–13 [CrossRef] [Google Scholar]
  21. LI Hui, WU Xiaojun. DenseFuse: a fusion approach to infrared and visible images[J]. IEEE Trans on Image Processing, 2018, 28(5): 2614–2623 [Google Scholar]
  22. YANG Yanchun, LI Jiao, WANG Yangping. Review of image fusion quality evaluation methods[J]. Journal of Frontiers of Computer Science and Technology, 2018, 12(7): 1021–1035 (in Chinese) [Google Scholar]

All Tables

表1

实验平台配置

In the text
表2

21组图像不同模块独立或协同融合实验指标平均值

In the text
表3

21组融合图像评价指标平均值

In the text

All Figures

thumbnail 图1

融合算法原理框图
In the text
thumbnail 图2

“行人”图像实验
In the text
thumbnail 图3

“烟雾后面的士兵”图像实验
In the text
thumbnail 图4

不同融合算法客观指标平均值对比
In the text

Current usage metrics show cumulative count of Article Views (full-text article views including HTML views, PDF and ePub downloads, according to the available data) and Abstracts Views on Vision4Press platform.

Data correspond to usage on the plateform after 2015. The current usage metrics is available 48-96 hours after online publication and is updated daily on week days.

Initial download of the metrics may take a while.