推荐星级：
- 1
- 2
- 3
- 4
- 5
基于视觉显著性和NSCT的红外与可见光图像融合
资料介绍
结合非下采样轮廓波变换的平移不变性,提出了一种基于视觉显著性的红外与可见光图像融合算法。首先,利用引导滤波器改进显著性检测算法并将其用于红外图像;然后,对红外图像和可见光图像进行非下采样轮廓波变换以得到各自的低频与高频子带;最后,在低频与高频子带的融合中分别采用红外图像显著性指导法与绝对值取大法。实验结果表明,与多种相关算法相比,该算法所得融合图像在突出红外目标的同时还具有丰富的可见光背景信息,具有更好的视觉融合效果和客观质量评价。
部分文件列表
| 文件名 | 大小 |
| 基于视觉显著性和NSCT的红外与可见光图像融合.pdf | 2M |
部分页面预览
（完整内容请下载后查看）第46 卷 第2 期
2017年3月
电 子 科 技 大 学 学 报
Vol.46 No.2
Mar. 2017
Journal of University of Electronic Science and Technology of China
基于视觉显著性和NSCT的红外与可见光图像融合
傅志中，王 雪，李晓峰，徐 进
(电子科技大学通信与信息工程学院 成都 611731)
【摘要】结合非下采样轮廓波变换的平移不变性，提出了一种基于视觉显著性的红外与可见光图像融合算法。首先，利
用引导滤波器改进显著性检测算法并将其用于红外图像；然后，对红外图像和可见光图像进行非下采样轮廓波变换以得到各
自的低频与高频子带；最后，在低频与高频子带的融合中分别采用红外图像显著性指导法与绝对值取大法。实验结果表明，
与多种相关算法相比，该算法所得融合图像在突出红外目标的同时还具有丰富的可见光背景信息，具有更好的视觉融合效果
和客观质量评价。
关 键 词 引导滤波器; 图像融合; 非下采样轮廓波变换; 显著性
中图分类号 TP391
文献标志码
A
doi:10.3969/j.issn.1001-0548.2017.02.007
Infrared and Visible Image Fusion Based on Visual Saliency and NSCT
FU Zhi-zhong, WANG Xue, LI Xiao-feng, and XU Jin
(School of Communication and Information Engineering, University of Electronic Science and Technology of China Chengdu 611731)
Abstract An infrared and visible image fusion algorithm is proposed based on visual saliency and
non-subsampled contourlet transform (NSCT). At first, the frequency tuned saliency detection method is improved
by guided filter and applied to detect the saliency of infrared image. Then the infrared and visible light images are
decomposed into low frequency and high-frequency sub-bands by NSCT. Finally the saliency map of infrared
image is used to guide the fusion in low frequency sub-band, and the rule of maximum absolute value selection is
used for the fusion in high frequency sub-band. Experimental results demonstrate that compared to several other
algorithms, the proposed method highlights the IR targets and at the same time makes the fusion images have rich
background information, and better visual fusion effects and objective quality evaluations are obtained.
Key words guided filter; image fusion; NSCT; saliency
图像融合是指将同一场景下不同模式的传感器
或同一种传感器在不同时刻或方式下获得的几幅图
像合成一幅包含所有输入图像中人们感兴趣的信息
图像处理方法[1]。红外与可见光图像融合是多源图
像融合的一个重要分支，它将红外图像的目标探测
特性与可见光图像的场景保持特性相结合，既可克
服单一可见光图像对光照条件的强依赖性，又能克
服单一红外图像对比度低、背景模糊的缺点。利用
图像融合技术将红外与可见光图像进行融合，可以
提高图像理解和识别效率，在军事、视频监控、医
变换(non-subsampled shearlet, NSST))等为代表的多
尺度分析工具已经成功应用于图像融合领域[3]。其
中NSCT[4]不仅具有多尺度、多方向特性，还具有良
好的空域和频域局部特性，能够更好地捕获图像中
重要的几何特征。由于NSCT良好的稀疏性能和工程
化的实现方式，其作为一种十分有效的多尺度分析
工具得到广泛应用。
近年来，随着视觉显著性成为研究热点，国内
外学者们提出了多种显著性模型[5]，有学者将其应
用到图像融合领域[6-9]，取得了较好的效果。文献[6]
疗和消防等领域有着重要的研究价值和应用前景[2]。 提出了一种基于马尔可夫随机场模型的红外图像显
多尺度分析提供了一种具有灵活局部性和方向
性的多分辨图像表示方法。近年来，随着多尺度分
析工具的发展，以小波变换及其一系列改进方案(例
如非下采样轮廓波变换(NSCT)与非下采样剪切波
著性检测方法，并将其运用于图像监控系统中的红
外与可见光图像融合，但其融合图像中容易产生伪
影。文献[7]利用频谱冗余显著性检测方法(spectral
residual, SR)[10]检测红外和可见光图像的显著性，提
收稿日期：2015 − 08 − 05；修回日期：2015 − 12 − 04
基金项目：国家自然科学基金面上项目(61075013, 61671126)
作者简介：傅志中(1970 − )，男，博士，副教授，主要从事图像处理、模式识别方面的研究.
电 子 科 技 大 学 学 报
第46 卷
358
欧式距离计算。
出了一种基于感兴趣区域检测和NSCT的红外与可
见光图像融合算法。红外图像与自然场景下的图像
相比图像分辨率较低，将SR显著性检测方法用于红
外图像时显著性检测效果不够理想。文献[8]对红外
与可见光图像应用显著性检测(luminance contrast,
LC)算法[11]，提出了基于显著性分析和图像多尺度边
缘保持分解的红外与可见光图像融合算法。文献[9]
在文献[8]的基础上，运用frequency-tuned(FT)算法[12]，
结合基于L1-L0梯度的图像分解技术[9]，提出了一种
改进的红外与可见光图像融合算法。文献[8-9]具有
较好的目标保持特性，然而由于非显著性区域也可
能由于具有较大的显著性值而被视为显著性区域，
融合后的图像丢失了较多的背景细节成分。
1.2 图像引导滤波器
图像引导滤器(guided filter)[13]是一个线性移变
滤波器。设输入图像为 p ，引导图像为I ，滤波器
输出图像为q ，其中引导图像I 根据不同应用设定，
可以直接取为输入图像 p 。图像引导滤波的计算公
式为：
qi = W (I)p j
(2)
ij
∑
j
式中，i 和 j 为像素索引值；W 为滤波核函数，其
ij
表达式为：
(I − μ )(I − μ )
⎛
⎜
⎝
⎞
⎟
⎠
1
ω 2
i
k
j
k
W (I) =
1+
(3)
ij
∑
σk2 +ε
k:(i, j)∈ωk
针对这些问题，本文利用图像引导滤波器[13]良
好的滤波特性和边缘保持特性，对FT算法进行了改
进，并且结合NSCT的平移不变性，提出了一种基于
改进FT和NSCT的红外与可见光图像融合算法。
式中，ω 为窗口内的像素个数；ωk 为第k 个核函数
窗口；μk 和σk2 是引导图像I 在窗口内的均值和方
差；ε 为平滑因子。
1.3 红外图像的显著性检测
原FT算法[12]利用高斯模糊滤波器对输入图像
进行了模糊处理。相对于高斯核函数，引导滤波核
函数使用了邻域内的像素均值和方差作为局部估
计，能够根据图像内容自适应调整输出权值，具有
良好的边缘保持和细节增强性能。本文在FT算法的
基础上，利用引导滤波器对其进行了改进：
1 基于引导滤波器改进的红外图像显
著性检测算法
1.1 Frequency-tuned显著性检测
Frequency-tuned[12]显著性检测算法提出了5点
要求：1) 突出最显著目标；2) 均匀地突出整体的显
著性区域；3) 能较好地定义显著目标的边界；4)忽
略来自纹理、噪声和块效应的高频成分；5)有效地
输出全分辨率的显著性图。
S(x, y) = Iμ − IGuided (x, y)
(4)
式中，IGuided (x, y) 为输入图像I 经过引导滤波后的输
出。本文中引导图像与输入图像I 相同。
为了实现上述要求，FT算法采用高斯差分滤波
方法，经过分析选择频率范围(0,π 2.75] 来实现[12]。
对于一幅输入图像 ，其显著性图计算为：
图1为红外图像经过不同显著性检测方法得到
的显著性图，其中SR方法、LC方法及FT方法分别为
文献[7-9]中所应用的显著性检测算法。通过比较可
以看出，本文改进的显著性检测方法既提取出了红
外图像的目标信息又保持了其边缘细节，同时充分
抑制了红外图像的背景信息。
S(x, y) = Iμ − Iwhc (x, y)
式中， Iμ 为输入图像 I 中所有像素的平均值；
whc (x, y) 为输入图像I 经过高斯模糊滤波(窗口大小
取5×5 )之后在像素位置(x, y) 处的像素值； ⋅ 采用
(1)
I
a. 原图
b. SR方法结果
c. LC方法结果
d. FT方法结果
e.本文方法结果
图1 红外图像的显著性检测
算法进行改进，再运用改进后的显著性检测算法检
测红外图像的显著性图；然后分别对红外图像和可
见光图像进行NSCT变换，利用红外图像的显著性图
指导低频子带系数的融合，高频子带系数采用绝对
2 基于显著性指导的红外与可见光图
像融合算法
本文首先应用引导图像滤波器对显著性检测FT
全部评论(0)