推荐星级：
- 1
- 2
- 3
- 4
- 5
改进残差块和对抗损失的GAN图像超分辨率重建
资料介绍
图像超分辨率(Super Resolution,SR)重建是计算机视觉领域中提高图像和视频分辨率的一种重要图像处理技术,针对基于深度学习的图像重建模型层次过多以及梯度传输困难导致训练时间长、重建图像视觉效果不理想的问题,本文提出了一种改进残差块和对抗损失的GAN(Generative Adversarial Networks)图像超分辨率重建模型.首先,在模型结构上,设计剔除多余批规范化操作的残差块并组合成生成模型,将深度卷积网络作为判别模型把控重建图像的训练方向,以减少模型的计算量;然后,在损失函数中,引入Earth-Mover距离设计对抗损失以缓解模型梯度消失的问题,采用L1距离作为重建图像与高分辨率图像相似程度的度量以指导模型权重更新来提高重建视觉效果.在DIV2K、Set5、Set14数据集上的实验结果表明:该模型剔除多余批规范化后的训练时间相比改进前模型减少约14%并有效提高图像的重建效果,结合Earth-Mover距离与L1距离的损失函数有效地缓解了梯度消失的问题.模型相较于双三次插值、SRCNN、VDSR、DSRN模型,提高了对低分辨率图像的超分辨率重建效率和视觉效果.
部分文件列表
| 文件名 | 大小 |
| 改进残差块和对抗损失的GAN图像超分辨率重建.pdf | 2M |
部分页面预览
（完整内容请下载后查看）Vol. 51 No. 11
Nov． 2019
51
11
期
哈
尔
滨
工
业
大
学
学
报
第
卷
第
2 0 1 9
11
月
年
JOURNAL OF HARBIN INSTITUTE OF TECHNOLOGY
j． issn．
DOI: 10． 11918 /
0367-6234． 201812115
GAN
改进残差块和对抗损失的
图像超分辨率重建
， ， ，
张杨忆 林 泓 管钰华 刘 春
(
，
武汉理工大学 计算机科学与技术学院 武汉
430063)
:
( Super Resolution，SR) ，
重建是计算机视觉领域中提高图像和视频分辨率的一种重要图像处理技术 针
摘
要
图像超分辨率
对基于深度学习的图像重建模型层次过多以及梯度传输困难导致训练时间长 重建图像视觉效果不理想的问题 本文提出了
GAN( Generative Adversarial Networks)
、
，
． ， ，
图像超分辨率重建模型 首先 在模型结构上 设计剔除
一种改进残差块和对抗损失的
多余批规范化操作的残差块并组合成生成模型 将深度卷积网络作为判别模型把控重建图像的训练方向 以减少模型的计算
Earth-Mover L1
距离作为重建图像与高分
，
，
;
，
，
，
量 然后 在损失函数中 引入
辨率图像相似程度的度量以指导模型权重更新来提高重建视觉效果 在
14%
距离设计对抗损失以缓解模型梯度消失的问题 采用
．
DIV2K、Set5、Set14
:
数据集上的实验结果表明 该模型
，
Earth-Mover L1
距离与
剔除多余批规范化后的训练时间相比改进前模型减少约
并有效提高图像的重建效果 结合
距离
．
的损失函数有效地缓解了梯度消失的问题 模型相较于双三次插值
、SRCNN、VDSR、DSRN
，
模型 提高了对低分辨率图像的超
．
分辨率重建效率和视觉效果
: ; ;
关键词 超分辨率重建 生成对抗网络 深度学习
; Earth-Mover
;
距离 对抗损失
: 0367 － 6234( 2019) 11 － 0128 － 10
文章编号
: TP391 : A
文献标志码
中图分类号
GAN image super-resolution reconstruction model with improved residual block
and adversarial loss
ZHANG Yangyi，LIN Hong，GUAN Yuhua，LIU Chun
( College of Computer Science and Technology，Wuhan University of Technology，Wuhan 430063，China)
Abstract: Image super-resolution ( SR) reconstruction is an important image processing technology to improve the
resolution of image and video in computer vision． Image reconstruction model based on deep learning has not been
satisfactory due to the too many layers involved，the excessively long training time resulting from difficult gradient
transmission，and the unsatisfactory reconstructed image． This paper proposes a generative adversarial networks
( GAN) image SR reconstruction model with improved residual block and adversarial loss． Firstly，on the model
structure，the residual blocks of the excess batch normalization were designed and combined into a generative
model，and the deep convolution network was used as the discriminant model to control the training direction of the
reconstructed image to reduce the model’s calculation amount． Then，in the loss function，the Earth-Mover
distance was designed to alleviate model gradient disappearance． The L1 distance was used as the measure of the
degree of similarity between the reconstructed image and the high-resolution image to guide the model weight update
to improve the reconstructed visual effect． Experimental results from the DIV2K，Set5，and Set14 datasets
demonstrate that compared with the model before improvement，the training time of the proposed model was reduced
by about 14% and the image reconstruction effect was effectively improved． For the loss function combined with
Earth-Mover distance and L1 distance，gradient disappearance was effectively alleviated． Therefore，the proposed
model significantly improved the SR reconstruction efficiency and visual effect of low-resolution images compared
with Bicubic，SRCNN，VDSR，and DSRN model．
Keywords: super-resolution construction; Generative Adversarial Networks ( GAN) ; deep learning; Earth-Mover
distance; adversarial loss
，
分辨率是图像清晰度的一个重要评价指标 高
、 、 、 ．
医学 军事 遥感 视频监控等领域都有广泛应用 图
， ，
分辨率图像清晰度好 拥有高像素密度 提供更多细
( Low
像超分辨率重建技术能够将一幅低分辨率
Resolution，LR)
图像或图像序列恢复出高分辨率
， 、 ，
节 使得人们可以迅速 准确地获取到更多信息 在
( High Resolution，HR)
，
图像 是近年来图像领域一个
，
重要研究方向 一般可分为单帧图像重建和多帧图
: 2018 － 12 － 20
收稿日期
， 、
像重建 经历了插值重建 序列图像重建和基于学习
:
作者简介 张杨忆
( 1995—) ， ，
女 硕士研究生
［1］
:
，liuchun@ whut． edu． cn
春
通信作者
刘
．
的图像超分辨率重建三个重要发展阶段
11
，
等
:
GAN
改进残差块和对抗损失的 图像超分辨率重建
第
期
张杨忆
·129·
， ．
高重建图像的峰值信噪比 加强重建图像视觉效果
传统 的 基 于 学 习 的 超 分 辨 率 重 建 模 型 如
［2］
［3］
Steerable filters 、Image Analogies
等需要从若干
1
GAN
图
改进残差块和对抗损失的
像超分辨率重建模型
模型整体设计
、 ，
成对出现的低 高分辨率图像中学习先验信息 对训
，
练样本库依赖性强 训练模型形式单一且受人为干
［4］
， ，
扰较大 近年来 基于深度学习的方法 取得了突
1． 1
，
破性进展 主要思路是充分利用图像本身的先验信
为在单帧低分辨率图像重建中取得良好的重建
， ，
息 将深度神经网络作为学习模型 直接学习从低分
，
，
Goodfellow
效果 在模型结构设计中 借鉴
提出的一
GAN．
种生成式模型 生成对抗网络 该网络的核心
．
—
辨率图像到高分辨率图像的端到端的映射关系
［5］
［11 － 12］
2014
Dong
，
1
结构如图 所
年
等
提出的基于卷积神经网络的
( SRCNN)
思想来源于博弈论的纳什均衡
3
．
示 网络设定参与游戏的双方分别为一个生成模型
图像超分辨率重建模型
在
个卷积层上
，
进行非线性映射得到高分辨率图像 然而由于输入
，
和一个判别模型 生成模型的目标是尽量去学习真
［6］
，
是由双三次插值 得到的较高分辨率图像 卷积计
，
实的数据分布 而判别模型的目标是尽量正确判断
［7］
，
．
，Shi
;
输入数据是真实数据还是来自生成模型 为取得游
算复杂 重建效率低下 针对该问题
等
提出
模型采用在低分辨率图像上直接计算卷
积进行特征提取后使用子像素卷积层进行图像大小
ESPCN
，
戏胜利 这两个游戏参与者需要不断优化来各自提
的
，
高自己的生成能力和判别能力 这个学习优化过程
， ，
变换的方式 有效提高了图像重建效率 然而一旦模
．
就是寻找二者之间的一个纳什均衡
，
型设置较大的放大倍数时 会导致得到的结果过于
， ，
平滑 细节缺乏真实感 不能很好提高重建图像的视
．
觉效果
［8］
，Kim
另外
等
根据低分辨率图像和高分辨率
VDSR
，
图像拥有相似的低频信息这一理论 提出
1
GAN
结构
模
图
Fig． 1 Structure of the GAN
， ，
型 利用残差学习来加快模型收敛速度 但仍然存在
．
收敛和梯度传输困难的问题 于是在残差网络和
本文通过建立一个基于生成对抗网络的模型进
［9］
VDSR
，Tai
DRRN ，
模型 将
模型的启发下
等
提出
，
行图像超分辨率重建 模型由生成模型和判别模型
52
，
层 并递归使用权重共享的网络模
深度增加至
，
两部分组成 分别学习生成与高分辨率图像相似的
，
块 得到的训练结果相对于
VDSR
模型有提高但并
超分辨率图像和更准确地区分出超分辨率图像与真
．
不明显
针对上述模型层次过多以及梯度传输困难导致
， 2 ，
实高分辨率图像 模型整体设计如图 所示 其中
，
生成模型由剔除多余批规范化操作的残差块与子像
、 ，
训练时间长 重建图像视觉效果不理想的问题 在单
，
素卷积层构成 判别模型由深度卷积网络与全连接
帧低分辨率图像重建上本文提出一种改进残差块和
．
层构成
［10］
GAN
，
图像超分辨率重建模型 旨在
对抗损失的
、 ，
实现高效 高质量的图像重建 主要贡献如下
:
1)
．
设计剔除多余批规范化操作的残差块 生成
模型由剔除块中冗余批规范化操作的残差块组合而
，
成 同时使用深度卷积网络作为判别模型来指导整
， ， ，
个模型的训练 减少模型计算量 加快训练速度 提
．
高图像重建效率
2) Earth-Mover( EM)
引入
距离设计对抗损失函
EM
2
图
模型整体设计
． 、
数 通过计算高 低分辨率图像之间的
距离来反
Fig． 2 Overall structure of the model
映真实数据集和生成数据集的分布距离远近以提供
，
模型训练过程中 低分辨率图像经过生成模型
，
非零梯度来确保训练继续 有效缓解模型梯度消失
，
生成对应的超分辨率图像 再将生成的超分辨率图
．
问题
像和真实高分辨率图像一起输入判别模型进行判
3)
L1
L1 ．
距离 使
引入
损失函数计算图片间的
MSE
，
定 判别模型的输出代表对每张输入图像的真假判
L1
，
损失函数 将
用
损失函数替换普遍使用的
， ，
定 求取判定结果的误差后对模型参数进行调整 使
L1
重建图像与对应高分辨率图像间的
距离作为两
，
模型在迭代学习中自动更新内部参数 模型目标函
， ，
张图片相似程度的度量 指导模型权重更新 从而提
全部评论(0)