推荐星级：

基于深度学习的图像超分辨率复原研究进展

更新时间：2019-12-30 04:26:03 大小：701K 上传用户：zhiyao6 查看TA发布的资源 标签：深度学习循环神经网络 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

图像超分辨率复原(Super resolution restoration,SR)技术是图像处理领域的研究热点,在视频监控、图像处理、刑侦分析等领域具有广泛的应用需求.近年来,深度学习在多媒体处理领域迅猛发展,基于深度学习的图像超分辨率复原技术已逐渐成为主流技术.本文主要对现有基于深度学习的图像超分辨率复原工作进行综述.从网络类型、网络结构、训练方法等方面分析现有技术的优势与不足,对其发展脉络进行梳理.在此基础上,本文进一步指出了基于深度学习的图像超分辨率复原技术的未来发展方向.

部分文件列表

文件名	大小
基于深度学习的图像超分辨率复原研究进展.pdf	701K

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

第 43 卷第 5 期

2017 年 5 月

自

动

化

学

报

Vol. 43, No. 5

May, 2017

ACTA AUTOMATICA SINICA

基于深度学习的图像超分辨率复原研究进展

李嘉锋 ¹

孙旭 ¹

李晓光 ¹

卓力 ¹

摘

要

图像超分辨率复原 (Super resolution restoration, SR) 技术是图像处理领域的研究热点, 在视频监控、图像处理、刑

侦分析等领域具有广泛的应用需求. 近年来, 深度学习在多媒体处理领域迅猛发展, 基于深度学习的图像超分辨率复原技术已

逐渐成为主流技术. 本文主要对现有基于深度学习的图像超分辨率复原工作进行综述. 从网络类型、网络结构、训练方法等方

面分析现有技术的优势与不足, 对其发展脉络进行梳理. 在此基础上, 本文进一步指出了基于深度学习的图像超分辨率复原技

术的未来发展方向.

关键词超分辨率复原, 深度神经网络, 卷积神经网络, 循环神经网络

引用格式孙旭, 李晓光, 李嘉锋, 卓力. 基于深度学习的图像超分辨率复原研究进展. 自动化学报, 2017, 43(5): 697−709

DOI 10.16383/j.aas.2017.c160629

Review on Deep Learning Based Image Super-resolution Restoration Algorithms

SUN Xu¹

LI Xiao-Guang¹

LI Jia-Feng¹

ZHUO Li¹

Abstract Super resolution image restoration technology is a hot ﬁeld of image processing in the ﬁeld of video surveillance,

image processing, forensic analysis, with a wide range of application requirements. In recent years, the rapid development

of deep learning in the ﬁeld of multimedia processing, deep learning based super-resolution images restoration has gradually

become a mainstream technology. This paper reviews the existing deep learning based image super-resolution restoration

work. In terms of network type, network structure, and training methods, the advantages and disadvantages of the prior

art are analyzed and the development contexts are sorted out. On this basis, the paper further points out the future

direction of the restoration technique based on deep learning of the super-resolution image.

Key words Super resolution restoration (SR), deep neural networks, convolutional neural network (CNN), recurrent

neural network

Citation Sun Xu, Li Xiao-Guang, Li Jia-Feng, Zhuo Li. Review on deep learning based image super-resolution restora-

tion algorithms. Acta Automatica Sinica, 2017, 43(5): 697−709

在图像获取过程中由于成像距离、成像设备分

辨率等因素的限制成像系统难以无失真地获取原

始场景中的信息

成像系统通常会受到变形、模糊、降采样和噪

声等诸多因素的影响从而导致获取图像质量的下

降因此如何提高图像的空间分辨率改善图像质

量一直以来都是成像技术领域亟待解决的问题^[1]

按照傅里叶光学的观点光学成像系统相当于

一个低通滤波器由于受到光学衍射的影响系统响

应在由衍射极限分辨率所决定的某个截止频率之上

的值均为零成像系统所能达到的最高分辨率首先

由成像光学器件本身确定的传统的图像复原技术

能够从一定程度上缓解成像过程中各种干扰因素的

影响改善图像的质量但是这些方法难以复原系

统截止频率以外的信息^[2]为此人们提出了超分辨

收稿日期 2016-09-06 录用日期 2017-01-05

Manuscript received September 6, 2016; accepted January 5,

2017

国家自然科学基金 (61471013, 61370189, 61372149, 61531006),

北京市自然科学基金 (4142009, 4163071), 北京市属高

等学校高层次人才引进与培养计划 (CIT&TCD201404043,

CIT&TCD20150311), 北京市教育委员会科技发展计划

(KM201510005004, KM201410005002), 北京市属高等学校人才强

教计划 (PHR(IHLB)) 资助

Supported by National Natural Science Foundation of China

(61471013, 61370189, 61372149, 61531006), the Beijing Natural

Science Foundation (4142009, 4163071), the Importation and

Development of High-Caliber Talents Project of Beijing Munic-

ipal Institutions (CIT&TCD201404043, CIT&TCD20150311),

the Science and Technology Development Program of Beijing Ed-

ucation Committee (KM201510005004, KM201410005002), and

Funding Project for Academic Human Resources Development

in Institutions of Higher Learning under the Jurisdiction of Bei-

率复原

的概念

超分辨率复原技术的基本思想是采用信号处理方法

重建成像系统截止频率之外的信息即恢复成像过

程中所丢失的高频信息获取高于成像系统分辨率

的图像^[3−4]

jing Municipality (PHR(IHLB))

本文责任编委王亮

Recommended by Associate Editor WANG Liang

1. 北京工业大学信号与信息处理研究室北京 100124

1. Signal & Information Processing Laboratory, Beijing Uni-

图像超分辨率复原技术主要分为两大类即基

于重建

的方法和基于学习

的方法^[5]随着深度学习技术的

versity of Technology, Beijing 100124

698

自

动

化

学

报

43 卷

迅猛发展基于学习的方法分为基于浅层学习的方

法和基于深度学习的方法本文结构安排如下第

节简要回顾传统的图像超分辨率复原技术第

节具体介绍基于深度学习的图像超分辨率复原技术

着重对目前基于深度学习的超分辨率复原技术及典

型方法进行梳理第节对深度学习方法的关键问

题进行分析与讨论最后给出结论与展望

定观测模型的精确性进而影响模型在重建中的作

用现有的文献大都假设模糊参数已知并在此基础

上进行模拟实验而一些盲复原算法^[15]则将模糊参

数与

计

图像作为最优化参数进行联合优化在估

图像的同时对模糊参数也进行估计

先验知识的定义随着放大因子的增大人为

定义的先验知识和观测模型所能提供的用于高分辨

重建的信息越来越少这时即使增加图像的数

量亦难以达到重建高频信息的目的^[16−17]如果想

从本质上突破基于重建的超分辨率复原方法的局限

性需要寻求新的思路与方法

1 传统的图像超分辨率复原技术

超分辨率复原技术最早由

分别于年提出被称为

频谱外推法^[6−7]研究初期它并未得到

和

基于浅层学习的方法

广泛的认可直到

世纪

年代特别是

年

图

针对基于重建的超分辨率复原方法存在的问题

许多研究学者提出了基于学习的超分辨率复原方

法^[18−22]基于学习的超分辨率复原的基本思想是通

过学习获得高分辨率图像与低分辨率图像之间的映

射关系用于指导高分辨率图像的重建先验知识不

是人为定义的而是通过学习获得的

等^[8]提出由低分辨率

像序列复原单帧高分辨率

像的方法之后超分辨率复原技术开始得到日益广

泛的研究已经发展成为图像处理领域的一个重要

的研究方向

基于重建的方法

自然场景成像后数字图像的纹理结构千变万

化因此一个很自然的问题是能否通过学习的方式

对种类繁多的纹理建立高频信息和低频信息之间的

映射关系模型如果把问题集中到一个小的图像邻

域图像块纹理结构的模式并不是很多因此基

于学习的超分辨率复原方法需要解决的核心问题是

基于重建的超分辨率复原方法^[9−10]是对图像

的获取过程建立观测模型然后通过求解观测模型

的逆问题来实现超分辨率重建观测模型描述了成

像系统从高分辨率场景图像获取低分辨率观测图

像的过程

从本质上讲利用单幅或多幅

图像是求解观测模型的逆问题它是一个病

态反问题

基于重建的图像序列或视频超分辨率复原方法

观测图像重

如何对

模

信息与

信息之间的映射关系进行建

建

基于学习的超分辨率复原算法主要包括训练样

本库的建立和组织特征提取、学习搜索模型以

及高频信息重建过程个部分不同的研究者分别

在这方面进行了深入研究从现有的研究结果看

基于学习的超分辨率复原算法在对人脸、文本等特

定对象进行超分辨率复原时表现出了较为明显的优

势目前常用的学习方法有基于示例的方法、基于

流形学习的方法基于稀疏表示的方法

通常需要同一场景的多幅图像作为信息源且图像

之间存在亚像素精度的空间位移完整的重建过程

包括配准和重建两个步骤其中配准是将多幅同一

场景的

图像在空间上进行亚像素精度对齐得

到高低分辨率图像彼此之间的运动偏移量构建观

测模型中的空间运动参数重建是采用不同的先验

约束条件平滑性、非负性和能量有限性等和最优

大部分基于学习的超分辨率复原算法都需要首

先建立一个训练样本集合在基于示例的方法^[18−19]

中样本集合是由大量的成对的图像块组成即

化求解方法进行

从重建

图像的求解^[11−12]

图像时所利用的信息来源上看最

后的重建质量主要取决于以下个关键因素

配准效果配准效果关系到多幅

图像块和相应的

多分辨率分析方法建立训练样本如利用高斯金字

塔^[15]、拉普拉斯金字塔^[20]金字塔^[21]

金字塔^[22]等方法建立图像不同分辨率

之间的信息对应样本库在重建阶段以待复原

图像中的低频信息块作为索引到样本库中搜索相

似样本再利用匹配样本中对应的高频信息来指导

这些方法对特征提取过程进行了探讨而学习

模型主要以大规模搜索为基础

图像块也有一些算法通过

图像中

空间互补信息的利用对重建结果具有重要影响然

而精确的亚像素配准很困难针对此问题一些方

、

和

法假设多幅

图像已经精确配准还有一些方法

将配准问题纳入到

框架进行联合优化^[13−14]

模糊参数的估计建立观测模型时通常采用

高斯函数对像素传感器的点扩展函数进行建模高

斯模型参数的选择是否与实际情况相符将直接决

文献

−

的工作奠定了基于示例学习的超

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

基于深度学习的图像超分辨率复原研究进展

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页