推荐星级：
- 1
- 2
- 3
- 4
- 5
基于深度学习的图像超分辨率复原研究进展
资料介绍
图像超分辨率复原(Super resolution restoration,SR)技术是图像处理领域的研究热点,在视频监控、图像处理、刑侦分析等领域具有广泛的应用需求.近年来,深度学习在多媒体处理领域迅猛发展,基于深度学习的图像超分辨率复原技术已逐渐成为主流技术.本文主要对现有基于深度学习的图像超分辨率复原工作进行综述.从网络类型、网络结构、训练方法等方面分析现有技术的优势与不足,对其发展脉络进行梳理.在此基础上,本文进一步指出了基于深度学习的图像超分辨率复原技术的未来发展方向.
部分文件列表
| 文件名 | 大小 |
| 基于深度学习的图像超分辨率复原研究进展.pdf | 701K |
部分页面预览
（完整内容请下载后查看）第 43 卷 第 5 期
2017 年 5 月
自
动
化
学
报
Vol. 43, No. 5
May, 2017
ACTA AUTOMATICA SINICA
基于深度学习的图像超分辨率复原研究进展
李嘉锋 1
孙 旭 1
李晓光 1
卓 力 1
摘
要
图像超分辨率复原 (Super resolution restoration, SR) 技术是图像处理领域的研究热点, 在视频监控、图像处理、刑
侦分析等领域具有广泛的应用需求. 近年来, 深度学习在多媒体处理领域迅猛发展, 基于深度学习的图像超分辨率复原技术已
逐渐成为主流技术. 本文主要对现有基于深度学习的图像超分辨率复原工作进行综述. 从网络类型、网络结构、训练方法等方
面分析现有技术的优势与不足, 对其发展脉络进行梳理. 在此基础上, 本文进一步指出了基于深度学习的图像超分辨率复原技
术的未来发展方向.
关键词 超分辨率复原, 深度神经网络, 卷积神经网络, 循环神经网络
引用格式 孙旭, 李晓光, 李嘉锋, 卓力. 基于深度学习的图像超分辨率复原研究进展. 自动化学报, 2017, 43(5): 697−709
DOI 10.16383/j.aas.2017.c160629
Review on Deep Learning Based Image Super-resolution Restoration Algorithms
SUN Xu1
LI Xiao-Guang1
LI Jia-Feng1
ZHUO Li1
Abstract Super resolution image restoration technology is a hot field of image processing in the field of video surveillance,
image processing, forensic analysis, with a wide range of application requirements. In recent years, the rapid development
of deep learning in the field of multimedia processing, deep learning based super-resolution images restoration has gradually
become a mainstream technology. This paper reviews the existing deep learning based image super-resolution restoration
work. In terms of network type, network structure, and training methods, the advantages and disadvantages of the prior
art are analyzed and the development contexts are sorted out. On this basis, the paper further points out the future
direction of the restoration technique based on deep learning of the super-resolution image.
Key words Super resolution restoration (SR), deep neural networks, convolutional neural network (CNN), recurrent
neural network
Citation Sun Xu, Li Xiao-Guang, Li Jia-Feng, Zhuo Li. Review on deep learning based image super-resolution restora-
tion algorithms. Acta Automatica Sinica, 2017, 43(5): 697−709
在图像获取过程中 由于成像距离、成像设备分
辨率等因素的限制 成像系统难以无失真地获取原
始场景中的信息
成像系统通常会受到变形、模糊、降采样和噪
声等诸多因素的影响 从而导致获取图像质量的下
降 因此 如何提高图像的空间分辨率 改善图像质
量 一直以来都是成像技术领域亟待解决的问题[1]
按照傅里叶光学的观点 光学成像系统相当于
一个低通滤波器 由于受到光学衍射的影响 系统响
应在由衍射极限分辨率所决定的某个截止频率之上
的值均为零 成像系统所能达到的最高分辨率首先
由成像光学器件本身确定的 传统的图像复原技术
能够从一定程度上缓解成像过程中各种干扰因素的
影响 改善图像的质量 但是 这些方法难以复原系
统截止频率以外的信息[2] 为此 人们提出了超分辨
收稿日期 2016-09-06 录用日期 2017-01-05
Manuscript received September 6, 2016; accepted January 5,
2017
国家自然科学基金 (61471013, 61370189, 61372149, 61531006),
北 京 市 自 然 科 学 基 金 (4142009, 4163071), 北 京 市 属 高
等 学 校 高 层 次 人 才 引 进 与 培 养 计 划 (CIT&TCD201404043,
CIT&TCD20150311), 北 京 市 教 育 委 员 会 科 技 发 展 计 划
(KM201510005004, KM201410005002), 北京市属高等学校人才强
教计划 (PHR(IHLB)) 资助
Supported by National Natural Science Foundation of China
(61471013, 61370189, 61372149, 61531006), the Beijing Natural
Science Foundation (4142009, 4163071), the Importation and
Development of High-Caliber Talents Project of Beijing Munic-
ipal Institutions (CIT&TCD201404043, CIT&TCD20150311),
the Science and Technology Development Program of Beijing Ed-
ucation Committee (KM201510005004, KM201410005002), and
Funding Project for Academic Human Resources Development
in Institutions of Higher Learning under the Jurisdiction of Bei-
率复原
的概念
超分辨率复原技术的基本思想是采用信号处理方法
重建成像系统截止频率之外的信息 即恢复成像过
程中所丢失的高频信息 获取高于成像系统分辨率
的图像[3−4]
jing Municipality (PHR(IHLB))
本文责任编委 王亮
Recommended by Associate Editor WANG Liang
1. 北京工业大学信号与信息处理研究室 北京 100124
1. Signal & Information Processing Laboratory, Beijing Uni-
图像超分辨率复原技术主要分为两大类 即基
于重建
的方法和基于学习
的方法[5] 随着深度学习技术的
versity of Technology, Beijing 100124
698
自
动
化
学
报
43 卷
迅猛发展 基于学习的方法分为基于浅层学习的方
法和基于深度学习的方法 本文结构安排如下 第
节简要回顾传统的图像超分辨率复原技术 第
节具体介绍基于深度学习的图像超分辨率复原技术
着重对目前基于深度学习的超分辨率复原技术及典
型方法进行梳理 第 节对深度学习方法的关键问
题进行分析与讨论 最后 给出结论与展望
定观测模型的精确性 进而影响模型在重建中的作
用 现有的文献大都假设模糊参数已知 并在此基础
上进行模拟实验 而一些盲复原算法[15] 则将模糊参
数与
计
图像作为最优化参数进行联合优化 在估
图像的同时对模糊参数也进行估计
先验知识的定义 随着放大因子的增大 人为
定义的先验知识和观测模型所能提供的用于高分辨
重建的信息越来越少 这时 即使增加 图像的数
量 亦难以达到重建高频信息的目的[16−17] 如果想
从本质上突破基于重建的超分辨率复原方法的局限
性 需要寻求新的思路与方法
1 传统的图像超分辨率复原技术
超分辨率复原技术最早由
分别于 年提出 被称为
频谱外推法[6−7] 研究初期 它并未得到
和
和
基于浅层学习的方法
广泛的认可 直到
世纪
年代 特别是
年
图
图
针对基于重建的超分辨率复原方法存在的问题
许多研究学者提出了基于学习的超分辨率复原方
法[18−22] 基于学习的超分辨率复原的基本思想是通
过学习获得高分辨率图像与低分辨率图像之间的映
射关系 用于指导高分辨率图像的重建 先验知识不
是人为定义的 而是通过学习获得的
等[8] 提出由低分辨率
像序列复原单帧高分辨率
像的方法之后 超分辨率复原技术开始得到日益广
泛的研究 已经发展成为图像处理领域的一个重要
的研究方向
基于重建的方法
自然场景成像后 数字图像的纹理结构千变万
化 因此一个很自然的问题是能否通过学习的方式
对种类繁多的纹理建立高频信息和低频信息之间的
映射关系模型 如果把问题集中到一个小的图像邻
域 图像块 纹理结构的模式并不是很多 因此 基
于学习的超分辨率复原方法需要解决的核心问题是
基于重建的超分辨率复原方法[9−10] 是对图像
的获取过程建立观测模型 然后通过求解观测模型
的逆问题来实现超分辨率重建 观测模型描述了成
像系统从高分辨率场景 图像 获取低分辨率观测图
像的过程
从本质上讲 利用单幅或多幅
图像是求解观测模型的逆问题 它是一个病
态反问题
基于重建的图像序列或视频超分辨率复原方法
观测图像重
如何对
模
信息与
信息之间的映射关系进行建
建
基于学习的超分辨率复原算法主要包括训练样
本库的建立和组织 特征提取 、学习 搜索 模型以
及高频信息重建过程 个部分 不同的研究者分别
在这 方面进行了深入研究 从现有的研究结果看
基于学习的超分辨率复原算法在对人脸、文本等特
定对象进行超分辨率复原时表现出了较为明显的优
势 目前 常用的学习方法有基于示例的方法、基于
流形学习的方法 基于稀疏表示的方法
通常需要同一场景的多幅图像作为信息源 且图像
之间存在亚像素精度的空间位移 完整的重建过程
包括配准和重建两个步骤 其中配准是将多幅同一
场景的
图像在空间上进行亚像素精度对齐 得
到高低分辨率图像彼此之间的运动偏移量 构建观
测模型中的空间运动参数 重建是采用不同的先验
约束条件 平滑性、非负性和能量有限性等 和最优
大部分基于学习的超分辨率复原算法都需要首
先建立一个训练样本集合 在基于示例的方法[18−19]
中 样本集合是由大量的成对的图像块组成 即
化求解方法进行
从重建
图像的求解[11−12]
图像时所利用的信息来源上看 最
后的重建质量主要取决于以下 个关键因素
配准效果 配准效果关系到多幅
图像块和相应的
多分辨率分析方法建立训练样本 如利用高斯金字
塔[15]、拉普拉斯金字塔[20] 金字塔[21]
金字塔[22] 等方法建立图像不同分辨率
之间的信息对应样本库 在重建阶段 以待复原
图像中的低频信息块作为索引 到样本库中搜索相
似样本 再利用匹配样本中对应的高频信息来指导
这些方法对特征提取过程进行了探讨 而学习
模型主要以大规模搜索为基础
图像块 也有一些算法通过
图像中
空间互补信息的利用 对重建结果具有重要影响 然
而 精确的亚像素配准很困难 针对此问题 一些方
、
和
法假设多幅
图像已经精确配准 还有一些方法
将配准问题纳入到
框架进行联合优化[13−14]
模糊参数的估计 建立观测模型时 通常采用
高斯函数对像素传感器的点扩展函数进行建模 高
斯模型参数的选择是否与实际情况相符 将直接决
文献
−
的工作奠定了基于示例学习的超
更多>>
最新上传
- 打赏
- 30日榜单
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
全部评论(0)