推荐星级：
- 1
- 2
- 3
- 4
- 5
基于二阶广义方向性全变分的图像超分辨率重建方法
资料介绍
超分辨率图像重建是增强那些低成本成像传感器系统图像分辨率的有效措施.得益于先验知识的学习,低分辨率图像可有效地被超分辨率增强.针对带有明显边缘结构的图像,现有方法没有有效利用高阶信息从而会出现一些光滑的图像细节.本文针对这种特殊的图像结构,研究一种基于二阶广义方向性全变分的重建方法来挖掘那些隐含的高阶可利用信息.二阶广义方向性全变分不仅可以作为先验知识,还能作为稀疏正则项抑制伪影和噪声.实验结果表明,本文方法可有效超分辨率重建结构边缘图像,并可获得高分辨率图像细节和纹理特征.
部分文件列表
| 文件名 | 大小 |
| 基于二阶广义方向性全变分的图像超分辨率重建方法.pdf | 2M |
部分页面预览
（完整内容请下载后查看）第 １１ 期
电ꢀ
ꢀ
子ꢀ
ꢀ
学ꢀ
ꢀ
报
Ｖｏｌ．４５ꢀ Ｎｏ．１１
Ｎｏｖ．ꢀ ２０１７
２０１７ 年 １１ 月
ＡＣＴＡ ＥＬＥＣＴＲＯＮＩＣＡ ＳＩＮＩＣＡ
基于二阶广义方向性全变分的
图像超分辨率重建方法
伍政华１，孙明健２，顾宗山１，范明意１
（１．中国电子科技集团公司第三十八研究所，安徽合肥 ２３００８８；２．哈尔滨工业大学（威海）控制科学与工程系，山东威海 ２６４２０９）
ꢀ ꢀ 摘ꢀ 要：ꢀ 超分辨率图像重建是增强那些低成本成像传感器系统图像分辨率的有效措施．得益于先验知识的学
习，低分辨率图像可有效地被超分辨率增强．针对带有明显边缘结构的图像，现有方法没有有效利用高阶信息从而会
出现一些光滑的图像细节．本文针对这种特殊的图像结构，研究一种基于二阶广义方向性全变分的重建方法来挖掘那
些隐含的高阶可利用信息．二阶广义方向性全变分不仅可以作为先验知识，还能作为稀疏正则项抑制伪影和噪声．实
验结果表明，本文方法可有效超分辨率重建结构边缘图像，并可获得高分辨率图像细节和纹理特征．
关键词： ꢀ 超分辨率重建； 广义方向性全变分； 优化算法； 正则约束
中图分类号： ꢀ ＴＮ９１９ư ８ꢀ ꢀ ꢀ 文献标识码： ꢀ Ａꢀ ꢀ ꢀ 文章编号： ꢀ ０３７２⁃２１１２ （２０１７）１１⁃２６２５⁃０８
电子学报 ＵＲＬ： ｈｔｔｐ：／ ／ ｗｗｗ．ｅｊｏｕｒｎａｌ．ｏｒｇ．ｃｎꢀ
ＤＯＩ： １０．３９６９／ ｊ．ｉｓｓｎ．０３７２⁃２１１２．２０１７．１１．００８
Ｓｅｃｏｎｄ⁃Ｏｒｄｅｒ Ｄｉｒｅｃｔｉｏｎａｌ Ｔｏｔａｌ Ｇｅｎｅｒａｌｉｚｅｄ
Ｖａｒｉａｔｉｏｎ Ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｆｏｒ Ｉｍａｇｅ Ｓｕｐｅｒ⁃ｒｅｓｏｌｕｔｉｏｎ
ＷＵ Ｚｈｅｎｇ⁃ｈｕａ１ ，ＳＵＮ Ｍｉｎｇ⁃ｊｉａｎ２ ，ＧＵ Ｚｏｎｇ⁃ｓｈａｎ１ ，ＦＡＮ Ｍｉｎｇ⁃ｙｉ１
（１．Ｎｏ．３８ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｃｈｉｎａ Ｅｌｅｃｔｒｏｎｉｃｓ Ｔｅｃｈｎｏｌｏｇｙ Ｇｒｏｕｐ Ｃｏｒｐｏｒａｔｉｏｎ，Ｈｅｆｅｉ，Ａｎｈｕｉ ２３００８８，Ｃｈｉｎａ；
２．Ｃｏｎｔｒｏｌ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｈａｒｂｉｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ ａｔ Ｗｅｉｈａｉ，Ｗｅｉｈａｉ，Ｓｈａｎｄｏｎｇ ２６４２０９，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：ꢀ Ｓｕｐｅｒ⁃ｒｅｓｏｌｕｔｉｏｎ （ＳＲ） ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｈａｓ ｄｅｖｅｌｏｐｅｄ ｉｎｔｏ ａ ｐｏｗｅｒｆｕｌ ｔｏｏｌ ｔｏ ｅｎｈａｎｃｅ ｔｈｅ ｉｍａｇｅ ｒｅｓｏ⁃
ｌｕｔｉｏｎ ｆｏｒ ｔｈｅ ｓｙｓｔｅｍｓ ｗｉｔｈ ｌｏｗ⁃ｃｏｓｔ ｉｍａｇｉｎｇ ｓｅｎｓｏｒｓ．Ａ ｄｉｒｅｃｔ ｂｕｔ ｅｆｆｉｃｉｅｎｔ ａｐｐｒｏａｃｈ ｔｏ ｓｕｐｅｒ⁃ｒｅｓｏｌｖｅ ａ ｌｏｗ⁃ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ
ｉｓ ｂａｓｅｄ ｏｎ ｐｒｉｏｒ ｋｎｏｗｌｅｄｇｅ ｌｅａｒｎｉｎｇ．Ｂｕｔ ｔｈｅ ｅｘｉｓｔｉｎｇ ｍｅｔｈｏｄｓ ｄｏ ｎｏｔ ｃｏｎｓｉｄｅｒ ｍａｔｃｈｅｄ ｈｉｇｈ⁃ｌｅｖｅｌ ｆｅａｔｕｒｅｓ ｉｎ ｔｈｅ ｉｍａｇｅｓ
ｗｉｔｈ ｓｔｒｕｃｔｕｒｅｄ ｅｄｇｅｓ，ｒｅｓｕｌｔｉｎｇ ｉｎ ｓｏｍｅ ｓｍｏｏｔｈ ｉｍａｇｅ ａｒｔｉｆａｃｔｓ．Ａ ｓｅｃｏｎｄ⁃ｏｒｄｅｒ ｄｉｒｅｃｔｉｏｎａｌ ｔｏｔａｌ ｇｅｎｅｒａｌｉｚｅｄ ｖａｒｉａｔｉｏｎ （ＤＴ⁃
ＧＶ） ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｂａｓｅｄ ｍｅｔｈｏｄ ｉｓ ｐｒｏｐｏｓｅｄ ｔｏ ｅｘｐｌｏｒｅ ｔｈｅ ｕｎｄｅｒｌｙｉｎｇ ｈｉｇｈ⁃ｌｅｖｅｌ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｔｈｅ ｄａｔａ ｉｎ ｔｈｉｓ ｐａｐｅｒ．Ｍｏｒｅ
ｓｐｅｃｉｆｉｃａｌｌｙ，ｓｅｃｏｎｄ⁃ｏｒｄｅｒ ＤＴＧＶ ａｃｔｓ ａｓ ｎｏｔ ｏｎｌｙ ａｎ ａｄｄｉｔｉｏｎａｌ ｐｒｉｏｒ ｂｕｔ ａｌｓｏ ａｎ ｅｆｆｅｃｔｉｖｅ ｃｏｎｓｔｒａｉｎｔ ｔｏ ｒｅｄｕｃｅ ｔｈｅ ｉｍａｇｅ ａｒｔｉ⁃
ｆａｃｔｓ ａｎｄ ｒｅｍｏｖｅ ｔｈｅ ｎｏｉｓｅ．Ｒｅｓｕｌｔｓ ｆｒｏｍ ｓｅｖｅｒａｌ ｔｅｘｔｕｒｅ ｉｍａｇｅｓ ｄｅｍｏｎｓｔｒａｔｅ ｔｈａｔ ｔｈｅ ｐｒｏｐｏｓｅｄ ａｐｐｒｏａｃｈ ｃａｎ ｇｅｎｅｒａｔｅ ｈｉｇｈ⁃
ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ｄｅｔａｉｌｓ ａｎｄ ｔｅｎｄ ｔｏ ｐｒｏｄｕｃｅ ｈｉｇｈ⁃ｆｒｅｑｕｅｎｃｙ ｔｅｘｔｕｒｅｓ．
Ｋｅｙ ｗｏｒｄｓ：ꢀ ｓｕｐｅｒ⁃ｒｅｓｏｌｕｔｉｏｎ； ｄｉｒｅｃｔｉｏｎａｌ ｔｏｔａｌ ｇｅｎｅｒａｌｉｚａｔｉｏｎ ｖａｒｉａｔｉｏｎ；ｏｐｔｉｍｉｚａｔｉｏｎ ａｌｇｏｒｉｔｈｍ； ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｃｏｎ⁃
ｓｔｒａｉｎｓ
态的重构问题．这些方法大致可分为三大类：插值方法、
１ꢀ 引言
基于正则化项的方法和基于机器学习的方法．插值方法
和基于正则化项的方法都可以改善 ＳＲ 问题的病态程
ꢀ ꢀ 超分辨率图像重建（ Ｓｕｐｅｒ⁃ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ｒｅｃｏｎ⁃
ｓｔｒｕｃｔｉｏｎ，ＳＲ），是指从单个或多个低分辨率图像中获得
一幅高分辨率图像的过程，它是计算机视觉和图像处
理领域极具挑战的课题之一［１～６］ ．ＳＲ 已被证实可用于一
些生物医学研究和低成本成像系统的图像分辨率增
－
度［９ １１］ ，基于机器学习的方法主要是通过挖掘高分辨率
和低分辨率图像块的联合特征来重建图像的细节并抑
制伪影［１，１２～２０］
．
本文所讨论的范围是基于正则化项的超分辨率图
像重建方法［２１～２５］ ，并且针对的是带有结构边缘的图像
强
［７，８］ ．目前已经发展了很多方法来解决 ＳＲ 这一严重病
收稿日期：２０１６⁃０６⁃１２；修回日期：２０１７⁃０３⁃２７；责任编辑：马兰英
基金项目：国家自然科学基金（Ｎｏ．６１３７１０４５）；山东省重点研发计划项目（Ｎｏ．２０１６ＪＭＲＨ０２１７，Ｎｏ．２０１６ＧＧＸ１０３０３２）
电ꢀ ꢀ 子ꢀ ꢀ 学ꢀ ꢀ 报
２０１７ 年
２６２６
（Ｉｍａｇｅｓ ｗｉｔｈ Ｓｔｒｕｃｔｕｒｅｄ Ｅｄｇｅｓ，ＩＳＥ）．由于数据量的不足
和模糊核的不确定性，导致 ＳＲ 问题呈现出严重的病态
性，而正则化项是通过引入先验知识来改善 ＳＲ 的病态
程度．常用的一些正则化项包括全变分（Ｔｏｔａｌ ｖａｒｉａｔｉｏｎ，
ＴＶ）［４，２６］ 、稀疏约束补偿项等．但是，这些补偿项往往都
是普适的，并未深入挖掘特定类型图像（如 ＩＳＥ）的高阶
细节信息，从而只获得了低性能的重建结果．
３ꢀ 二阶广义方向性全变分（ＤＴＧＶ）
ꢀ
ꢀ
回 顾 之 前 的 工 作， 一 幅 图 像 ＩＨ 的 ＤＴＶ 定
义为［２７，２８］
：
＝
ＤＴＶ（ＩＨ ）
Ｗα∗ Ａ∗θ ▽ＩＨ（ｉ，ｊ）
（３）
∑
１
ｉ，ｊ
其中 Ａθ ，Ｗα 分别为旋转变换和尺度收缩矩阵，具体表
示为
本文是在基于方向性全变分（Ｄｉｒｅｃｔｉｏｎａｌ Ｔｏｔａｌ Ｖａｒｉ⁃
ａｔｉｏｎ，ＤＴＶ）［２７］ ＳＲ 方法的基础之上［２８］ ，以数据驱动为核
心，深入挖掘 ＩＳＥ 更高阶的图像细节信息而提出的基于
二阶广义方向性全变分（ Ｓｅｃｏｎｄ⁃ｏｒｄｅｒ Ｄｉｒｅｃｔｉｏｎａｌ Ｔｏｔａｌ
Ｇｅｎｅｒａｌｉｚｅｄ Ｖａｒｉａｔｉｏｎ，ＤＴＧＶ） 的 ＳＲ 方法．ＤＴＧＶ 不仅可
以保持 ＤＴＶ 在超分辨率重建过程中表现出的边缘保护
和噪声抑制的优势，还能够通过高阶处理减轻阶梯伪
影并重建出更清晰的图像细节．基于 ＤＴＧＶ 的 ＳＲ 问题
是一个凸优化问题，可用交替方向乘子算法（Ａｌｔｅｒｎａｔｉｎｇ
－
ｃｏｓθ
ｓｉｎθ
α
０
ö
æ
ö
æ
＝ ç ｓｉｎθ ｃｏｓθ
＝ ç ０ １÷
÷
Ａθ
，Ｗα
（４）
è
ø
è
ø
并且 Ａ∗θ Ａ－ ，Ｗ
Ｗα （（ ·）∗ 表示该算子的共轭算
∗
＝
＝
θ
α
子）．
近 来 提 出 的 广 义 全 变 分 （ Ｔｏｔａｌ Ｇｅｎｅｒａｌｉｚｅｄ
Ｖａｒｉａｔｉｏｎ，ＴＧＶ）是 ＴＶ 的广义模型［３１ ３３］ ，它利用高阶变
－
差可显著减少 ＴＶ 在重建过程中产生的阶梯伪影．综合
考虑计算复杂度和性能，二阶 ＴＧＶ 是最为常用的版本，
如无特殊声明，本文所涉及的 ＴＧＶ 均为二阶 ＴＧＶ．二阶
Ｄｉｒｅｃｔｉｏｎ Ｍｅｔｈｏｄ ｏｆ Ｍｕｌｔｉｐｌｉｅｒｓ，ＡＤＭＭ） 有效求解［２９～３０］
．
ＴＧＶ 本身是一个最小化问题，其离散版本可表述为，
实验结果表明，基于 ＤＴＧＶ 的方法在超分辨率重建 ＩＳＥ
的性能上要优于目前很多方法，并可以产生更多清晰
的图像细节．
２
＝
－
＋
ｐ α０ ε（ｐ）
１
ＴＧＶα（ＩＨ ） ｍｉｎα１ ▽ＩＨ
（５）
１
ｐ
基于 ＤＴＶ 和二阶 ＴＧＶ 的概念，我们提出了二阶
ＤＴＧＶ 的概念，即
ＤＴＧＶα（ＩＨ ） ｍｉｎα１ Ｗα∗ Ａ∗θ ▽ＩＨ
２
２ꢀ 超分辨率图像重建
＝
－
＋
ｐ α０ ε（ｐ）
１
１
ｐ
×
ꢀ ꢀ 一幅观测得到的低分辨率图像 ＩＬ ∈Ｒｍ ｎ ，可以看作
（６）
×
是一幅高分辨率图像 ＩＨ ∈ＲＭ Ｎ（Ｍ＞ｍ，Ｎ＞ｎ）经过模糊和
１
Ｔ
＝
＋
其中 ε（ ｐ）
（ ▽ｐ ▽ｐ ） 表示对称梯度． 可以看出
－
降采样处理得到的［１ ３］ ，即
２
ＤＴＧＶ２α 在一阶差分和二阶差分之间作了一个优化均
衡，我们可以给出其直观的解释．对于 ＩＨ 的平滑区域，
二阶差分要比一阶差分小很多，所以最小化式（６）趋向
＝
ＩＬ Ω（ｈ⊗ＩＨ ）
（１）
×
×
其中 Ω 是 ＲＭ
Ｒｍ ｎ 的降采样算子，ｈ 是模糊核函数，
Ｎ
→
⊗是卷积处理过程．超分辨率图像重建过程就是从低分
辨率的观测图像 ＩＬ 中重建出高分辨率图像 ＩＨ ，且分辨
率的提高因子一般可达 ３ 倍以上（即 Ｍ≥３ｍ，Ｎ≥３ｎ）．
可以看出，模型中的降采样过程导致了数据的大量缺
失，并且模糊核函数的不确定性进一步加深了 ＳＲ 过程
的病态程度．基于正则化约束的 ＳＲ 方法是通过引进有
效的先验信息约束项来补偿降采样过程中丢失的数据
信息，从而使问题向良态转化．给定一个正则化补偿项，
从低分辨率图像中重建高分辨率图像的过程可以转化
为下面的优化求解问题．
∗
∗
＝
于选择 ｐ Ｗα Ａθ ▽ＩＨ ，从而会趋向于用二阶差分来描
述平滑区．对于 ＩＨ 的跳变区域如边缘附近，一阶差分比
＝
二阶差分小很多，所以趋向于选择 ｐ ０ 来最小化式
（６），因此 ＤＴＧＶ２α 变成了 ＤＴＶ 约束项来描述跳变区域，
而这正是 ＤＴＶ 的优势所在．所以可以看出，ＤＴＧＶ 用高
阶变分来描述平滑区，用低阶变分描述跳变区，可有效
抑制低阶差分描述平滑区所带来的伪影，从而对图像
更具有自适应性．
４ꢀ 基于 ＤＴＧＶ 的 ＳＲ 方法
１
Ｈ
２
２
＾
＝
－
＋
λＲ（ＩＨ ）
ＩＨ ａｒｇｍｉｎ
ΩＦ （Ｆ（ｈ）Ｆ（ＩＨ ）） ＩＬ
（２）
ꢀ ꢀ 给定了式（２）基于正则化项的模型和式（６） ＤＴＧＶ
的概念，可以整合得到基于 ＤＴＧＶ 的 ＳＲ 模型，那么就可
以从一幅低分辨率图像中重建出高分辨率图像，
β
ＩＨ
２
其中 Ｆ，Ｆ Ｈ 分别是傅里叶变换和傅里叶反变换，第一项
为数据保真项，第二项为作用在 ＩＨ 上的正则化约束项，
λ 为正则化参数．Ｒ（ＩＨ ） 的选择便成为了基于正则化约
束 ＳＲ 方法的关键．本文即针对 ＩＳＥ 这一特殊类型的图
像采用 ＤＴＧＶ 补偿项，深入挖掘隐含的高阶图像细节信
息，使重建出的高分辨率图像性能更佳．
Ｈ
２
２
＾
＝
－
ΩＦ （Ｆ（ｈ）Ｆ（ＩＨ ）） ＩＬ
ꢀ ꢀ ＩＨ ａｒｇｍｉｎ
ＩＨ
２
α１ Ｗ∗α Ａ∗θ ▽ＩＨ
（７）
＋
－
＋
ｐ α０ ε（ｐ）
１
１
∗
∗
＝
其中 β 是数据保真项参数．令 Ｂ Ｗα Ａθ ，也即是
全部评论(0)