您现在的位置是：首页 > 技术资料 > 基于二阶广义方向性全变分的图像超分辨率重建方法

推荐星级：

基于二阶广义方向性全变分的图像超分辨率重建方法

更新时间：2019-12-24 05:18:28 大小：2M 上传用户：zhiyao6 查看TA发布的资源 标签：图像超分辨率重建 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

超分辨率图像重建是增强那些低成本成像传感器系统图像分辨率的有效措施.得益于先验知识的学习,低分辨率图像可有效地被超分辨率增强.针对带有明显边缘结构的图像,现有方法没有有效利用高阶信息从而会出现一些光滑的图像细节.本文针对这种特殊的图像结构,研究一种基于二阶广义方向性全变分的重建方法来挖掘那些隐含的高阶可利用信息.二阶广义方向性全变分不仅可以作为先验知识,还能作为稀疏正则项抑制伪影和噪声.实验结果表明,本文方法可有效超分辨率重建结构边缘图像,并可获得高分辨率图像细节和纹理特征.

部分文件列表

文件名	大小
基于二阶广义方向性全变分的图像超分辨率重建方法.pdf	2M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

第１１期

电ꢀ

ꢀ

子ꢀ

ꢀ

学ꢀ

ꢀ

报

Ｖｏｌ．４５ꢀ Ｎｏ．１１

Ｎｏｖ．ꢀ ２０１７

２０１７年１１月

ＡＣＴＡＥＬＥＣＴＲＯＮＩＣＡＳＩＮＩＣＡ

基于二阶广义方向性全变分的

图像超分辨率重建方法

伍政华^１，孙明健^２，顾宗山^１，范明意^１

（１．中国电子科技集团公司第三十八研究所，安徽合肥２３００８８；２．哈尔滨工业大学（威海）控制科学与工程系，山东威海２６４２０９）

ꢀ ꢀ 摘ꢀ 要：ꢀ 超分辨率图像重建是增强那些低成本成像传感器系统图像分辨率的有效措施．得益于先验知识的学

习，低分辨率图像可有效地被超分辨率增强．针对带有明显边缘结构的图像，现有方法没有有效利用高阶信息从而会

出现一些光滑的图像细节．本文针对这种特殊的图像结构，研究一种基于二阶广义方向性全变分的重建方法来挖掘那

些隐含的高阶可利用信息．二阶广义方向性全变分不仅可以作为先验知识，还能作为稀疏正则项抑制伪影和噪声．实

验结果表明，本文方法可有效超分辨率重建结构边缘图像，并可获得高分辨率图像细节和纹理特征．

关键词： ꢀ 超分辨率重建；广义方向性全变分；优化算法；正则约束

中图分类号： ꢀ ＴＮ９１９ư ８ꢀ ꢀ ꢀ 文献标识码： ꢀ Ａꢀ ꢀ ꢀ 文章编号： ꢀ ０３７２⁃２１１２（２０１７）１１⁃２６２５⁃０８

电子学报ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｅｊｏｕｒｎａｌ．ｏｒｇ．ｃｎꢀ

ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．０３７２⁃２１１２．２０１７．１１．００８

Ｓｅｃｏｎｄ⁃ＯｒｄｅｒＤｉｒｅｃｔｉｏｎａｌＴｏｔａｌＧｅｎｅｒａｌｉｚｅｄ

ＶａｒｉａｔｉｏｎＲｅｇｕｌａｒｉｚａｔｉｏｎｆｏｒＩｍａｇｅＳｕｐｅｒ⁃ｒｅｓｏｌｕｔｉｏｎ

ＷＵＺｈｅｎｇ⁃ｈｕａ^１，ＳＵＮＭｉｎｇ⁃ｊｉａｎ^２，ＧＵＺｏｎｇ⁃ｓｈａｎ^１，ＦＡＮＭｉｎｇ⁃ｙｉ^１

（１．Ｎｏ．３８ＲｅｓｅａｒｃｈＩｎｓｔｉｔｕｔｅｏｆＣｈｉｎａＥｌｅｃｔｒｏｎｉｃｓＴｅｃｈｎｏｌｏｇｙＧｒｏｕｐＣｏｒｐｏｒａｔｉｏｎ，Ｈｅｆｅｉ，Ａｎｈｕｉ２３００８８，Ｃｈｉｎａ；

２．ＣｏｎｔｒｏｌＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＨａｒｂｉｎＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙａｔＷｅｉｈａｉ，Ｗｅｉｈａｉ，Ｓｈａｎｄｏｎｇ２６４２０９，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：ꢀ Ｓｕｐｅｒ⁃ｒｅｓｏｌｕｔｉｏｎ（ＳＲ）ｉｍａｇｅｒｅｃｏｎｓｔｒｕｃｔｉｏｎｈａｓｄｅｖｅｌｏｐｅｄｉｎｔｏａｐｏｗｅｒｆｕｌｔｏｏｌｔｏｅｎｈａｎｃｅｔｈｅｉｍａｇｅｒｅｓｏ⁃

ｌｕｔｉｏｎｆｏｒｔｈｅｓｙｓｔｅｍｓｗｉｔｈｌｏｗ⁃ｃｏｓｔｉｍａｇｉｎｇｓｅｎｓｏｒｓ．Ａｄｉｒｅｃｔｂｕｔｅｆｆｉｃｉｅｎｔａｐｐｒｏａｃｈｔｏｓｕｐｅｒ⁃ｒｅｓｏｌｖｅａｌｏｗ⁃ｒｅｓｏｌｕｔｉｏｎｉｍａｇｅ

ｉｓｂａｓｅｄｏｎｐｒｉｏｒｋｎｏｗｌｅｄｇｅｌｅａｒｎｉｎｇ．Ｂｕｔｔｈｅｅｘｉｓｔｉｎｇｍｅｔｈｏｄｓｄｏｎｏｔｃｏｎｓｉｄｅｒｍａｔｃｈｅｄｈｉｇｈ⁃ｌｅｖｅｌｆｅａｔｕｒｅｓｉｎｔｈｅｉｍａｇｅｓ

ｗｉｔｈｓｔｒｕｃｔｕｒｅｄｅｄｇｅｓ，ｒｅｓｕｌｔｉｎｇｉｎｓｏｍｅｓｍｏｏｔｈｉｍａｇｅａｒｔｉｆａｃｔｓ．Ａｓｅｃｏｎｄ⁃ｏｒｄｅｒｄｉｒｅｃｔｉｏｎａｌｔｏｔａｌｇｅｎｅｒａｌｉｚｅｄｖａｒｉａｔｉｏｎ（ＤＴ⁃

ＧＶ）ｒｅｇｕｌａｒｉｚａｔｉｏｎｂａｓｅｄｍｅｔｈｏｄｉｓｐｒｏｐｏｓｅｄｔｏｅｘｐｌｏｒｅｔｈｅｕｎｄｅｒｌｙｉｎｇｈｉｇｈ⁃ｌｅｖｅｌｉｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｄａｔａｉｎｔｈｉｓｐａｐｅｒ．Ｍｏｒｅ

ｓｐｅｃｉｆｉｃａｌｌｙ，ｓｅｃｏｎｄ⁃ｏｒｄｅｒＤＴＧＶａｃｔｓａｓｎｏｔｏｎｌｙａｎａｄｄｉｔｉｏｎａｌｐｒｉｏｒｂｕｔａｌｓｏａｎｅｆｆｅｃｔｉｖｅｃｏｎｓｔｒａｉｎｔｔｏｒｅｄｕｃｅｔｈｅｉｍａｇｅａｒｔｉ⁃

ｆａｃｔｓａｎｄｒｅｍｏｖｅｔｈｅｎｏｉｓｅ．Ｒｅｓｕｌｔｓｆｒｏｍｓｅｖｅｒａｌｔｅｘｔｕｒｅｉｍａｇｅｓｄｅｍｏｎｓｔｒａｔｅｔｈａｔｔｈｅｐｒｏｐｏｓｅｄａｐｐｒｏａｃｈｃａｎｇｅｎｅｒａｔｅｈｉｇｈ⁃

ｒｅｓｏｌｕｔｉｏｎｉｍａｇｅｄｅｔａｉｌｓａｎｄｔｅｎｄｔｏｐｒｏｄｕｃｅｈｉｇｈ⁃ｆｒｅｑｕｅｎｃｙｔｅｘｔｕｒｅｓ．

Ｋｅｙｗｏｒｄｓ：ꢀ ｓｕｐｅｒ⁃ｒｅｓｏｌｕｔｉｏｎ；ｄｉｒｅｃｔｉｏｎａｌｔｏｔａｌｇｅｎｅｒａｌｉｚａｔｉｏｎｖａｒｉａｔｉｏｎ；ｏｐｔｉｍｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍ；ｒｅｇｕｌａｒｉｚａｔｉｏｎｃｏｎ⁃

ｓｔｒａｉｎｓ

态的重构问题．这些方法大致可分为三大类：插值方法、

１ꢀ 引言

基于正则化项的方法和基于机器学习的方法．插值方法

和基于正则化项的方法都可以改善ＳＲ问题的病态程

ꢀ ꢀ 超分辨率图像重建（Ｓｕｐｅｒ⁃ｒｅｓｏｌｕｔｉｏｎｉｍａｇｅｒｅｃｏｎ⁃

ｓｔｒｕｃｔｉｏｎ，ＳＲ），是指从单个或多个低分辨率图像中获得

一幅高分辨率图像的过程，它是计算机视觉和图像处

理领域极具挑战的课题之一^{［１～６］}．ＳＲ已被证实可用于一

些生物医学研究和低成本成像系统的图像分辨率增

－

度^{［９１１］}，基于机器学习的方法主要是通过挖掘高分辨率

和低分辨率图像块的联合特征来重建图像的细节并抑

制伪影^{［１，１２～２０］}

．

本文所讨论的范围是基于正则化项的超分辨率图

像重建方法^{［２１～２５］}，并且针对的是带有结构边缘的图像

强

^{［７，８］}．目前已经发展了很多方法来解决ＳＲ这一严重病

收稿日期：２０１６⁃０６⁃１２；修回日期：２０１７⁃０３⁃２７；责任编辑：马兰英

基金项目：国家自然科学基金（Ｎｏ．６１３７１０４５）；山东省重点研发计划项目（Ｎｏ．２０１６ＪＭＲＨ０２１７，Ｎｏ．２０１６ＧＧＸ１０３０３２）

电ꢀ ꢀ 子ꢀ ꢀ 学ꢀ ꢀ 报

２０１７年

２６２６

（ＩｍａｇｅｓｗｉｔｈＳｔｒｕｃｔｕｒｅｄＥｄｇｅｓ，ＩＳＥ）．由于数据量的不足

和模糊核的不确定性，导致ＳＲ问题呈现出严重的病态

性，而正则化项是通过引入先验知识来改善ＳＲ的病态

程度．常用的一些正则化项包括全变分（Ｔｏｔａｌｖａｒｉａｔｉｏｎ，

ＴＶ）^{［４，２６］}、稀疏约束补偿项等．但是，这些补偿项往往都

是普适的，并未深入挖掘特定类型图像（如ＩＳＥ）的高阶

细节信息，从而只获得了低性能的重建结果．

３ꢀ 二阶广义方向性全变分（ＤＴＧＶ）

ꢀ

回顾之前的工作，一幅图像Ｉ_Ｈ的ＤＴＶ定

义为^{［２７，２８］}

：

＝

ＤＴＶ（Ｉ_Ｈ）

Ｗ_α^∗Ａ^∗_θ▽Ｉ_Ｈ（ｉ，ｊ）

（３）

∑

１

ｉ，ｊ

其中Ａ_θ，Ｗ_α分别为旋转变换和尺度收缩矩阵，具体表

示为

本文是在基于方向性全变分（ＤｉｒｅｃｔｉｏｎａｌＴｏｔａｌＶａｒｉ⁃

ａｔｉｏｎ，ＤＴＶ）^［２７］ＳＲ方法的基础之上^［２８］，以数据驱动为核

心，深入挖掘ＩＳＥ更高阶的图像细节信息而提出的基于

二阶广义方向性全变分（Ｓｅｃｏｎｄ⁃ｏｒｄｅｒＤｉｒｅｃｔｉｏｎａｌＴｏｔａｌ

ＧｅｎｅｒａｌｉｚｅｄＶａｒｉａｔｉｏｎ，ＤＴＧＶ）的ＳＲ方法．ＤＴＧＶ不仅可

以保持ＤＴＶ在超分辨率重建过程中表现出的边缘保护

和噪声抑制的优势，还能够通过高阶处理减轻阶梯伪

影并重建出更清晰的图像细节．基于ＤＴＧＶ的ＳＲ问题

是一个凸优化问题，可用交替方向乘子算法（Ａｌｔｅｒｎａｔｉｎｇ

－

ｃｏｓθ

ｓｉｎθ

０

^{＝ ç}ｓｉｎθ ｃｏｓθ

^{＝ ç}０１^÷

Ａ_θ

，Ｗ_α

（４）

并且Ａ^∗_θＡ_－，Ｗ

Ｗ_α（（ ·）^∗表示该算子的共轭算

∗

＝

子）．

近来提出的广义全变分（ＴｏｔａｌＧｅｎｅｒａｌｉｚｅｄ

Ｖａｒｉａｔｉｏｎ，ＴＧＶ）是ＴＶ的广义模型^{［３１３３］}，它利用高阶变

－

差可显著减少ＴＶ在重建过程中产生的阶梯伪影．综合

考虑计算复杂度和性能，二阶ＴＧＶ是最为常用的版本，

如无特殊声明，本文所涉及的ＴＧＶ均为二阶ＴＧＶ．二阶

ＤｉｒｅｃｔｉｏｎＭｅｔｈｏｄｏｆＭｕｌｔｉｐｌｉｅｒｓ，ＡＤＭＭ）有效求解^{［２９～３０］}

．

ＴＧＶ本身是一个最小化问题，其离散版本可表述为，

实验结果表明，基于ＤＴＧＶ的方法在超分辨率重建ＩＳＥ

的性能上要优于目前很多方法，并可以产生更多清晰

的图像细节．

２

＝

－

＋

ｐ α_０ε（ｐ）

１

ＴＧＶ_α（Ｉ_Ｈ）ｍｉｎα_１▽Ｉ_Ｈ

（５）

１

ｐ

基于ＤＴＶ和二阶ＴＧＶ的概念，我们提出了二阶

ＤＴＧＶ的概念，即

ＤＴＧＶ_α（Ｉ_Ｈ）ｍｉｎα_１Ｗ_α^∗Ａ^∗_θ▽Ｉ_Ｈ

２

２ꢀ 超分辨率图像重建

＝

－

＋

ｐ α_０ε（ｐ）

１

ｐ

ꢀ ꢀ 一幅观测得到的低分辨率图像Ｉ_Ｌ∈Ｒ^{ｍｎ}，可以看作

（６）

是一幅高分辨率图像Ｉ_Ｈ∈Ｒ^{ＭＮ}（Ｍ＞ｍ，Ｎ＞ｎ）经过模糊和

１

Ｔ

＝

＋

其中 ε（ｐ）

（ ▽ｐ ▽ｐ）表示对称梯度．可以看出

－

降采样处理得到的^{［１３］}，即

２

ＤＴＧＶ^２_α在一阶差分和二阶差分之间作了一个优化均

衡，我们可以给出其直观的解释．对于Ｉ_Ｈ的平滑区域，

二阶差分要比一阶差分小很多，所以最小化式（６）趋向

＝

Ｉ_ＬΩ（ｈ⊗Ｉ_Ｈ）

（１）

其中 Ω 是Ｒ^Ｍ

Ｒ^{ｍｎ}的降采样算子，ｈ是模糊核函数，

Ｎ

→

⊗是卷积处理过程．超分辨率图像重建过程就是从低分

辨率的观测图像Ｉ_Ｌ中重建出高分辨率图像Ｉ_Ｈ，且分辨

率的提高因子一般可达３倍以上（即Ｍ≥３ｍ，Ｎ≥３ｎ）．

可以看出，模型中的降采样过程导致了数据的大量缺

失，并且模糊核函数的不确定性进一步加深了ＳＲ过程

的病态程度．基于正则化约束的ＳＲ方法是通过引进有

效的先验信息约束项来补偿降采样过程中丢失的数据

信息，从而使问题向良态转化．给定一个正则化补偿项，

从低分辨率图像中重建高分辨率图像的过程可以转化

为下面的优化求解问题．

∗

＝

于选择ｐＷ_αＡ_θ▽Ｉ_Ｈ，从而会趋向于用二阶差分来描

述平滑区．对于Ｉ_Ｈ的跳变区域如边缘附近，一阶差分比

＝

二阶差分小很多，所以趋向于选择ｐ０来最小化式

（６），因此ＤＴＧＶ^２_α变成了ＤＴＶ约束项来描述跳变区域，

而这正是ＤＴＶ的优势所在．所以可以看出，ＤＴＧＶ用高

阶变分来描述平滑区，用低阶变分描述跳变区，可有效

抑制低阶差分描述平滑区所带来的伪影，从而对图像

更具有自适应性．

４ꢀ 基于ＤＴＧＶ的ＳＲ方法

１

Ｈ

２

＾

＝

－

＋

λＲ（Ｉ_Ｈ）

Ｉ_Ｈａｒｇｍｉｎ

ΩＦ（Ｆ（ｈ）Ｆ（Ｉ_Ｈ））Ｉ_Ｌ

（２）

ꢀ ꢀ 给定了式（２）基于正则化项的模型和式（６）ＤＴＧＶ

的概念，可以整合得到基于ＤＴＧＶ的ＳＲ模型，那么就可

以从一幅低分辨率图像中重建出高分辨率图像，

Ｉ_Ｈ

２

其中Ｆ，Ｆ ^Ｈ分别是傅里叶变换和傅里叶反变换，第一项

为数据保真项，第二项为作用在Ｉ_Ｈ上的正则化约束项，

λ 为正则化参数．Ｒ（Ｉ_Ｈ）的选择便成为了基于正则化约

束ＳＲ方法的关键．本文即针对ＩＳＥ这一特殊类型的图

像采用ＤＴＧＶ补偿项，深入挖掘隐含的高阶图像细节信

息，使重建出的高分辨率图像性能更佳．

Ｈ

２

＾

＝

－

ΩＦ（Ｆ（ｈ）Ｆ（Ｉ_Ｈ））Ｉ_Ｌ

ꢀ ꢀ Ｉ_Ｈａｒｇｍｉｎ

Ｉ_Ｈ

２

α_１Ｗ^∗_αＡ^∗_θ▽Ｉ_Ｈ

（７）

＋

－

＋

ｐ α_０ε（ｐ）

１

∗

＝

其中 β 是数据保真项参数．令ＢＷ_αＡ_θ，也即是

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

基于二阶广义方向性全变分的图像超分辨率重建方法

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页