推荐星级：

投影约束的遮挡点恢复方法

更新时间：2019-12-24 19:15:57 大小：1M 上传用户：zhiyao6 查看TA发布的资源 标签：遮挡点 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

为了恢复图像中的遮挡点,本文在相机为正投影模型下,提出了一种投影约束的遮挡点恢复方法.该方法利用图像矩阵的行空间和列空间都是三维子空间的特性,通过用矩阵奇异值分解分别得到图像矩阵行和列投影满足的约束条件,将遮挡点的求解转化为迭代求解二次型的极值问题.仿真实验和真实实验结果表明,本文方法具有收敛速度快,恢复精度高等优点.

部分文件列表

文件名	大小
投影约束的遮挡点恢复方法.pdf	1M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

第１１期

电ꢀ

ꢀ

子ꢀ

ꢀ

学ꢀ

ꢀ

报

Ｖｏｌ．４５ꢀ Ｎｏ．１１

Ｎｏｖ．ꢀ ２０１７

２０１７年１１月

ＡＣＴＡＥＬＥＣＴＲＯＮＩＣＡＳＩＮＩＣＡ

投影约束的

遮挡点恢复方法

刘侍刚^{１，２，３}，彭亚丽^１，２

（１．现代教学技术教育部重点实验室，陕西西安７１００６２；２．陕西省教学信息技术工程实验室，陕西西安７１０１１９；

３．陕西师范大学计算机科学学院，陕西西安７１０１１９）

ꢀ ꢀ 摘ꢀ 要：ꢀ 为了恢复图像中的遮挡点，本文在相机为正投影模型下，提出了一种投影约束的遮挡点恢复方法．该方

法利用图像矩阵的行空间和列空间都是三维子空间的特性，通过用矩阵奇异值分解分别得到图像矩阵行和列投影满

足的约束条件，将遮挡点的求解转化为迭代求解二次型的极值问题．仿真实验和真实实验结果表明，本文方法具有收

敛速度快，恢复精度高等优点．

关键词： ꢀ 遮挡点；三维子空间；奇异值分解；二次函数

中图分类号： ꢀ ＴＰ３９１ư ４１；Ｐ２３２ꢀ ꢀ ꢀ 文献标识码： ꢀ Ａꢀ ꢀ ꢀ 文章编号： ꢀ ０３７２⁃２１１２（２０１７）１１⁃２６１１⁃０６

电子学报ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｅｊｏｕｒｎａｌ．ｏｒｇ．ｃｎꢀ

ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．０３７２⁃２１１２．２０１７．１１．００６

ＯｃｃｌｕｓｉｏｎＲｅｃｏｖｅｒｙＭｅｔｈｏｄＢａｓｅｄｏｎ

ＰｒｏｊｅｃｔｉｖｅＣｏｎｓｔｒａｉｎｔｓ

ＬＩＵＳｈｉ⁃ｇａｎｇ^{１，２，３}，ＰＥＮＧＹａ⁃ｌｉ^１，２

（１．ＫｅｙＬａｂｏｒａｔｏｒｙｏｆＭｏｄｅｒｎＴｅａｃｈｉｎｇＴｅｃｈｎｏｌｏｇｙ，ＭｉｎｉｓｔｒｙｏｆＥｄｕｃａｔｉｏｎ，Ｘｉ’ａｎ，Ｓｈａａｎｘｉ７１００６２；

２．ＥｎｇｉｎｅｅｒｉｎｇＬａｂｏｒａｔｏｒｙｏｆＴｅａｃｈｉｎｇＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙｏｆＳｈａａｎｘｉＰｒｏｖｉｎｃｅ，Ｘｉ’ａｎ，Ｓｈａａｎｘｉ７１０１１９；

３．ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＳｈａａｎｘｉＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ，Ｓｈａａｎｘｉ７１０１１９）

Ａｂｓｔｒａｃｔ：ꢀ Ｔｏｒｅｃｏｖｅｒｔｈｅｐｏｓｉｔｉｏｎｏｆｏｃｃｌｕｓｉｏｎ，ａｎｏｃｃｌｕｓｉｏｎｒｅｃｏｖｅｒｙｍｅｔｈｏｄｂａｓｅｄｏｎｐｒｏｊｅｃｔｉｖｅｃｏｎｓｔｒａｉｎｔｓｕｎｄｅｒ

ｏｒｔｈｏｇｒａｐｈｉｃｐｒｏｊｅｃｔｉｏｎｉｓｐｒｅｓｅｎｔｅｄ．Ｕｔｉｌｉｚｉｎｇｔｈｅｐｒｏｐｅｒｔｙｔｈａｔｂｏｔｈｔｈｅｒｏｗａｎｄｔｈｅｃｏｌｕｍｎｓｐａｃｅｏｆｉｍａｇｅｍａｔｒｉｘａｒｅｐｒｏ⁃

ｊｅｃｔｉｖｅｓｕｂｓｐａｃｅｓ，ｔｈｅｍｅｔｈｏｄａｐｐｌｉｅｓＳｉｎｇｕｌａｒＶａｌｕｅＤｅｃｏｍｐｏｓｉｔｉｏｎ（ＳＶＤ）ｔｏｇｅｔｔｈｅｉｍａｇｅｍａｔｒｉｘ’ｓｒｏｗａｎｄｃｏｌｕｍｎｍｅｔ⁃

ｒｉｃｃｏｎｓｔｒａｉｎｔｓ，ａｎｄｒｅｐｌａｃｅｓｏｃｃｌｕｓｉｏｎｓｏｌｕｔｉｏｎｂｙｉｔｅｒａｔｉｖｅｌｙｓｏｌｖｉｎｇｔｈｅｍｉｎｉｍｕｍｏｆａｑｕａｄｒａｔｉｃｆｕｎｃｔｉｏｎ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔｓ

ｗｉｔｈｂｏｔｈｓｉｍｕｌａｔｅｄａｎｄｒｅａｌｄａｔａｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｈａｓｔｈｅａｄｖａｎｔａｇｅｓｏｆｆａｓｔｃｏｎｖｅｒｇｅｎｃｅｓｐｅｅｄａｎｄｓｍａｌｌｅｒ⁃

ｒｏｒ．

Ｋｅｙｗｏｒｄｓ：ꢀ ｏｃｃｌｕｓｉｏｎ；ｐｒｏｊｅｃｔｉｖｅ；ｓｉｎｇｕｌａｒｖａｌｕｅｄｅｃｏｍｐｏｓｉｔｉｏｎ；ｑｕａｄｒａｔｉｃｆｕｎｃｔｉｏｎ

的情况下其秩最大为３，这意味着图像矩阵本身含有大

１ꢀ 引言

量的冗余信息，因此可以用于遮挡点的恢复．Ｊａｃｏｂｓ

等^［６］基于图像矩阵为一个低秩矩阵的特性，利用子矩

阵法对遮挡点进行恢复，但是该方法的结果依赖所选

择的子矩阵．为了克服该方法的缺点，有些学者利用图

像矩阵为投影矩阵和空间点矩阵相乘的特性，进行循

环迭代求解．在该类方法中，最具有代表性的是Ｗｉｂｅｒｇ

方法^［７］，目前它已经成为遮挡点恢复的标准算法之

ꢀ ꢀ 计算机视觉研究领域的一个重要问题是运动恢复

结构，而特征点跟踪又是其中的一个重要环节^{［１，２］}．在实

际场景中，遮挡现象经常出现，这导致部分图像信息丢

失．如何利用图像矩阵的冗余信息恢复这些遮挡的特征

点，是计算机视觉的研究热点问题之一^{［３，４］}

为了恢复图像中的遮挡点，Ｔｏｍａｓｉ和Ｋａｎａｄｅ^［５］

．

于

一

^{［８～１０］}．但是该类方法在遮挡率比较高时，算法无法收

１９９２年证明了特征点对应的图像矩阵在没有任何误差

收稿日期：２０１６⁃１１⁃０１；修回日期：２０１７⁃０５⁃０９；责任编辑：马兰英

基金项目：国家自然科学基金（Ｎｏ．６１６７２３３３，Ｎｏ．６１４０２２７４）；陕西省工业科技攻关项目（Ｎｏ．２０１６ＧＹ⁃０８１）；陕西省科学研究发展计划项目（Ｎｏ．

２０１６ＮＹ⁃１７６）；陕西省重点科技创新团队（Ｎｏ．２０１４ＫＴＳ⁃１８）；现代教学技术教育部重点实验室学习科学交叉学科培育计划资助

电ꢀ ꢀ 子ꢀ ꢀ 学ꢀ ꢀ 报

２０１７年

２６１２

敛．同时，部分学者利用重投影误差构造目标函数^{［１１，１２］}

，

的标准正交基．

本文利用该特性，实现遮挡点的恢复．

采用非线性优化方法进行迭代求解，但由于该目标函

数是一个非凸函数．

３ꢀ 投影约束的遮挡点恢复方法

为了解决这个问题，Ｍａｒｔｉｎｅｃ等人利用三线性约束

恢复遮挡点^［１３］，但该方法的缺点是三线性约束关系中

所有的图像并不是平等的，因此必然导致误差较大．刘

等人将图像两两组合，利用删除遮挡点后的图像矩阵

的行空间等于原子空间的特性，提出了一种线性求解

遮挡点的方法^［１４］，但该方法对噪声极其敏感．同时，

Ｎｏｇｕｅｒ等人利用图像矩阵的行向量生成的行空间和空

间结构矩阵的行空间是同一三维子空间的特性^［１５］，对

遮挡点进行恢复，但该方法仅考虑了图像矩阵在行上

的约束，同时该方法的目标函数也是个非凸函数．

近年来，许多学者研究并提出了许多有效的低秩

矩阵恢复方法^{［１６～１８］}，但大部分方法没有利用图像矩阵

的行空间和列空间都是三维子空间的特性，导致恢复

精度较低．且这些方法一般都需要事先设定一个权值，

以平衡误差和秩，但该权值的设定，目前还缺乏理论

指导．

ꢀ ꢀ 由于各种原因，导致图像矩阵部分元素缺失，因此

本文首先假设所有的遮挡点都有一个初值，分别利用

图像矩阵的行和列约束，恢复遮挡点的真实值．

３ư １ꢀ 行投影

由于将Ｍ_{２ｍｎ}的任一行向量ｒ_ｊ投影到Ｄ_{３ｎ}行空间的

正交补空间的投影矩阵为：

－

Ｔ

Ｐ_ｎ^ｒ⊥Ｉ_ｎＤ_３Ｄ_{３ｎ}Ｄ_３^Ｔ

^１Ｄ_３

（４）

＝

－

(

)

ｎ

ｒ_ｊ到Ｄ_{３ｎ}行空间的正交补子空间的投影为：

ｒ_ｊＰ_ｎ^ｒ⊥０_１

（５）

＝

ｎ

由于图像点中含有噪声，因此可以将式（５）转化为

求下式的极值，即：

Ｔ

ｅ_ｊ^ｒｒ_ｊＰ^ｒ_ｎ^⊥（ｒＰ^ｒ⊥

ｎｎ

ｒ_ｊＰ_ｎ^ｒ⊥_ｎｒ^Ｔ_ｊ

（６）

（７）

＝

）

ｎ

ｊ

假设ｒ_ｊ仅含有两个未知分量，即：

୰

ｒ_ｌ

＝

ｒ_ｊ

ｒ

(

ｒ_２

…

ｒ_ｋ

…

ｒ_ｎ

)

１

୰

式中ｒ表示为遮挡点．

为了克服上述缺点，本文提出了一种投影约束的

遮挡点恢复方法，该方法利用图像矩阵的行空间和列

空间都是三维子空间的特性，对图像矩阵进行奇异值

分解，得到两个投影矩阵，分别推导出图像矩阵的行和

列投影所满足的约束条件，将遮挡点的求解转化为半

正定二次型的迭代求解．为了验证方法的有效性，本文

分别进行了仿真和真实图像实验，并分别与Ｗｉｂｅｒｇ方

法^［９］和Ｎｏｇｕｅｒ方法^［１５］进行了对比，结果表明，本文算法

具有更高的收敛速度和恢复精度．

将式（７）代入式（６）中，得到：

Ｔ

ｅ_ｊ^ｒｘ_ｊＡ_ｊｘ_ｊ２ａ_ｊｘ_ｊε_ｊ

（８）

＝

＋

Ｔ

ｒ⊥

୰

＝

式中ｘ_ｊ（ｒ_ｋꢀ ｒ_ｌ）为未知向量，Ａ_ｊ为矩阵Ｐ_{ｎｎ}的子矩

阵，ａ_ｊ为由Ｐ_ｎ^ｒ⊥_ｎ元素构成的向量，ε_ｊ为常数项．

式（８）的极值为：

－

１

＝

ｘ_ｊＡ_ｊａ_ｊ

（９）

在上述推导过程中，仅假设ｒ_ｊ含有两个未知分量，

若含有ｗ个未知分量，则Ａ_ｊ为一个Ｐ_ｎ^ｒ⊥_ｎ的ｗｗ子矩阵；

ａ_ｊ为一个ｗ１的向量．

２ꢀ 相机模型和图像矩阵

＝

若ｗｎ，即第ｊ行所有的元素都未知，则有ａ_ｊ０，

ꢀ ꢀ 在正投影相机模型下，设有ｍ幅图像及ｎ个三维

空间特征点，则有：

＝

由式（９）可得ｘ_ｊ０，此时算法失效，这和文献［１９］一致．

３ư ２ꢀ 列投影

＝

ｍ_ｉ，ｊＰ_ｉｘ_ｊ

（１）

类似３ư １节，可得Ｍ_{２ｍｎ}的任一列向量ｃ_ｉ投影到

式中ｍ_ｉ，ｊ表示第ｉ幅图像中第ｊ个特征点的图像二维坐

标，ｘ_ｊ表示第ｊ个特征点的三维坐标，Ｐ_ｉ为第ｉ幅图像

的投影矩阵．

Ｓ_{２ｍ３}列空间正交补空间上的投影为：

ｃ⊥

Ｔ

＝

－

＝

(

)

Ｐ

_２ｍｃ_ｉＩ_２ｍ

Ｓ_{２ｍ３}Ｓ_２ｍｃ_ｉ０_２ｍ

１

（１０）

２ｍ

３

同样，式（１０）的求解可转化为求下式的极小值，即：

将所有图像及投影矩阵按如下的方式整合在一

起，则有：

Ｔ

ｃ⊥

ｅ^ｃ_ｉｃ_ｉＰ_{２ｍ２ｍ}ｃ_ｉ

（１１）

（１２）

（１３）

＝

假设ｃ_ｉ仅含有两个未知分量，即：

＝

Ｍ_２ｍ

Ｐ_{２ｍ３}Ｘ_３

ｎ

（２）

ｎ

Ｔ

୰

ｃ_ｋ

୰

ｃ_ｌ

＝

ｃ_ｉ

ｃ

(

ｃ_２

…

ｃ_２ｍ

)

１

式中Ｍ_{２ｍｎ}由ｍｎ个图像点ｍ_ｉ，ｊ组成，Ｐ_{２ｍ３}由所有投影

୰

式中ｃ表示为遮挡点．则有：

矩阵Ｐ_ｉ组成，Ｘ_{３ｎ}由ｎ个三维空间点ｘ_ｊ组成．

Ｔ

ｅ_ｉ^ｃｙ_ｉＢ_ｉｙ_ｉ２ｂ_ｉｙ_ｉη_ｉ

从式（２）可以看出，矩阵Ｍ_{２ｍｎ}的秩为３^［５］．从而矩

＝

＋

Ｔ

ｃ⊥

阵Ｍ_{２ｍｎ}的行空间和列空间分别是Ｒ^ｎ和Ｒ^２ｍ的三维子

୰ ୰

＝

式中ｙ_ｉ（ｃ_ｋꢀ ｃ_ｌ）为未知向量，Ｂ_ｉ为矩阵Ｐ_{２ｍ２ｍ}的子矩

阵，ｂ_ｉ和 η_ｉ的意义同行约束的情形．

式（１３）的最优解为：

空间．对Ｍ_{２ｍｎ}进行奇异值分解，则有：

＝

Ｍ_２ｍ

Ｓ_{２ｍ３}Ｖ_{３３}Ｄ_３

ｎ

（３）

ｎ

－

１

＝

ｙ_ｉＢ_ｉｂ_ｉ

（１４）

式中Ｓ_{２ｍ３}和Ｄ_{３ｎ}分别为图像矩阵Ｍ_{２ｍｎ}行空间和列空间

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

投影约束的遮挡点恢复方法

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页