推荐星级：
- 1
- 2
- 3
- 4
- 5
投影约束的遮挡点恢复方法
资料介绍
为了恢复图像中的遮挡点,本文在相机为正投影模型下,提出了一种投影约束的遮挡点恢复方法.该方法利用图像矩阵的行空间和列空间都是三维子空间的特性,通过用矩阵奇异值分解分别得到图像矩阵行和列投影满足的约束条件,将遮挡点的求解转化为迭代求解二次型的极值问题.仿真实验和真实实验结果表明,本文方法具有收敛速度快,恢复精度高等优点.
部分文件列表
| 文件名 | 大小 |
| 投影约束的遮挡点恢复方法.pdf | 1M |
部分页面预览
（完整内容请下载后查看）第 １１ 期
电ꢀ
ꢀ
子ꢀ
ꢀ
学ꢀ
ꢀ
报
Ｖｏｌ．４５ꢀ Ｎｏ．１１
Ｎｏｖ．ꢀ ２０１７
２０１７ 年 １１ 月
ＡＣＴＡ ＥＬＥＣＴＲＯＮＩＣＡ ＳＩＮＩＣＡ
投影约束的
遮挡点恢复方法
刘侍刚１，２，３，彭亚丽１，２
（１．现代教学技术教育部重点实验室，陕西西安 ７１００６２；２．陕西省教学信息技术工程实验室，陕西西安 ７１０１１９；
３．陕西师范大学计算机科学学院，陕西西安 ７１０１１９）
ꢀ ꢀ 摘ꢀ 要：ꢀ 为了恢复图像中的遮挡点，本文在相机为正投影模型下，提出了一种投影约束的遮挡点恢复方法．该方
法利用图像矩阵的行空间和列空间都是三维子空间的特性，通过用矩阵奇异值分解分别得到图像矩阵行和列投影满
足的约束条件，将遮挡点的求解转化为迭代求解二次型的极值问题．仿真实验和真实实验结果表明，本文方法具有收
敛速度快，恢复精度高等优点．
关键词： ꢀ 遮挡点； 三维子空间； 奇异值分解； 二次函数
中图分类号： ꢀ ＴＰ３９１ư ４１； Ｐ２３２ꢀ ꢀ ꢀ 文献标识码： ꢀ Ａꢀ ꢀ ꢀ 文章编号： ꢀ ０３７２⁃２１１２ （２０１７）１１⁃２６１１⁃０６
电子学报 ＵＲＬ： ｈｔｔｐ：／ ／ ｗｗｗ．ｅｊｏｕｒｎａｌ．ｏｒｇ．ｃｎꢀ
ＤＯＩ： １０．３９６９／ ｊ．ｉｓｓｎ．０３７２⁃２１１２．２０１７．１１．００６
Ｏｃｃｌｕｓｉｏｎ Ｒｅｃｏｖｅｒｙ Ｍｅｔｈｏｄ Ｂａｓｅｄ ｏｎ
Ｐｒｏｊｅｃｔｉｖｅ Ｃｏｎｓｔｒａｉｎｔｓ
ＬＩＵ Ｓｈｉ⁃ｇａｎｇ１，２，３ ，ＰＥＮＧ Ｙａ⁃ｌｉ１，２
（ １．Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｍｏｄｅｒｎ Ｔｅａｃｈｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ，Ｍｉｎｉｓｔｒｙ ｏｆ Ｅｄｕｃａｔｉｏｎ，Ｘｉ’ａｎ，Ｓｈａａｎｘｉ ７１００６２；
２．Ｅｎｇｉｎｅｅｒｉｎｇ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｔｅａｃｈｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ ｏｆ Ｓｈａａｎｘｉ Ｐｒｏｖｉｎｃｅ，Ｘｉ’ａｎ，Ｓｈａａｎｘｉ ７１０１１９；
３．Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｓｈａａｎｘｉ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ，Ｓｈａａｎｘｉ ７１０１１９）
Ａｂｓｔｒａｃｔ：ꢀ Ｔｏ ｒｅｃｏｖｅｒ ｔｈｅ ｐｏｓｉｔｉｏｎ ｏｆ ｏｃｃｌｕｓｉｏｎ，ａｎ ｏｃｃｌｕｓｉｏｎ ｒｅｃｏｖｅｒｙ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｐｒｏｊｅｃｔｉｖｅ ｃｏｎｓｔｒａｉｎｔｓ ｕｎｄｅｒ
ｏｒｔｈｏｇｒａｐｈｉｃ ｐｒｏｊｅｃｔｉｏｎ ｉｓ ｐｒｅｓｅｎｔｅｄ．Ｕｔｉｌｉｚｉｎｇ ｔｈｅ ｐｒｏｐｅｒｔｙ ｔｈａｔ ｂｏｔｈ ｔｈｅ ｒｏｗ ａｎｄ ｔｈｅ ｃｏｌｕｍｎ ｓｐａｃｅ ｏｆ ｉｍａｇｅ ｍａｔｒｉｘ ａｒｅ ｐｒｏ⁃
ｊｅｃｔｉｖｅ ｓｕｂｓｐａｃｅｓ，ｔｈｅ ｍｅｔｈｏｄ ａｐｐｌｉｅｓ Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ（ＳＶＤ） ｔｏ ｇｅｔ ｔｈｅ ｉｍａｇｅ ｍａｔｒｉｘ’ｓ ｒｏｗ ａｎｄ ｃｏｌｕｍｎ ｍｅｔ⁃
ｒｉｃ ｃｏｎｓｔｒａｉｎｔｓ，ａｎｄ ｒｅｐｌａｃｅｓ ｏｃｃｌｕｓｉｏｎ ｓｏｌｕｔｉｏｎ ｂｙ ｉｔｅｒａｔｉｖｅｌｙ ｓｏｌｖｉｎｇ ｔｈｅ ｍｉｎｉｍｕｍ ｏｆ ａ ｑｕａｄｒａｔｉｃ ｆｕｎｃｔｉｏｎ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔｓ
ｗｉｔｈ ｂｏｔｈ ｓｉｍｕｌａｔｅｄ ａｎｄ ｒｅａｌ ｄａｔａ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｈａｓ ｔｈｅ ａｄｖａｎｔａｇｅｓ ｏｆ ｆａｓｔ ｃｏｎｖｅｒｇｅｎｃｅ ｓｐｅｅｄ ａｎｄ ｓｍａｌｌ ｅｒ⁃
ｒｏｒ．
Ｋｅｙ ｗｏｒｄｓ：ꢀ ｏｃｃｌｕｓｉｏｎ；ｐｒｏｊｅｃｔｉｖｅ；ｓｉｎｇｕｌａｒ ｖａｌｕｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ；ｑｕａｄｒａｔｉｃ ｆｕｎｃｔｉｏｎ
的情况下其秩最大为 ３，这意味着图像矩阵本身含有大
１ꢀ 引言
量的冗 余 信 息， 因 此 可 以 用 于 遮 挡 点 的 恢 复． Ｊａｃｏｂｓ
等［６］ 基于图像矩阵为一个低秩矩阵的特性，利用子矩
阵法对遮挡点进行恢复，但是该方法的结果依赖所选
择的子矩阵．为了克服该方法的缺点，有些学者利用图
像矩阵为投影矩阵和空间点矩阵相乘的特性，进行循
环迭代求解．在该类方法中，最具有代表性的是 Ｗｉｂｅｒｇ
方法［７］ ，目前它已经成为遮挡点恢复的标准算法之
ꢀ ꢀ 计算机视觉研究领域的一个重要问题是运动恢复
结构，而特征点跟踪又是其中的一个重要环节［１，２］ ．在实
际场景中，遮挡现象经常出现，这导致部分图像信息丢
失．如何利用图像矩阵的冗余信息恢复这些遮挡的特征
点，是计算机视觉的研究热点问题之一［３，４］
为了恢复图像中的遮挡点，Ｔｏｍａｓｉ 和 Ｋａｎａｄｅ［５］
．
于
一
［８～１０］ ．但是该类方法在遮挡率比较高时，算法无法收
１９９２ 年证明了特征点对应的图像矩阵在没有任何误差
收稿日期：２０１６⁃１１⁃０１；修回日期：２０１７⁃０５⁃０９；责任编辑：马兰英
基金项目：国家自然科学基金（Ｎｏ．６１６７２３３３，Ｎｏ．６１４０２２７４）；陕西省工业科技攻关项目（ Ｎｏ．２０１６ＧＹ⁃０８１）；陕西省科学研究发展计划项目（ Ｎｏ．
２０１６ＮＹ⁃１７６）；陕西省重点科技创新团队（Ｎｏ．２０１４ＫＴＳ⁃１８）；现代教学技术教育部重点实验室学习科学交叉学科培育计划资助
电ꢀ ꢀ 子ꢀ ꢀ 学ꢀ ꢀ 报
２０１７ 年
２６１２
敛．同时，部分学者利用重投影误差构造目标函数［１１，１２］
，
的标准正交基．
本文利用该特性，实现遮挡点的恢复．
采用非线性优化方法进行迭代求解，但由于该目标函
数是一个非凸函数．
３ꢀ 投影约束的遮挡点恢复方法
为了解决这个问题，Ｍａｒｔｉｎｅｃ 等人利用三线性约束
恢复遮挡点［１３］ ，但该方法的缺点是三线性约束关系中
所有的图像并不是平等的，因此必然导致误差较大．刘
等人将图像两两组合，利用删除遮挡点后的图像矩阵
的行空间等于原子空间的特性，提出了一种线性求解
遮挡点的方法［１４］ ，但该方法对噪声极其敏感． 同时，
Ｎｏｇｕｅｒ 等人利用图像矩阵的行向量生成的行空间和空
间结构矩阵的行空间是同一三维子空间的特性［１５］ ，对
遮挡点进行恢复，但该方法仅考虑了图像矩阵在行上
的约束，同时该方法的目标函数也是个非凸函数．
近年来，许多学者研究并提出了许多有效的低秩
矩阵恢复方法［１６～１８］ ，但大部分方法没有利用图像矩阵
的行空间和列空间都是三维子空间的特性，导致恢复
精度较低．且这些方法一般都需要事先设定一个权值，
以平衡误差和秩，但该权值的设定，目前还缺乏理论
指导．
ꢀ ꢀ 由于各种原因，导致图像矩阵部分元素缺失，因此
本文首先假设所有的遮挡点都有一个初值，分别利用
图像矩阵的行和列约束，恢复遮挡点的真实值．
３ư １ꢀ 行投影
由于将 Ｍ２ｍ ｎ 的任一行向量 ｒｊ 投影到 Ｄ３ ｎ 行空间的
×
×
正交补空间的投影矩阵为：
－
Ｔ
Ｐｎｒ⊥ Ｉｎ Ｄ３ Ｄ３ ｎ Ｄ３Ｔ
１ Ｄ３
（４）
＝
－
(
)
×
×
×
×
×
×
ｎ
ｎ
ｎ
ｎ
ｎ
ｒｊ 到 Ｄ３ ｎ 行空间的正交补子空间的投影为：
×
ｒｊ Ｐｎｒ⊥ ０１
（５）
＝
×
×
ｎ
ｎ
由于图像点中含有噪声，因此可以将式（５）转化为
求下式的极值，即：
Ｔ
ｅｊｒ ｒｊ Ｐｒｎ⊥ （ｒ Ｐｒ⊥
×
ｎ ｎ
ｒｊ Ｐｎｒ⊥ｎ ｒＴｊ
（６）
（７）
＝
＝
）
×
×
ｎ
ｊ
假设 ｒｊ 仅含有两个未知分量，即：
୰
୰
ｒｌ
＝
ｒｊ
ｒ
(
ｒ２
…
ｒｋ
…
…
ｒｎ
)
１
୰
式中 ｒ 表示为遮挡点．
为了克服上述缺点，本文提出了一种投影约束的
遮挡点恢复方法，该方法利用图像矩阵的行空间和列
空间都是三维子空间的特性，对图像矩阵进行奇异值
分解，得到两个投影矩阵，分别推导出图像矩阵的行和
列投影所满足的约束条件，将遮挡点的求解转化为半
正定二次型的迭代求解．为了验证方法的有效性，本文
分别进行了仿真和真实图像实验，并分别与 Ｗｉｂｅｒｇ 方
法［９］ 和 Ｎｏｇｕｅｒ 方法［１５］ 进行了对比，结果表明，本文算法
具有更高的收敛速度和恢复精度．
将式（７）代入式（６）中，得到：
Ｔ
Ｔ
ｅｊｒ ｘｊ Ａｊ ｘｊ ２ａｊ ｘｊ εｊ
（８）
＝
＋
＋
Ｔ
ｒ⊥
×
୰
୰
＝
式中 ｘｊ （ｒｋ ꢀ ｒｌ ） 为未知向量，Ａｊ 为矩阵 Ｐｎ ｎ 的子矩
阵，ａｊ 为由 Ｐｎｒ⊥ｎ 元素构成的向量，εｊ 为常数项．
×
式（８）的极值为：
－
１
＝
ｘｊ Ａｊ ａｊ
（９）
在上述推导过程中，仅假设 ｒｊ 含有两个未知分量，
若含有 ｗ 个未知分量，则 Ａｊ 为一个 Ｐｎｒ⊥ｎ 的 ｗ ｗ 子矩阵；
×
×
×
ａｊ 为一个 ｗ １ 的向量．
２ꢀ 相机模型和图像矩阵
＝
＝
若 ｗ ｎ，即第 ｊ 行所有的元素都未知，则有 ａｊ ０，
ꢀ ꢀ 在正投影相机模型下，设有 ｍ 幅图像及 ｎ 个三维
空间特征点，则有：
＝
由式（９）可得 ｘｊ ０，此时算法失效，这和文献［１９］一致．
３ư ２ꢀ 列投影
＝
ｍｉ，ｊ Ｐｉ ｘｊ
（１）
类似 ３ư １ 节，可得 Ｍ２ｍ ｎ 的任一列向量 ｃｉ 投影到
×
式中 ｍｉ，ｊ 表示第 ｉ 幅图像中第 ｊ 个特征点的图像二维坐
标，ｘｊ 表示第 ｊ 个特征点的三维坐标，Ｐｉ 为第 ｉ 幅图像
的投影矩阵．
Ｓ２ｍ ３ 列空间正交补空间上的投影为：
×
ｃ⊥
Ｔ
＝
－
＝
(
)
Ｐ
２ｍ ｃｉ Ｉ２ｍ
Ｓ２ｍ ３ Ｓ２ｍ ｃｉ ０２ｍ
×
１
（１０）
×
×
×
×
２ｍ
２ｍ
３
同样，式（１０）的求解可转化为求下式的极小值，即：
将所有图像及投影矩阵按如下的方式整合在一
起，则有：
Ｔ
ｃ⊥
×
ｅｃｉ ｃｉ Ｐ２ｍ ２ｍ ｃｉ
（１１）
（１２）
（１３）
＝
假设 ｃｉ 仅含有两个未知分量，即：
＝
Ｍ２ｍ
Ｐ２ｍ ３ Ｘ３
×
ｎ
（２）
×
×
ｎ
Ｔ
୰
ｃｋ
୰
ｃｌ
＝
ｃｉ
ｃ
(
ｃ２
…
…
…
ｃ２ｍ
)
１
×
式中 Ｍ２ｍ ｎ 由 ｍ ｎ 个图像点 ｍｉ，ｊ 组成，Ｐ２ｍ ３ 由所有投影
×
×
୰
式中 ｃ 表示为遮挡点．则有：
矩阵 Ｐｉ 组成，Ｘ３ ｎ 由 ｎ 个三维空间点 ｘｊ 组成．
×
Ｔ
Ｔ
ｅｉｃ ｙｉ Ｂｉ ｙｉ ２ｂｉ ｙｉ ηｉ
从式（２）可以看出，矩阵 Ｍ２ｍ ｎ 的秩为 ３［５］ ．从而矩
＝
＋
＋
×
Ｔ
ｃ⊥
阵 Ｍ２ｍ ｎ 的行空间和列空间分别是 Ｒｎ 和 Ｒ２ｍ 的三维子
୰ ୰
＝
式中 ｙｉ （ｃｋ ꢀ ｃｌ ） 为未知向量，Ｂｉ 为矩阵 Ｐ２ｍ ２ｍ 的子矩
×
×
阵，ｂｉ 和 ηｉ 的意义同行约束的情形．
式（１３）的最优解为：
空间．对 Ｍ２ｍ ｎ 进行奇异值分解，则有：
×
＝
Ｍ２ｍ
Ｓ２ｍ ３ Ｖ３ ３ Ｄ３
×
ｎ
（３）
×
×
×
ｎ
－
１
＝
ｙｉ Ｂｉ ｂｉ
（１４）
式中 Ｓ２ｍ ３ 和 Ｄ３ ｎ 分别为图像矩阵 Ｍ２ｍ ｎ 行空间和列空间
×
×
×
全部评论(0)