推荐星级：
- 1
- 2
- 3
- 4
- 5
基于深度学习的航空遥感影像密集匹配
资料介绍
本文探讨了深度学习在航空影像密集匹配中的性能,并与经典方法进行了比较,对模型泛化能力进行了评估。首先,实现了MC-CNN(matching cost convolutional neural network)、GC-Net(geometry and context network)、DispNet(disparity estimation network)3种代表性卷积神经元网络在航空立体像对上的训练和测试,并与传统方法SGM(semi-global matching)和商业软件SURE进行了比较。其次,利用直接迁移学习方法,评估了各模型在不同数据集间的泛化能力。最后,利用预训练模型和少量目标数据集样本,评估了模型微调的效果。试验包含3套航空影像、2套开源街景影像。试验表明:①与传统的遥感影像密集匹配方法相比,目前深度学习方法略有优势;②GC-Net与MC-CNN表现了良好的泛化能力,在开源数据集上训练的模型可以直接应用于遥感影像,且3PE(3-pixel-error)精度没有明显下降;③在训练样本不足时,利用预训练模型做初值并进行参数微调可以得到比直接训练更好的结果。
部分文件列表
| 文件名 | 大小 |
| 基于深度学习的航空遥感影像密集匹配.pdf | 2M |
部分页面预览
（完整内容请下载后查看），
Ｖｏｌ．４８ Ｎｏ．９
第
卷
第
期
测
绘
学
报
ꢀ
４８
９
ꢀ
ꢀ
ꢀ
，
Ｓｅｔｅｍｂｅｒ２０１９
ｐ
年
月
２０１９
９
ＡｃｔａＧｅｏｄａｅｔｉｃａｅｔＣａｒｔｏｒａｈｉｃａＳｉｎｉｃａ
ꢀ ꢀ ꢀ ｇ ｐ ꢀ ꢀ
ꢀ
ꢀꢀ
： ，
引文格式 刘瑾 季 顺 平 基 于 深 度 学 习 的 航 空 遥 感 影 像 密 集 匹 配
．
［ ］
测 绘 学 报
Ｊ ．
，
， （ ）： ： ／
２０１９ ４８ ９ １１４１１１５０．ＤＯＩ１０．１１９４７ ．ＡＧＣＳ．
－ ｊ
２０１９ ．２０１８０２４７ ．
， ［ ］
ＬＩＵＪｉｎ ＪＩ Ｓｈｕｎｉｎ ．Ｄｅｅ ｌｅａｒｎｉｎ ｂａｓｅｄ ｄｅｎｓｅ ｍａｔｃｈｉｎ ｆｏｒａｅｒｉａｌｒｅｍｏｔｅ ｓｅｎｓｉｎ ｉｍａｅｓ Ｊ ．Ａｃｔａ Ｇｅｏｄａｅｔｉｃａ ｅｔ
ꢀ
ꢀ
ꢀ
ｐ ｇ
ｐ
ꢀ
ｇ
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
ｇ
ꢀ
ꢀ
，
， （）：
： ／
ＣａｒｔｏｒａｈｉｃａＳｉｎｉｃａ２０１９４８９ １１４１１１５０．ＤＯＩ１０．１１９４７ ．Ａ Ｇ ＣＳ ．２０１９ ．２０１８０２４７ ．
ｊ
ｇ ｐ
ꢀ
－
基于深度学习的航空遥感影像密集匹配
，
瑾 季顺平
刘
ꢀ
，
武汉大学遥感信息工程学院 湖北 武汉
４３００７９
Ｄｅｅ ｌｅａｒｎｉｎ ｂａｓｅｄｄｅｎｓｅｍａｔｃｈｉｎ ｆｏｒａｅｒｉａｌｒｅｍｏｔｅｓｅｎｓｉｎ ｉｍａｅｓ
ꢀ ꢀ
ｇ ꢀ
ꢀ
ｐ
ꢀ
ｇ
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
ｇ
，
ＬＩＵＪｉｎＪＩＳｈｕｎｉｎ
ｐ ｇ
ꢀ
ꢀ
， ， ，
ＳｃｈｏｏｌｏｆＲｅｍｏｔｅＳｅｎｓｉｎ ａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｉｎｅｅｒｉｎ ＷｕｈａｎＵｎｉｖｅｒｓｉｔ Ｗｕｈａｎ４３００７９ Ｃｈｉｎａ
ꢀ ｇ
ꢀ ꢀ
ꢀ
ｇ
ꢀ
ꢀ
ｇ
ꢀ
ｙ
ꢀ
：
Ａｂｓｔｒａｃｔ Ｔｈｉｓｗｏｒｋｓｔｕｄｉｅｄｔｈａｔｔｈｅａ ｌｉｃａｔｉｏｎｏｆｄｅｅ ｌｅａｒｎｉｎ ｂａｓｅｄｓｔｅｒｅｏｍｅｔｈｏｄｓｉｎａｅｒｉａｌｒｅｍｏｔｅｓｅｎｓｉｎ
ꢀ ꢀｐｐ ꢀꢀ ｐ ꢀ ꢀ
ｇ
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
，
，
ｉｍａｅｓ ｉｎｃｌｕｄｉｎ ｉｔｓ ｅｒｆｏｒｍａｎｃｅｅｖａｌｕａｔｉｏｎ ｔｈｅｃｏｍａｒｉｓｏｎｗｉｔｈｃｌａｓｓｉｃａｌｍｅｔｈｏｄｓａｎｄ ｅｎｅｒａｌｉｚａｔｉｏｎａｂｉｌｉｔ
ꢀｐ ꢀｇ
ｙ
ｇ
ｇ
ꢀ
ꢀ
ꢀ
ｐ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
，
（
ｅｓｔｉｍａｔｉｏｎ．Ｔｈｒｅｅｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌｎｅｔｗｏｒｋｓａｒｅａ ｌｉｅｄ ＭＣＣＮＮ ｍａｔｃｈｉｎ ｃｏｓｔｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌ
ꢀｐｐ
ꢀ
ꢀ
ꢀ
ꢀ
－
ｇ
ꢀ
ꢀ
ꢀ
），
（
ｇ
）
（ ），
ｎｅｔｗｏｒｋ ＧＣＮｅｔ ｅｏｍｅｔｒ ａｎｄｃｏｎｔｅｘｔｎｅｔｗｏｒｋ ａｎｄＤｉｓＮｅｔｄｉｓａｒｉｔ ｅｓｔｉｍａｔｉｏｎｎｅｔｗｏｒｋ ｏｎａｅｒｉａｌｓｔｅｒｅｏ
ꢀ
－
ｙ
ꢀ
ꢀ
ꢀ
ꢀ ｐ
ｐ
ｙ
ꢀ
ꢀ
ꢀ
（
ｉｍａｅ ａｉｒｓ．ＴｈｅｒｅｓｕｌｔｓａｒｅｃｏｍａｒｅｄｗｉｔｈＳＧＭ ｓｅｍｉｌｏｂａｌｍａｔｃｈｉｎ ａｎｄａｃｏｍｍｅｒｃｉａｌｓｏｆｔｗａｒｅＳＵＲＥ．
ｇꢀｐ
ꢀ ꢀ ꢀꢀ
）
ｇ
ꢀ
ｐ
ꢀ
ꢀ
－
ｇ
ꢀ
ꢀ
ꢀ
，
Ｓｅｃｏｎｄｌ ｔｈｅ ｅｎｅｒａｌｉｚａｔｉｏｎａｂｉｌｉｔ ｏｆｔｈｅＭＣＣＮＮａｎｄＧＣＮｅｔａｒｅｅｖａｌｕａｔｅｄｗｉｔｈｍｏｄｅｌｓ ｒｅｔｒａｉｎｅｄｏｎｏｔｈｅｒ
ｙ ꢀ
ꢀｇ ꢀ ꢀ ꢀｐ ꢀ ꢀ
ｙ
ꢀ
ꢀ
－
ꢀ
ꢀ
－
ꢀ
ꢀ
ꢀ
，
ｄａｔａｓｅｔｓ．Ｆｉｎａｌｌ ｆｉｎｅｔｕｎｉｎ ｏｎａｓｍａｌｌｎｕｍｂｅｒｏｆｔａｒｅｔｔｒａｉｎｉｎ ｄａｔａｗｉｔｈ ｒｅｔｒａｉｎｅｄｍｏｄｅｌｓａｒｅｃｏｍａｒｅｄｔｏ
ꢀꢀ ꢀꢀ ｇ ꢀ ꢀｐ ꢀ ꢀ
ｙ
ꢀ
ｇ
ꢀ
ꢀ
ｇ
ꢀ
ꢀ
ꢀ
ｐ
ꢀ
ｄｉｒｅｃｔｔｒａｉｎｉｎ ．Ｔｈｒｅｅｓｅｔｓｏｆａｅｒｉａｌｉｍａｅｓａｎｄｔｗｏｏｅｎｓｏｕｒｃｅｓｔｒｅｅｔｄａｔａｓｅｔｓａｒｅｕｓｅｄｆｏｒｔｅｓｔ．Ｅｘｅｒｉｍｅｎｔｓ
ｇ ꢀ ꢀ ꢀｐ
ꢀ ꢀ ꢀ ꢀ － ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ
ꢀ
ｇ
ꢀ
ｐ
：
，
ｙ
； ，
ｓｈｏｗｔｈａｔ ｆｉｒｓｔｌ ｄｅｅ ｌｅａｒｎｉｎ ｍｅｔｈｏｄｓ ｅｒｆｏｒｍｓｌｉｈｔｌ ｂｅｔｔｅｒｔｈａｎｔｒａｄｉｔｉｏｎａｌｍｅｔｈｏｄｓ ｓｅｃｏｎｄｌ ｂｏｔｈＧＣ
ｙ
ꢀ
ｐ
ꢀ
ｇ
ꢀ
ꢀｐ
ꢀ ｇ ｙ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
－
，
ｙ
（
ＮｅｔａｎｄＭＣＣＮＮｈａｖｅｄｅｍｏｎｓｔｒａｔｅｄ ｏｏｄ ｅｎｅｒａｌｉｚａｔｉｏｎａｂｉｌｉｔ ａｎｄｃａｎ ｅｔｓａｔｉｓｆａｃｔｏｒ ３ＰＥ ３ ｉｘｅｌｅｒｒｏｒ
ꢀ －
ｐ
）
ꢀ
ꢀ
－
ꢀ
ꢀ
ꢀｇ ꢀｇ
ꢀ
ꢀｇ ꢀ
ｙ
ꢀ
－
；
ｒｅｓｕｌｔｓｏｎａｅｒｉａｌｉｍａｅｓｕｓｉｎ ａｍｏｄｅｌ ｒｅｔｒａｉｎｅｄｏｎａｖａｉｌａｂｌｅｓｔｅｒｅｏｂｅｎｃｈｍａｒｋｓ ｔｈｉｒｄｌ ｗｈｅｎｔｈｅｔｒａｉｎｉｎ
ꢀ ꢀ ꢀｐ ꢀ ꢀ ꢀ ꢀ
ｇ ꢀ ｇ ꢀ ｇ
，
ｙ
ꢀ
ꢀ
ꢀ
ꢀ
，
ｓａｍｌｅｓｉｎｔａｒｅｔｄａｔａｓｅｔａｒｅｉｎｓｕｆｆｉｃｉｅｎｔｔｈｅｓｔｒａｔｅ ｏｆｆｉｎｅｔｕｎｉｎ ｏｎａ ｒｅｔｒａｉｎｅｄｍｏｄｅｌｃａｎｉｍｒｏｖｅｔｈｅｅｆｆｅｃｔ
ꢀꢀｐ
ｐ ꢀ ꢀ ｇ ꢀ
ꢀ ꢀ
ꢀ
ｇｙ ꢀ
ꢀ
－
ｇ
ꢀ
ꢀ
ꢀ ꢀ ｐ ꢀ ꢀ
ｏｆｄｉｒｅｃｔｔｒａｉｎｉｎ ．
ꢀ ꢀ
ｇ
：
；
ｇ
；
ｇ
；
Ｋｅ ｗｏｒｄｓ ｓｔｅｒｅｏｍａｔｃｈｉｎ ｄｅｎｓｅｍａｔｃｈｉｎ ａｅｒｉａｌｉｍａｅｓ ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ ｄｅｅ ｌｅａｒｎｉｎ
ｇ
；
ｙ
ꢀ
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
ꢀ
ｐ
ꢀ
：
（
）
Ｆｏｕｎｄａｔｉｏｎｓｕ ｏｒｔ ＴｈｅＮａｔｉｏｎａｌＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＣｈｉｎａ Ｎｏ．４１４７１２８８
ꢀ ｐｐ ꢀ ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
： ， ，
要 本文探讨了深度学习在航空影像密集匹配中的性能 并与经典方法进行了比较 对模型泛化能
摘
ꢀ
。 ，
力进 行 了 评 估 首 先 实 现 了
（ ）、
ＭＣＣＮＮ ｍａｔｃｈｉｎ ｃｏｓｔｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ ＧＣＮｅｔ
ꢀ
－
ｇ
ꢀ
ꢀ
ꢀ
－
（
ｇ
）、 （
ｅｏｍｅｔｒ ａｎｄｃｏｎｔｅｘｔｎｅｔｗｏｒｋ Ｄｉｓ Ｎｅｔｄｉｓａｒｉｔ ｅｓｔｉｍａｔｉｏｎｎｅｔｗｏｒｋ３
ꢀ
）
种代表性卷积神经元网络
ｙ
ꢀ
ꢀ
ｐ
ｐ
ｙ
ꢀ
ꢀ
，
在航空立体像对上的训练和测试 并与传统方法
（
）
和商业软件
ＳＧＭ ｓｅｍｉ ｌｏｂａｌｍａｔｃｈｉｎ
ｇ
进行
ＳＵＲＥ
－
ｇ
ꢀ
。 ， ， 。 ，
了比较 其次 利用直接迁移学习方法 评估了各模型在不同数据集间的泛化能力 最后 利用预训练
， 。 、 。
模型和少量目标数据集样本 评估了模型微调的效果 试验包含 套航空影像 套开源街景影像 试
２
３
：
①
，
；
与传统的遥感影像密集匹配方法相比 目前深度学习方法略有优势
ＧＣＮｅｔ ＭＣＣＮＮ
②
验表明
与
－
－
， ，
表现了良好的泛化能力 在开源数据集上训练的模型可以直接应用于遥感影像 且
（
３ＰＥ ３ ｉｘｅｌｅｒｒｏｒ
－ －
ｐ
）
；
③
，
在训练样本不足时 利用预训练模型做初值并进行参数微调可以得到比直接训练
精度没有明显下降
。
更好的结果
： ； ； ； ；
关键词 立体匹配 密集匹配 航空影像 卷积神经元网络 深度学习
：
：
Ａ
：
文章编号
１００１１５９５２０１９０９１１４１１０
ꢀꢀꢀꢀ
（
）
中图分类号
文献标识码
Ｐ２３７
ꢀꢀꢀꢀ
－
－
－
：
基金项目 国家自然科学基金
（
）
４１４７１２８８
：
从立体或多视航空航天遥感图像重建地面三
动获取立体像对中每个像素的同名点是 三维重
”。
图像
ꢀꢀ
。
，
“
维场景一直是摄影测量与遥感中的核心问题
自
建的关键技术 通常称为 图像密集匹配
：
ｈｔｔ ｘｂ．ｓｉｎｏｍａｓ．ｃｏｍ
ｐ ∥ ｐ
Ｓｅｔｅｍｂｅｒ２０１９Ｖｏｌ．４８Ｎｏ．９ＡＧＣＳ
ｐ
ꢀ
ꢀ
１１４２
［］
１
。
。
密集匹配可分为 个过程
４
第
步是匹配代价
１
研究领域都得到了广泛的应用 尤其是卷积神经
），
不
。 、
的计算 像素值的亮度差 相关系数及互信息是
（
，
网络
ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ ＣＮＮ
ꢀ
ꢀ
。
一些经典的匹配代价 这些代价主要基于灰度
、
，
仅提高了图像识别和分类的准确性 提升了在线
， ，
梯度或信息熵 以待匹配图像块作为模板 按照给
，
运算效率 更关键的是它避免了各类特征设计
。
。
，
定的相似性度量在搜索区域内逐像素遍历计算
一些研究者逐渐将深度学习引入到立体匹配中
，
这些匹配代价虽然实现简单 但易受无纹理区域
、
在计算机视觉标准测试集上的匹配结果逐渐超过
［］
２
。
、
表面镜反射 单一结构和重复图案的影响
，
。
第
传统匹配方法 展示了一定的优越性
基于深度学习的密集匹配有两种策略 只学
习立体匹配 个标准步骤中的一部分和端到端学
。
步是匹配代价聚合 代价聚合通常是对匹配点
：
２
。
邻域内所有匹配代价加权求和 代价聚合能达到
４
［
］
１２
，
只 用于
。 ，
局部滤波的效果 但传统的算法中 包括半全局
。
习
前者的例子包括
网 络
ＭＣＣＮＮ
－
［］
［ ］
１３
３
） ，
都对代价聚合做
（
，
学习匹配代价 以及
，
在
匹配法和图割法
网络
ＧｒａｈＣｕｔ
ＳＧＭ Ｎｅｔ
－
ＳＧＭ
ｐ
。
。
步是视差值计算 最小
，
学习惩罚项 以解决惩罚参数调整
了不同程度的简化
第
中引入
ＣＮＮ
３
。
匹配代价对应的视差值即为最优结果 通常采用
。
困难的问题
。
能量函数的方法计算最优视差值 最后一步是视
端到端的学习策略是直接从立体像对预测视
［ ］
１４
。 ，
差精化 该步骤是对视差值执行优化的过程 包
。
差图
Ｄｉｓ Ｎｅｔ
是一种用于视差图预测的普适
ｐ
， 、
括一系列后处理技术 如左右一致性检验 中值滤
。
（
ＧＣＮｅｔ ｅｏｍｅｔｒ ａｎｄｃｏｎｔｅｘｔ
ｇ
的全 卷 积 网 络
－
ｙ
ꢀ
ꢀ
［］
２
）
利用像 素间 的 几 何 信 息 和 语 义 信 息
、 。
波 子像素增强等 最后可由密集匹配获得视差
ｎｅｔｗｏｒｋ
， ，
图 转换为深度信息 从而重建三维场景
。
，
张量 从
。
特征中学习视差图
ＰＳＭ
构建
３Ｄ
３Ｄ
－
［ ］
１５
，
在各个阶段 经典匹配算法都或多或少地采
（
）
Ｎｅｔ ｒａｍｉｄｓｔｅｒｅｏ ｍａｔｃｈｉｎ ｎｅｔｗｏｒｋ
ｐｙ
是 由
ꢀ
ꢀ
ｇ
ꢀ
，
用了经验性的方法而非严格的数学模型 如设计
，
空间金字塔池和三维卷积层组成的网络 将全局
、 、 ，
特征 测度 聚合方式等 并做了不同程度的简化
，
， 、
的背景信息纳入立体匹配中 以实现遮挡区域 无
，
如认为邻域内像素的匹配代价独立 因此难以达
。
纹 理 或 重 复 区 域 的 可 靠 估 计
（
ＣＲＬ ｃａｓｃａｄｅ
串 联 了 两 个 改 进 的
网络 第 个网络得到立体像对间的
［
］
１６
。 ，
到数学上的最优 采用深度学习算法 是否能够
）
ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎ
ｇ
ꢀ
［
１４
］
、
克服上述传统方法中的难点 进一步提高匹配精
，
１
Ｄｉｓ Ｎｅｔ
ｐ
，
度 是值得深入研究的问题
。
，
初始化视差值 第 个网络利用第 个网络的残
２ １
，
密集匹配作为三维重建的核心内容 受到广
。 ［ ］
差值进一步精化 文献 提出一种
１７
Ｈｉｈｗａ
ｇ ｙ
［］
３
。
泛的重视 图割法 是一种经典的全局立体匹配
， ，
网络结构 引入多级加权残差的跳接 利用复合损
。 ，
算法 利用图论的思想 将求解图的最小割算法
。
失函数进 行训练 以上方法均在监 督 方式下 运
，
作为核心技术 以求解二维区域的能量最小问题
。
。 ［ ］
文献 设计了一种卷积神经元网络 利用
１８
，
行
［］
４
（
ｐ
）
算法
ＰＭＶＳ ａｔｃｈｂａｓｅｄｍｕｌｔｉｖｉｅｗｓｔｅｒｅｏ
（ ）
左右图像 和右左图像 的视 差一 致性 学习视 差
首
－
ꢀ
－
ꢀ
，
先提取特征点并进行匹配 然后以特征点为中心
，
图 无需真实视差图作为训练
。
， ，
扩张到周围面块 对面块匹配 得到准密集匹配
深度学习方法已经较成功地应用于计算机视
。
，
在效率上 图割法等全局匹配算法采用近似
，
觉标准测试集的立体匹配 但是应用于遥感影像
点
， ， ，
最优的优化方法 计算量大 运行时间过长 不太
。
的处理尚不成熟 本文研究了深度学习的方法在
。
２００８
，
航空遥感影像密集匹配上的性能 并在多个数据
适合大容量的遥感影像
年提出了效率更
（
，
ｓｅｍｉ ｌｏｂａｌ ｍａｔｃｈｉｎ
ｇ
。 ，
集上与经典方法和商业软件进行比较 此外 本
高的 半 全 局 匹 配 方 法
－
ｇ
ꢀ
［］
５
） 。
ＳＧＭ ＳＧＭ
将 匹配 点邻域的 二 维代 价 聚 合
文还评估了深度学习在航空遥感图像匹配中的泛
，
替代为多个简单的一维代价聚合 对当前区域的
，
化能力 即在计算机视觉标准数据集上训练的模
，
个一维方向进行动态规划计算 以求解最小代
， 。
型 是否能直接应用到航空遥感影像中
１６
［］
６
。
（
ｐ
）
利
ａｔｃｈｍａｔｃｈ ｍｅｔｈｏｄ
价
影像块匹配算法
－
ꢀ
方
法
ꢀ
１
ꢀ
，
用图像的局部相关性 认为匹配点周围的区域也
。
相互匹 配 文 献
［ ］
开 发 的
７
软 件 是 基 于
ＳＵＲＥ
１．１ ＭＣＣＮＮ
ꢀ －
。
的多视影像匹配算法
通过深度卷积神经元网络的自 我
ＭＣＣＮＮ
－
ＳＧＭ
［
］
８１１
－
，
随着机器学习的普及 深度学习
， ，
学习 得到最优的相似性测度 用于匹配代价的计
在各个
全部评论(0)