积分商城

最新搜索： 电气工程师手册 mentor licensing XDS560Plu 双向可控硅 自动化概论 26262: 2018
您现在的位置是：首页 > 技术资料 > Python与批处理在遥感影像存储中的应用
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

Python与批处理在遥感影像存储中的应用

更新时间：2019-12-20 21:24:51 大小：2M 上传用户：songhuahua查看TA发布的资源 标签：python 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

目前,未经过压缩的航摄遥感影像资料的数量越来越多,其文件体积越来越大,造成备份分发时耗时也越来越多。针对部门级的影像资料存储备份需求,提出几种解决方法。利用Python语言优秀特性,结合操作系统批处理,采用冷数据存储方案,以期达到提高存储备份和分发的效率,节约硬件投入成本的目标。经实验结果讨论分析,得到几种各具特点的存储方法,实际应用中可根据管理需要选取。


部分文件列表

文件名 大小
Python与批处理在遥感影像存储中的应用.pdf 2M

【关注B站账户领20积分】

部分页面预览

（完整内容请下载后查看）
35  
6
Vol. 35 No． 6  
Jun． 2018  
第
卷第  
期
计算机应用与软件  
2018  
6
Computer Applications and Software  
年
月
Python  
与批处理在遥感影像存储中的应用  
1
1*  
2
3
廖小龙 施 昆  
黄彦锋 陈云波  
1
(
650000)  
昆明理工大学国土资源工程学院 云南 昆明  
2
(
650000)  
云南省测绘产品检测站 云南 昆明  
3
(
650500)  
昆明市规划编制与信息中心 云南 昆明  
， ， ，  
目前 未经过压缩的航摄遥感影像资料的数量越来越多 其文件体积越来越大 造成备份分发时耗时  
摘
要
。 ， 。  
也越来越多 针对部门级的影像资料存储备份需求 提出几种解决方法 利用  
Python  
，
语言优秀特性 结合操作系  
， ， ， 。  
统批处理 采用冷数据存储方案 以期达到提高存储备份和分发的效率 节约硬件投入成本的目标 经实验结果  
， ，  
讨论分析 得到几种各具特点的存储方法 实际应用中可根据管理需要选取  
。
DOM  
TP301  
Python  
关键词  
冷数据 批处理  
多进程 压缩  
DOI: 10． 3969 /j． issn． 1000-386x． 2018． 06． 018  
A
中图分类号  
文献标识码  
APPLICATION OF PYTHON AND BATCH IN REMOTE SENSING IMAGE STORAGE  
1
1*  
2
3
Liao Xiaolong Shi Kun  
Huang Yanfeng Chen Yunbo  
1
( Engineering Institute of Land and Resources，Kunming University of Science and Technology，Kunming 650000，Yunnan，China)  
2
( Yunnan Province Testing Station of Mapping and Surveying Products，Kunming 650000，Yunnan，China)  
3
( Kunming Urban Planning and Information Center，Kunming 650500，Yunnan，China)  
Abstract  
At present，the number of un-compressed aerial photography remote sensing image data is increasing，and  
its file size is increasing，which causes more and more time-consuming backup and distribution． For the department-level  
image data storage backup requirements，the paper proposed several solutions． The solution used the excellent features of  
the Python language，combined with operating system batch processing，and adopted a cold data storage scheme in order  
to achieve the goal of improving the efficiency of storage backup and distribution and saving hardware input costs． In the  
light of the experimental results，several storage methods with different characteristics are obtained，which can be  
selected on the basis of the management requirements in practical applications．  
Keywords  
DOM Cold data Batch Python Multiprocessing Compression  
对每个管理部门都非常重要  
。
0
引 言  
: 、 、  
常用的 冷 存 储 方 式 有 磁 带 光 盘 硬 盘 存 储  
。
DOM ( Digital Orthophoto  
本文 以 数 字 正 射 影 像 图  
，
测绘资料作为国家经济建设发展的基础 需要根  
［2 － 4］  
Map)  
统中用  
，
为例 采用硬盘存储的方式 在  
， Windows  
系
［1］  
，
据事项的性质和特点对资料定密 明确保密期限  
，
而
Python  
，
语言编写工具软件 并灵活运用批处理  
不断增长的现代航摄遥感影像资料势必需要大量的存  
［5 － 7］  
［8 － 9］  
，
。
的方法  
脚本  
探寻几种高效率存储冷数据  
。 ，  
储空间 相对于冷数据的存储 热数据的存储需要大  
， ， :  
量的成本投入 包括购买费用和维护费用 比如 磁盘  
1
概念介绍  
，
阵列和服务器等 而这些在冷数据的存储过程中显得  
冷数据存储是指很少使用或访问的非活跃数据的  
， 。 ，  
多余 因为冷数据的使用与调用效率并不高 因此 使  
。 ， ，  
存储 通常 冷数据即便不需要无限期保留 但出于业  
用怎样的方法存储和调用这些现代航摄遥感影像资料  
: 2017 － 09 － 09。  
， ，  
廖小龙 硕士生 主研领域  
: 3S  
。 ， 。 ， 。 ，  
集成与应用 施昆 教授 黄彦锋 高工 陈云波 高工  
。
收稿日期  
6
: Python  
103  
第
期
廖小龙等  
与批处理在遥感影像存储中的应用  
［14 － 15］  
，
务或法规遵从性目的 也必须将其保留相当长一段时  
， os ;  
可以使用 模块 生成压缩文件可以  
文件遍历  
。
，
一般来说 冷数据存储要比用于支持更活跃数据  
zipfle  
;
md5  
hashlib ;  
模块 针对单  
期
使用  
进程不能充分利用多核计算机  
multiprocessing  
模块 生成  
文件有  
，
的高性能主存储经济很多 具体的经济指标在本文中  
CPU  
，
的情况 可以使用  
。
。
模块等  
主要考虑存储的体积和备份的速度  
［10 － 13］  
2． 2． 1  
使用  
缩文件的完整路径  
，
Python  
于那些编程困难的人来说  
。Python  
，
文件遍历 生成完整源文件路径  
是一门简单而又强大的编程语言 对  
os． walk  
，
，Python  
遍历每一个文件 识别每一个需压  
的出现或许是一个  
zipfilepath，  
将它们存储到  
filelist  
列
:
的主要特点如下  
福音  
。
， ，  
简单且易学 它的语法简单 不需要耗费太多的精  
表中  
2． 2． 2  
使用  
的使用和一般的文件读写类似 目标路径的存储名  
zipfilename zipfilepath replace  
; ; ，  
力 免 费 且 开 源 跨 平 台 支 持 包 括  
Windows、Mac、  
压缩文件  
zipfile ，  
模块将文件压缩到指定路径 该模块  
Linux  
; ，  
在内的各种平台 解释性 这一特点使得  
Python  
，
; Python  
具有更强的移植性  
是一门面向对象的编程  
［10］  
，
。
是在  
的基础上 使用  
把源  
语言  
， : “． zip”  
文件路径替换目标文件路径 末尾加上 具体代  
，
DOS( Disk  
系统内嵌的命令解释  
bat，  
批处理是一种简化的脚本语言 它是由  
: zipfilename = zipfilepath． replace ( rootpath，dest-  
码为  
Operating System)  
Windows  
或者  
path) + '． zip';  
: zfile = zipfile． Zip-  
压缩函数核心代码为  
。
器解释运行 批处理文件的扩展名为  
可以在不需  
File( zipfilename，'w'，zipfile． ZIP_DEFLATED) ，  
第三个  
for、if  
， ，  
等控制流程的情况下 批量地执行特定命令  
要
。
参数为压缩模式  
2． 2． 3 md5  
使用  
。
非常方便  
生成  
hashlib  
文件  
模块生成  
update  
md5  
， open  
值 首先用 方法  
2
测绘数据存储备份程序的设计  
，
， ，  
方法更新 最后打开文本  
打开文件 然后使用  
。
写入更新的数据即可  
2． 2． 4  
使用  
2． 1  
程序设计思路  
(
)
实现多进程 在上述功能封装成函数的前提下  
1 ， (  
如图 所示 首先对文件进行识别工作 遍历文件  
map for  
， ，  
循环步骤 在使用中 一定  
方法省去  
) ， ， ，  
然后生成对应的压缩文件 存储到指定位置 接  
夹
pool． close( ) ，  
然后再执行  
pool． join( ) ，  
详细  
要先执行  
md5  
，
文件 并且以文  
着针对生成的压缩文件计算相应  
:
代码如下  
， ，  
本的形式保存 最后生成程序处理日志 便于后续文件  
pool = Pool( 2)  
。
处理的管理  
#
，
CPU  
内核数量  
括号内可设置进程数量 默认为  
pool． map( zip_dir，zipfilelist)  
pool． close( )  
#
实现多进程  
pool． join( )  
2． 2． 5  
最简单方式是在处理过程输出一些信息 写到  
logging  
生成日志  
，
txt  
模块 使用起  
os． path． basename( __file__)  
。
，
文件中 要求高的情况下可使用  
。
来也很简单 首先使用  
来
py  
(
文件的名称 为了使得日志路径和  
py  
识别  
文件路  
来定义日  
，
) ，  
径保持一致 然后使用  
logging． basicConfig  
，
志输入格式 接着使用  
logging． info( )  
来记录日志 通  
Python  
( )  
中装饰器 闭包 来对每一个函数  
常可以使用  
。
的执行情况进行记录  
2． 3  
批处理在数据存储备份中的应用  
，
批处理虽然没有那么多模块可以导入 但它作为  
Windows  
操作系统自带的脚本语言在数据备份中也具  
1
图
流程图  
。
备它独有的特点  
2． 3． 1  
批处理在进行压缩和生成  
2． 2 Python  
在数据存储备份中的应用  
大量第三方软件的命令行可调用  
md5  
文件都可以调用  
Python  
。
对
的优点是有大量的第三方库可以导入  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

资料专题

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号