推荐星级：
- 1
- 2
- 3
- 4
- 5
科学大数据管理：概念、技术与系统
资料介绍
近年来,随着越来越多的大科学装置的建设和重大科学实验的开展,科学研究进入到一个前所未有的大数据时代.大数据时代科学研究是一个大科学、大需求、大数据、大计算、大发现的过程,研发一个支持科学大数据全生命周期的数据管理系统具有重要的意义.分析了研发科学大数据管理系统的背景,阐述了科学大数据的概念和三大特征,通过对科学数据资源发展和科学数据管理系统的研究进展进行综述分析,提出了满足科学数据管理全生命周期的科学大数据管理框架,并从数据融合、数据实时分析、长期存储、云服务体系以及数据开放共享机制5个方面分析了科学大数据管理系统中的关键技术.最后,结合科学研究领域展望了科学大数据管理系统的应用前景.
部分文件列表
| 文件名 | 大小 |
| 科学大数据管理：概念、技术与系统.pdf | 1M |
部分页面预览
（完整内容请下载后查看）DOI: 10． 7544issn1000-1239． 2017． 20160847
54( 2) : 235 － 247，2017
计算机研究与发展
Journal of Computer Research and Development
: 、
科学大数据管理 概念 技术与系统
1
1
2
黎建辉 沈志宏 孟小峰
1
(
100190)
中国科学院计算机网络信息中心 北京
2
(
100872)
中国人民大学信息学院 北京
( lijh@ cnic． cn)
Scientific Big Data Management: Concepts，Technologies and System
1
1
2
Li Jianhui ，Shen Zhihong ，and Meng Xiaofeng
1
( Computer Network Information Center，Chinese Academy of Sciences，Beijing 100190)
2
( School of Information，Remin University of China，Beijing 100872)
Abstract In recent years，as more and more large-scale scientific facilities have been built and significant
scientific experiments have been carried out，scientific research has entered an unprecedented big data era．
Scientific research in big data era is a process of big science，big demand，big data，big computing，and big
discovery． It is of important significance to develop a full life cycle data management system for scientific big
data． In this paper，we first introduce the background of the development of scientific big data management
system． Then we specify the concepts and three key characteristics of scientific big data． After an review of
scientific data resource development projects and scientific data management systems，a framework is proposed
aiming at the full life cycle management of scientific big data． Further，we introduce the key technologies of
the management framework including data fusion，real-time analysis，long termstorage，cloud service，and
data opening and sharing． Finally，we summarize the research progress in this field，and look into the
application prospects of scientific big data management system．
Key words scientific data; big data; data pipeline; full life cycle of data
， ，
要
近年来 随着越来越多的大科学装置的建设和重大科学实验的开展 科学研究进入到一个前所
摘
． 、 、 、 、 ，
未有的大数据时代 大数据时代科学研究是一个大科学 大需求 大数据 大计算 大发现的过程 研发一
．
个支持科学大数据全生命周期的数据管理系统具有重要的意义 分析了研发科学大数据管理系统的背
， ，
景 阐述了科学大数据的概念和三大特征 通过对科学数据资源发展和科学数据管理系统的研究进展进
， ， 、
行综述分析 提出了满足科学数据管理全生命周期的科学大数据管理框架 并从数据融合 数据实时分
、 、 5
析 长期存储 云服务体系以及数据开放共享机制 个方面分析了科学大数据管理系统中的关键技术
．
，
最后 结合科学研究领域展望了科学大数据管理系统的应用前景
．
; ; ;
关键词 科学数据 大数据 数据流水线 数据全生命周期
TP391
中图法分类号
、 、
大规模巡天望远镜 大型粒子加速器 高通量基
，
因测序仪等源源不断产生巨量科学数据 使得全球
－ －
: 2016 11 15;
－ －
: 2017 01 14
收稿日期
修回日期
:
基金项目 国家重点研发计划项目
( 2016YFB1000600)
This work was supported by the National Key Research Program of China ( 2016YFB1000600) ．
236
2017，54( 2)
计算机研究与发展
．
科技创新进入一个前所未有的科学大数据时代 科
“ ”
科学数据从历史上非自动化的 手工采集 的
，
学大数据已成为科学发现的新型战略资源 一个国
家的科学研究水平将直接取决于其在科学大数据的
， “ ”．
方式 逐渐地过度到自动化的 机器采集 非自动
“ ” ， ，
手工采集 的数据 其产生的速度较慢 数据量与
．
， ．
复杂度不高 但数据的价值密度高 而通过大型仪器
优势以及将数据转换为知识的能力
，
面向大规模的科学数据管理 以及科学大数据
、 、
设备 大科学装置 大规模传感器网络等自动化采集
，
应用 往往需要突破当今所有数据管理系统的极限
，
， ，
的数字化数据 其产生的速度快 数据量和复杂性
，
才能实现高效的科学知识发现 这也成为当下科学
， ．
高 存在着不确定性和噪声 对这些数据进行存储
、
“ ”． ，
界和数据管理领域携手攻坚的 难题 概括起来
分析和应用需要新技术与更强的基础设施环境支
: 1)
． “ ”
持 科学大数据主要是指这种通过 机器 自动化快
科学大数据管理面临的主要问题和挑战包括
超
．
大规模关系数据管理 如天文领域多个数据中心千
、 、
速采集 规模化存储与分析处理 具有较高维度和复
． 2)
．
亿乃至万亿行天文星表数据的管理
多源数据关
杂关联的数据及其衍生产品
500 m
口径球面射电望远
． 、 、
联和知识发现 如全球开放生物资源 文献 序列和
随着越来越多的诸如
( five-hundred-meter aperture spherical radio
镜
100
，
疾病等万种数据源
亿级关联数据的知识发现
． 3) ．
实时的高效数据处理 如
6
telescope，FAST) 、 ( China spallation
中国散裂中子源
需
步以上关联挖掘
，16 MHz
10 000
neutron source，CSNS)
引力波科学发现中
采样频率
信道数
等大科学装置的建设和重大
，
科学实验的开展 以及无所不在的科学传感器和传
．
据需要近似零延迟数据处理
、 ，
感器网络广泛应用于天空 陆地和海洋 对自然环境
、 ，
进行全方位的探测 监测 源源不断产生的科学数据
1
科学大数据概念与特性
将科学研究快速推进到一个前所未有的大数据时
1． 1
．
代 科学大数据将改变人类几个世纪以来科学研究
科学大数据概念
、 ．
科学数据是科研活动的输入 输出和资产 但究
、
主要在于理解相对简单 未耦合或弱耦合系统这一
“
竟 什么是科学数据
?”， “ ”
如何给 科学数据 一个确
， ，
局面 增强我们详细表征和描述复杂性的能力 以及
? ，
切 的 定 义 迄 今 为 止 还 在 困 扰 着 学 术 界
．
，
分析高度耦合复杂系统的动态行为的能力 催生如
Greenberg
《 ， ，
在其最近出版的著作 大数据 小数据 没
．
希格斯粒子和引力波等重大科学发现 可以这样比
［1］
》
，
中 列举了学术界对数据各种不同的认识
， “
喻 科学大数据为科学发现提供了一种新型的 望
数据
，“ 、
和理解 在自然科学 社会科学和人文科学领域
，
” “ ”，
远镜 和 显微镜 在宏观上大大扩展了我们对复
、 、 ，
学者们创造 使用 分析和解释数据 但往往不知道
， ，
杂系统整体性进行研究的能力 在微观上 让我们的
． ”
这些数据的真正含义
科学数据是对所研究的客观对象的某些现象的
视线可以深入到复杂系统内部细微的行为和动态变
．
化
． ，
描述 这种描述 一般是指在领域或学科知识指导
1． 2
科学大数据的特征
，
相较于其他类型的大数据 科学大数据除了具
， ，
下 对客观对象进行科学抽象和概念化后 就其中的
［2-4］
、 、 、
某些现象进行系统地 有目的地观测 调查 实验所
“4V”
有明显的 特征
，
之外 还具有多层次逐级演
． ， ，
形成的实体 因此 数据不是客观事物 数据不是带
、
．
化 全生命周期以及流水线处理和应用等特征
1． 2． 1
科学大数据具有多层次逐级演化的显著特征
，
有自身特征的自然对象 数据只是对学术研究的客
多层次演化特征
．
观对象中某些可观测到的现象的描述 这些描述会
．
、 ．
因人而异 因地而异和因时而异 把一些事物概念化
1 ， 、
如图 所示 由大型仪器设备 大科学装置和计算模
，
为数据 本身就是一种学术研究活动
．
， 、 、
拟等产生的海量原始数据 经过校对 刻度 特征提
，
科学数据是以科学证据形式存在的事实 它至
，
取等处理形成具有科学意义的实例对象数据 并与
、 、
少应该包括科学观测与监测的数据 实验数据 计算
， ．
相关的数据关联融合 形成知识网络 典型例子如美
、
与模型模拟输出的数据 对情景或现象的描述数据
、
( NASA) ( earth observing
国航空航天局
地球观测系统
卫星获取的数据按照其不断加工和
、1A 、1B 、2 、3 、
级
［5］
、
对行为的观测或定性描述数据 用于管理或者商业
system，EOS)
， ．
目的统计数据等 以及描述数据的元数据 它们通常
，
0
演化过程 区分为
级
级
级
级
， 、 、
是科研活动的输入 是证实 证伪科学发现 科学观
4
6
．
个不同的级别 根据科学应用和目标的不同
，
级
，
点的事实与证据 或者是论证推理的基础
．
4 ，
科学家可以直接使用精加工的 级数据 也可以使
: : 、
黎建辉等 科学大数据管理 概念 技术与系统
237
1A
， 0
级 甚至 级数据
．
” ． ，
档与长期保存 全过程的全生命周期特征 其中 采
用
、
集与实时分析阶段主要完成科学实验装置 仪器设
、 ，
备 观测台站等数据的采集 并实现数据的实时筛
、 ;
选 处理和分析 存储与处理阶段主要完成对采集
，
筛选的数据的持久化存储 同时通过批量分析任务
，
;
完成初步的科学分析和科学发现 发布与共享阶段
， ，
主要按照特定的主题 对科学数据进行组织管理 形
，
成系列的数据集产品 通过
Web
等方式对科研界发
， ;
布 提供数据共享与交换服务 再分析与重用阶段主
，
要支持用户对发布的数据集进行二次整合分析 实
Fig． 1 Characteristics of multi-level progressive
evolution of scientific big data
;
现进一步的科学发现 归档与长期保存阶段主要完
， ，
成历史数据的归档 通过采用持久的存储设备 实现
1
图
科学大数据具有多层次逐级演化的显著特性
． 2
海量历史数据的长期保存 整个流程如图 所示
．
，
在如上不同阶段中 对科学数据的操作方式具
1． 2． 2
全生命周期特征
， 1
有不同的特征 如表 所示
．
“
科学大数据具有明显的涉及 采集与实时分
—
— — —
存储与处理 发布与共享 再分析与重用 归
析
Fig． 2 Full life cycle of scientific big data
2
图
科学大数据全生命周期
Table 1 Stages of Full Life Cycle Management of Scientific Big Data
1
表
科学大数据全生命周期的不同过程
Stages
Data Operation
Data Analysis
Details
Collection ＆ Real
Time Analysis
Collection，Stream Processing，
Fast Insert ＆ Online Analysis
RTAP
Real Time Extracting and Transforming
Offline Analysis( SCAN) of
Storing ＆ Processing
Publish ＆ Sharing
Reanalysis ＆ Reuse
OLAP
Database，Index，Collection，Batch Analysis，ETL
Linking，Integration，Online Query，Web Service
Online Analysis Model，Visualization
Large Scale Data
Fast Query
OLTP
OLTP
OLAP
Online Visual Analysis
Archiving ＆ Long
Term Storage
Analysis is not
involved
Reliable Storage
Archiving strategy，media，data copy and migration
1． 2． 3
array)
，GWAC
为例
流水线处理特征
是中法合作伽玛暴探测天文卫
GWAC 15 s
“ ”
科学大数据具有 流水线处理和应用 的特征
．
SVOM
，
星
的关键地面设备 一个
32 MB
产生一个大小为
相机每
GWAC ( The ground-based wide-angle camera
，
以
的天区图 图像的点源提取
更多>>
最新上传
- 打赏
- 30日榜单
-
zhongshaoxiong 打赏3.00元 3天前
-
他山之石可攻玉 打赏60.00元 3天前
用户：烟雨
-
江岚 打赏210.00元 3天前
用户：潇潇江南
-
江岚 打赏100.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：gsy幸运
-
21ic下载 打赏310.00元 3天前
用户：zhengdai
-
21ic下载 打赏310.00元 3天前
用户：江岚
-
21ic下载 打赏210.00元 3天前
用户：潇潇江南
-
21ic下载 打赏60.00元 3天前
用户：他山之石可攻玉
-
21ic下载 打赏60.00元 3天前
用户：烟雨
-
21ic下载 打赏60.00元 3天前
用户：w178191520
-
21ic下载 打赏60.00元 3天前
用户：w993263495
-
21ic下载 打赏110.00元 3天前
用户：xzxbybd
-
21ic下载 打赏60.00元 3天前
用户：zq_1943
-
21ic下载 打赏20.00元 3天前
用户：kk1957135547
-
21ic下载 打赏20.00元 3天前
用户：sun2152
-
21ic下载 打赏20.00元 3天前
用户：铁蛋锅
-
21ic下载 打赏20.00元 3天前
用户：xuzhen1
-
21ic下载 打赏20.00元 3天前
用户：w1966891335
-
21ic下载 打赏35.00元 3天前
用户：有理想666
-
21ic下载 打赏15.00元 3天前
用户：nuaanuaa111
-
21ic下载 打赏20.00元 3天前
用户：liqiang9090
-
21ic下载 打赏15.00元 3天前
用户：ningmengge
-
21ic下载 打赏10.00元 3天前
用户：mulanhk
-
21ic下载 打赏5.00元 3天前
用户：asys
-
21ic下载 打赏10.00元 3天前
用户：舞蹈荀彧
-
21ic小能手 打赏5.00元 3天前
资料：磁编码器开源方案
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
江岚 打赏20.00元 3天前
-
江岚 打赏50.00元 3天前
-
江岚 打赏20.00元 3天前
-
江岚 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
tangyu1 打赏1.00元 3天前
-
jjjjkkkkk 打赏1.00元 3天前
全部评论(0)