推荐星级：

海量物联网数据安全处理模型研究

更新时间：2019-12-20 00:16:21 大小：812K 上传用户：xiaohei1810 查看TA发布的资源 标签：物联网数据安全处理 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

物联网已经成为信息技术发展的重要趋势.如何处理海量物联网数据并且确保这些海量数据的安全变得越来越重要.本文针对互联网的海量数据处理及其安全应用,提出一个海量物联网数据的安全处理模型.该模型主要由海量物联网数据采集、数据存储、基于规则的海量数据处理及其物联网数据安全管理等组成.通过该模型可以较好地实现物联网所产生的海量数据的安全传递、存储及其基于规则的处理等等,达到支撑各种应用的目的.该模型可以应用于各种基于规则的海量物联网数据监测系统如:基于物联网的湖泊水质监测系统、基于物联网的PM2.5监测系统及基于物联网的智能交通监测系统等.

部分文件列表

文件名	大小
海量物联网数据安全处理模型研究.pdf	812K

立即下载

【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

小型微型算机系

2013年9月第9期

Journal of Chinese

V01．34

Computer Systems

No．9 2013

海量物网数据安全理模型研究

桂

L2⋯ ，

3，李

超1’2，

勇1，一，曾

春1，-，邢春 1，2

1(清大学信息技研究院，北京100084)

2(清大学信息科学与技国家室，北京100084)

学院信息管理学院，武 430205)

3、(湖北

E— mail：．tsinghua．edu．cn

摘要：物网已

本文网的海量数据理及其安全用，提出一个海量物网数据的安全理模型．模型主要由海量物网数据采

集、数据存、基于

成

信息技

展的重要

．如何理海量物网数据并且确保些海量数据的安全得越来越重要．

互

的海量数据理及其物网数据安全管理等成．通

、存及其基于理等等，达到支撑各种用的目的．模型可以用于各种基于

如：基于物网的湖泊水

模型可以好地

物

网所生的海量数

的海量物网数据

据的安全

系

的

系

、基于物网的PM2．5

理；数据安全

系

及基于物网的智能交通

系

等．

关

中

：物网；海量数据；云存

；

分

号：TP301 文献

：A

文章号：1000．1220(2013)09．2090-05

Model Research Based on Massive loT Data

Security Processing

ZHANG

Chun．xia01· 2

Chao‘”，ZHANG Yon91”，ZENG Chunl”。XING

ya3。LI

Gui．gan91-2”。BI

Institute

1(Research

ofInformationTechnology，TsinghuaUniversity，Bering 100084，China}

National

for

Science

and

Information

Tsinghua

School of

Laboratory

100084。China)

to massive IoT data and ensure

Technology，Tsinghua University，Beijing

Information and

Management。Hubei

Economics，Wuhan

University

430205。CMna)

Abstract：Internet

the

of information

things

becoming

importantⅡend

technologies．How

process

model．This

its

more and more

this

model is

security

becoming

important．In

paper，we proposed security processing

data

composed

data

data collection of Internet of

based 011 rules

by(1)massive

things；(2)data storage；(3)massive

processing

and(4)the

of intemet of

this

all these loT data

store massive IoT data effi—

security

model。we can：(1)transfer

things．Through

safely；(2

and

all kind of

based on roles and massive IoT data．our model Can be used in all kinds of

ciency

safely and(3)design

application

based on massive roles．For

based on loT and the

lake water

based

system

PM2．5

IoT，the

monitoring systems

example：(1)the

monitoring

quality

traffic based on the IoT．

monitoring system

Key words：internet

intelligent

things；massive data；cloud storage；rule processing；data security

1引

言

的非常重要的成部分，有的主要

TE”1、TREATHl及其RETE2等．而基于

理算法有RE—

理算法的

些

信息技

展大致

了以算机互

主的互网

工具主要有Jboss、ILog等等．物网的数据失真与否，尤其是

一些重要用系的物网数据的安全与否直接关系到整个

代、以信息互

主的网信息代、以及到在的物物相

感器无无刻不在

的物网’1’2 o年代．成千上万的物

网

决策程，故物网数据的安全保也将是物

的一个巨大

了解决物网在展中面

有非常完善的准与解决方案．本文

海量物网数据安全理模型及其相的关

网的展提供一些方法和思路．

网

展中面

生海量的数据，海量的数据如何行安全的

，如何

行

．

安全的存和高效理及其基于些海量数据的

理

的

，国内外在尚没

用均面巨大的挑．目前物网数据采集中主要使用海量

感器来取数据．数据存，尤其于海量的数据存

要采用数据及其文件系行．构化数据一般采用数

如Oracle，MySQL等等行完成，而海量的非构化数

些

，研究一种

，从而

的

主

技

来

物

据

DFS等等云存

的

据采用分布式文件系如GFS，Hadoop

2物网数据安全理模型框架

方法来

控

．海量的感数据一般都用于基于数据的各种

用．基于的海量数据理模将是物用系

网

物

网数据安全理模型框架

1所示．框架主要

收稿日期：2012-05— 14收修改稿日期：2012-06-26基金目：湖北省教育 2011年度人文社会科学研究目(201ljytq055) 助；湖北

学院青年科研基金目(XJ201118) 助；国家“九七三”重点基研究目(2011CB302302) 助．作者介：。男，1978年

生，副教授，博士后，CCF会，研究方向网技、云算技，女，1978年生．博士，，研究方向网技、云算技

；李超。女，1978年生，副研究，研究方向事云算；勇，男，1973年生，副研究，研究方向件技；曾春，男，1975年生，高

展

划

桂

物

；

物

中

工程，研究方向数据

技；邢春，男，1967年生，研究，研究方向数据技．

万方数据

209l

9期

桂

等：海量物网数据安全理模型研究

包括六大部分．

存其代表方案有Google的BigTable㈣及其Hadoop的

1) 感器．部分主要是物网数据搜集工具，感器

将是物用系的主要数据源．

Hbase㈨云数据

系

．Hbase是BigTable的一个开源

．它

网

都是基于Key／Value存的NoSQL数据

系

2)海量物网数据采集中件．它主要采集来自于各种

感器的数据，将些数据采集来后需要做一定的理．来

存

中

件体系

构

2所示．

HUABASE㈣

自

感器的数据有很大一部分会失真而出不确定性，在数

据采集段需要将些非确定性数据行一定的理．

1分布式文件系 I。TDFS

3)物网数据存

性两个著的特点．它

数据存

性的展能力，不断存增加的数据．

4)海量物网数据理中件．物网的用离不

理，理是物用中最关的基

5)物网数据安全管理中件．物网的数据很大一部

分的功能用于各种，其数据的正确性和安全性直接

关系到各种用的有效性，物网数据的安全管理将成

理核心之一．常用的安全管理技主要包括：加密技、数

名技、基于PKI的数字、SSL安全等等．

6)基于海量物网数据的用．基于海量物网数据的

用系用范非常广泛，主要用于各种，如：PM2．

、湖泊水、海量生物、人体机

等等．

中

件．物网数据具有海量性和

{}

刻刻都在生数据，从而物

网

Linux㈣

中

件必具有海量的存能力以及要能

2存

中

件体系

构

Arichitecture of

middleware

storage

Fig．2

开

网

技

．

存

中

件由三部分成：(1)Linux操作系；(2)分

布式文件系 IoTDFS．它主要用来存来自HUABASE

鼎

境

数据的大表(Big Table)的数据；(3)HUABASE 鼎数据

．它是清大学信息技研究院开的列数据，它可以用

其

于存来自物网海量感器采集的数据．所有用于触

各

字

技

种物

网

用系

的数据源均来自于HUABASE

鼎

数据

．

3．1分布式文件系 IoTDFS

2可以看出，分布式文件系主要用于存海量的

的

从

系

能健康

系

来自于HUABASE的数据中的数据．它主要需要具有如下

几个特点：

基于海量物网数据

用

(1)能

特征，分布式文件系 IoTDFS需要能像GFS与

数据自 (Split)，并且当一台存

点不能存海量数据，通增加存点要能

展，是普通的本地文件系如Linux所不能做到的．

存海量的数据，且要能不断性展．若需

{≥

海量物网数据

件

要

足

理中

物

HDFS一

能

分

＼

网数

据安

全管

理中

件

自

的

海量物网数据存

中

件一

性

据

／

(2)由于IoTDFS需要存的都是来自于HUABASE数

海量物网数据采集中

件

／^／＼^▲、— ＼

的大表文件．而些大表文件都是大文件，可以高达几个

G甚至几个T．所以IoTDFS不需要考小文件的

，它没

感器1

感器n

Ii圃一一．一．一

有小文件． 3展示了一个IoTDFS基本架构，它是一种

于HDFS的分布式文件系架构．

似

物

网数据安全理模型框架

data

model

security processing

Framework of loT

Fig．1

1的六大部分构成了物网数据安全理模型的核

心．其中物网的安全管理穿整个模型中．从海量数据采

集、海量数据存及其基于

需要保数据的安全性．

的海量

理各个次均

大表文件i l|大表文件2 r⋯ -1大表文件d

3海量物网数据存

中

件关

技

物

网数据的主要特点有三个：

艇影鞠二

1)数据量大，且在不断增加；

2)数据的不确定性及其

3)数据的异构性．而数据的海量性尤其得突出．

了存海量的数据，云存将是一种比有效的存

存

点l存

点2存

点3存

点k

方

＼∑么／

法，同可以足数据的不断性增的需求．云存主要包

含两部分：一是基于分布式文件系的存，另外一种就是基

(1)数据

．(2)数据 Split：128M

于云数据

系

的存机制．基于分布式文件系的存其代

3分布式文件系 IoTDFS架构

表方案有Google的GFS及其Hadoop的HDFS两种分布式文

件存方案．HDFS是GFS的一个开源，它数据中

Framework of distributed file

system

IoTDFS

Fig．3

在

心可以支持2000台以上的PC存集群．基于云数据

系

的

从

3可以看出IoTDFS与HDFS有很多相同点，主要表

万方数据

2013盔

小型微型算机系

在：IoTDFS与I-IDFS一也采用一元数据点的方式．

IoTDFS存的都是大文件，不像其他一些需要存

量小文件的用，它的索引数量不会非常巨大，故直接使用一

一的元数据服器，可以减少多个元数据集群的

和同步等开，提高元数据索的效率．然IoTDFS与

HDFS有很多相同点，但是它有一个最大的区就是由于

系

管理．它不涉及到因

触

后，引起数据中的各

一旦被触后，并不

因

海

种数据化的

．故本文中的海量

会影响数据中的数据的完整性和一致性，不会其它

的

行

生任何影响，不需要

行事

理．

个

物

网的

IoTRule的基本表达方式

足

：

如果

我

要

物

网的数据直接 HUABASE数据

行

算，不需

算，故不需要考

方式．同文件的大小也不必

128兆，提高索效率．

条件一旦

那么

具体的IoTDFS文件本身

，可以直接采用

行

其

行

作

太小，我

考

将其

定

[例1]基于空气

1：

量

感器的PM2．5

系

3．2

HUABASE 鼎数据

鼎数据 HUABASE是一种面向列存的数据

物

网

系

所

适

童逯

￡

．它用于存来自海量物

网

感器的构化数据，它

：比

：!!!Q

有海量物网的出源．它的最主要特征表

那么

合分析型用．由于HUABASE是一种基于列的存模式，

故在行数据分析候，只需要取某一列或者几列数据即

拯

!：窒厦量煎金墨塞：：

物

网

2：

如果

可，不必将所有的列出，

将大大

．

PM2．5>】00

4海量物网数据

理中件关技

韭

告”空气

量

重

染”

理中最重要的算法 RETE．PETE算法它是一个

生式的高效模式匹配算法．算法是由

卡内基美隆大学的Charles L．Forgy在其表的文旧。中所

4．2

理模型

网

用来

系

基于物

理哺1模型

‘叫的海量数据理中件的

4所示．主要由五部分成，分

：生成

述的算法．RETE算法提供了家系的一个高效

的最核心的一个思想就是了大量的

．它

(Generating)、分配(Assignment)、划分(Partitioning)、通信

(Communication)、映射分配(Mapping)．其基本的入是～

点的共

享，从而大大提高了算法的理效率．但是RETE算法也存在

很大的局限性，最明的缺陷就是除事的代价于昂

个

化的海量物

由很多互相之没有任何接的物

要将其通子网自生成算法，生成互不相

的物子网；由于理机的数量有限，以及了保

网

网．海量物

网

网它可能

，

网

子网成．首先

如：在一些不再需要的

的代价．另外，算法了保留充分的中

的物理寄存器用来存大量的

巨大的存．若在不考

RETE算法其是目前最有效的一种

目前已用于大多数的引擎中，如Drools、ILOG以及

HAL等多种生式引擎以及相用系．由于物

网数据不确定性大，数据的粒度要大于

于属性粒度的，物需要

据才能足要求．

行物理

除

，需要耗大量

我

物网

果，引入了大量

网

中

共享点，需要占用

理机空代价的基上，采用

理算法．算法

各个理机的算代价基本相当，并且尽量减少通信代价，

理机的任首先需要行一个分配的程．由于算的

空

需要，于一些比大的物

网

子网，仍然需要一步

的

网刊燮陛网

爿型三翌r＼、I褊掣斛

的

基

网

各种粒度的数

4．1物

网

言及其

IoTRule

1)事件：本文中的事件只指数据中关系表的数据

种特定型事件．如：数据从无到有，数据的数

生

化

更新，数据被除三种情况．不考外部事件、

其它各种事件．

事件以及

2)小粒度事件：关系表里的一个特定的

的某个属性

的改而激的事件，称小粒度事件，如：某商品价格

生

化．

3)大粒度事件：关系表里的一

个属性的改而激的事件，称大粒度事件，如：

商品生日期化．

4) 作：本文中的作只有通知一种．通知就是向用

或者系管理送某些信息．在通知中，只需要数据

，将从数据中某些得到的数据通知或者

(关系表子集)的某

料

生

行

用

万方数据

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

海量物联网数据安全处理模型研究

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页