推荐星级：

面向物联网的异构数据转换模型

更新时间：2019-12-20 07:04:07 大小：3M 上传用户：xiaohei1810 查看TA发布的资源 标签：物联网异构数据转换 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

由于物联网(Internet of Thigs,IoT)各领域中应用系统的分散开发和引进,形成了海量的以数据库形式存在的“信息孤岛”,传统互联的数据转换系统开发效率及代码重复利用率低下,无法满足新的互联需求.针对以上问题,本文提出了一种面向物联网的异构数据转换模型(IoT-oriented Data Conversion Model,IDCM).该模型主要由模式匹配器、数据转换器和状态监控器组成.首先,通过引用模式匹配器,实现对异构数据库的自动模式匹配,提高了模式匹配效率.其次,利用数据转换器,调用模式匹配结果,实现动态自适应,提高了代码利用率.然后,通过运行状态监控器的使用,实现了数据转换器统一的集成管理.最后,我们对该模型在家电测试及海洋观测领域的互联项目中进行了实际验证.结果表明,IDCM模型有效、可行,对促进物联网异构数据的转换具有重要的作用.

部分文件列表

文件名	大小
面向物联网的异构数据转换模型.pdf	3M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

第49卷第6期

中国海洋大学学报

PERl0DICAL 0F0CEANUNIVERSITY0FCHlNA

49(6)：140～146

June，2019

2019年6月

面向物联网的异构数据转换模型+

郭

帅1，郭忠文卜+，胡乃军2，仇志金1

(1中国海洋大学信息科学与工程学院，山东青岛266100；2．青岛市T商行政管理局信息中心，山东青岛266071)

摘要：由于物联网(Internet

Thigs，IoT)各领域中应用系统的分散开发和引进，形成了海量的以数据库形式存在的

“信息孤岛”，传统互联的数据转换系统开发效率及代码重复利用率低下，无法满足新的互联需求。针对以上问题，本文提

Data Conversion

Model，IDCM)。该模型主要由模式匹配器、数据

出了一种面向物联网的异构数据转换模型(10T-oriented

转换器和状态监控器组成。首先，通过引用模式匹配器，实现对异构数据库的自动模式匹配，提高了模式匹配效率。其次，

利用数据转换器，调用模式匹配结果，实现动态自适应，提高了代码利用率。然后，通过运行状态监控器的使用，实现了数

据转换器统一的集成管理。最后，我们对该模型在家电测试及海洋观测领域的互联项目中进行了实际验证。结果表明，

mCM模型有效、可行，对促进物联网异构数据的转换具有重要的作用。

关键词：异构数据；模式匹配；物联网；数据转换模型

1672—5174(2019)06—140一07

中图法分类号：TP303

文献标志码：

文章编号：

DOI：

10．16441／j．cnki．hdxb．20160321

引用格式：郭帅，郭忠文，胡乃军，等．面向物联网的异构数据转换模型EJ3．中国海洋大学学报(自然科学版)，2019，49

(6)：140-146．

a1．10T-oriented

data conversion

heterogeneous

of O—

GUOShuai，GUO

Nai-Jun，el

model[J]．Periodical

Zhong-Wen，HU

cean

of China，2019，49(6)：140—146．

University

随着物联网技术的快速发展以及互联网+理念的

普及，海量数据的互联转换已经形成了不可阻挡的发

展趋势，异构数据转换作为实现数据互联的有效途径

之一，其重要性也El益增加。然而，目前大多数据并未

实现互联共享，导致形成了大量的、独立封闭的信息孤

岛，严重阻碍了人们对信息的获取[1]，如何将这些信息

孤岛互联起来已经成为当下的关键问题。传统的异构

数据转换模型大多将重点放在异构数据输出格式的统

一定义和网络传输方式上，随着异构数据越来越多样

化以及互联转换需求量的迅速增加，对异构数据转换

又提出了新的挑战，如何在现实应用中实现标准、高

效、规模化的异构数据转换越来越受到人们的重视。

数据互联与转换技术种类繁多，主要可以划分为：

联邦数据库技术、数据服务技术、数据网格技术等。联

邦数据库技术将海量数据库，通过构建全局数据视图，

实现了对异构数据库的统一访问。数据服务技术将服

务技术的特点和优势与数据库互联相结合，增强传统

数据库的交互及协同能力。数据网格技术主要针对多

系统、多分布、大规模的异构数据，通过数据网格实现

异构数据库的自主互联、协同及综合利用。美国军方

Information

正在实施的全球信息网格GIG(Global

Grid)，预计在2020年完成，利用计算网格和数据网格

技术及时的收集、处理和共享军事情报信息。

基于以上的数据互联与转换技术，在现有的数据

转换模型中，美国Standford大学设计的Lore系统[2]

主要用于管理半结构化信息的数据库管理系统，可以

对半结构化数据OEM和XML数据进行存储和管理；

Ozone模型对面向对象数据库的0DMG转换模型进

行了扩展，可对结构化和半结构化数据进行转换；东南

大学Versatile[3]是一个基于CORBA可扩展的异构数

据源转换系统模型。这些传统的数据转换模型都在一

定程度上解决了异构数据转换问题，但在现实情况中

仍然存在许多缺点和不足：首先，单一的定义统一数据

输出格式只能解决部分问题，大多数的异构数据无法

提供统一标准的数据接口，只能使用人工配置的方式

对异构数据与标准化数据库进行模式匹配，而现有的

模式匹配方式多种多样，大多随着开发人员的定义和

习惯而改变，难以形成一个统一的异构数据模式匹配

基金项目：国家自然科学基金项目(61572448；61379127)；国家海洋公益性行业科研专项(GHME2013ZC01)资助

Fund for

Research in the Public Interest

Ocean

National Science Foundation of

Supportedby

China(61572448；61379127)；Special

(GHME2013ZC01)

收稿日期：2016—09—13；修订日期：2017-01-09

作者简介：郭帅(1989一)，男，博士生。E-mail：guoshuaiouc@163．com

¨ 通讯作者：E-mail：guozhw@ouc．edu．cn

万方数据

6期

郭帅，等：面向物联网的异构数据转换模型

模型，导致模式匹配过程复杂、耗时，降低了数据转换

的效率。其次，传统的模式匹配映射仅仅以人工编写

代码的方式写入程序中，供解析模块解析，并没有单独

存储信息，导致一旦模式发生改变，只能通过修改代码

的方式解决，解析模块无法自适应映射的改变并且无

法动态扩充，这大大降低了软件的灵活性，提高了开发

成本，延长了开发周期。最后，对大量不同的数据转换

模块缺少统一的管理及其运行状态的实时远程监控，

导致出现问题无法及时捕捉，难以通过远程方式解决，

增加了维护成本。

1．1模型架构

本文所提出的异构数据转换模型(IDCM)的模型

架构如图1所示，该模型由五大模块组成：模式匹配

器、数据转换器、状态监控器、标准化数据库和标准数

据接口，各部分协同工作，共同实现异构数据的转换。

(1)模式匹配器：基于统一的模式匹配模型，为用

户提供人性化、快捷化的操作界面以及操作方式，对异

构数据和标准化数据库进行模式匹配，建立映射，并最

终将匹配结果单独存储。

(2)数据转换器：解析模式匹配结果，获取异构数

据进行数据转换，并将转换后的数据写人到标准化数

据库中，实现异构数据的标准化。

针对以上出现的新问题，传统的异构数据转换模

型已经难以处理，无法在现实应用中实现数据转换的

标准化、高效化、规模化。为此本文给出了一种面向物

联网的异构数据转换模型IDCM，该模型主要针对由物

联网各领域中应用系统的分散开发和引进而形成了海

量的异构数据库，通过引入模式匹配器、数据转换器和

状态监控器，较好的解决了以上问题，本文的主要贡献

如下：

(3)状态监控器：对所有的数据转换器的运行状

态、网络连接等进行实时远程监控，并对其进行统一的

管理与维护。

(4)标准化数据库：存储标准化数据、模式匹配结

果和状态监控日志等数据信息。

(5)标准数据接口：对外提供标准化的WebService

数据服务接口，用户通过访问数据接口获取相关数据。

(1)构建了物联网异构数据转换模型架构，对物联

网异构数据的转换与互联提供了一个标准，提高了针

对物联网异构数据的数据转换与互联的效率。

(2)构建了模式匹配器，基于统一的模式匹配模

型，对未能提供标准数据接口的异构数据与标准化数

据库进行模式匹配，产生的匹配结果单独存储，简化了

模式匹配过程，提高了模式匹配效率，降低了人工参与

度。

Q异构

异构数据

弦

数据数Q据转换器

器

◇

模式匹配器

产

统

v＼、

／—、

鎏

B甲．．．．．．．．．．．

炒警．．．．．1：

(3)构建了数据转换器，调用模式匹配结果，建立

映射，实现动态自适应，降低了解析模块开发成本，大

幅缩短其开发周期，提高了系统开发过程中的资源利

用率。

◇

l=，脑麴彰

妙

状态监控器

标准化数据库

’应用系统

(4)构建了运行状态监控器的使用，实现了数据转

换器统一的集成管理，并且实时远程追踪其运行状态，

增强了为数据转换器的维护性，降低维护成本。

(5)对外提供标准化的WebService数据接口，通

过访问该接口来获取转换后的数据。

图1

IDCM模型架构

IDCM_model

structure

Fig．1

1．2模型处理机制

步骤一：模式匹配器与异构数据建立连接，获取异

构数据的模式信息，通过人工快速配置的方式进行模

式匹配，将最终产生的模式匹配结果存入标准化数据

库的匹配池中(见图2中过程①②)。

1模型设计

IDCM是一种面向物联网的异构数据转换模型，该

模型针对物联网海量的异构数据互联转换问题，提供

了有效的数据转换方法，实现了数据转换过程中对模

式匹配的动态自适应；提高了模式匹配效率及系统开

发过程中资源的重复利用率；对数据转换模块进行统

一管理和远程监控；最终实现异构数据转换的标准化、

高效化、规模化。本章节将对IDCM的模型架构及模

型处理机制进行详细描述。

步骤二：数据转换程序从数据库匹配池中获取模

式匹配结果，建立映射，启动数据转换功能进行数据的

获取与解析，并将最终生成的数据写入标准化数据库

(见图2中过程③④⑤⑥)。

步骤三：这期间，运行状态监控器对所有启动的数

据转换器进行远程监控(见图2中过程⑦)。

万方数据

中国海洋大学学报

歹E(1，行)主要存在一对一，一对多，多对一这三种映

射关系，如图4所示。基于映射关系，建立一个操作函

数f(x)执行模式匹配运算，匹配运算包含基本的算数

运算、合并拆分及数据格式转换等操作，则对于任意一

个匹配集合R，都有：

蠢

笨

N。

R—f((Csl，a1)，(Cs2，a2)，，(C岛，a。))，押E

图2 IDCM模型处理机制

IDCM model

mechanism

handling

Fig．2

2模型实现

2．1模式匹配器

融

一国团圈i圆

模式匹配器主要实现异构数据和标准化数据库之

间的模式匹配，建立映射关系‘4|，并且将最终的匹配结

果单独存储。模式匹配器的映射模型如图3所示。

雠

s翮剡嘲酬i；|割～

图4数据集合映射

Dataset

Fig．4

mapping

模式匹配结果集R一{R，，R：，R。，，R)存储于数

据库中，任意匹配集Ri R的存储方式如表1所示，其

中匹配标识唯一确定了一条匹配信息，便于检索调用；

D信息中记录C功(J (1，卵))中每一个b的唯一标识

信息；S信息存储对应于b的匹配结果，“@”为操作符，

它实际上是一个由多种数据转换操作组成的集合。

表1匹配集合存储结构

Tablel

dataset

structure

Matching

storage

匹配标识

Matching

图3模式匹配器映射模型

Pattern matcher

model

Fig．3

mapping

(Csl，a1)@(Cs2，a2)@ @(矗，n。)

序号Index

假设存在异构数据S和标准化数据库D，定义：

(1)在S和D中，只包含一个主题信息的数据集合

为C，例如关系数据库的一个表或一个数据文件等。

(2)D中每一个数据集合C都有唯一的模式匹配

最后，以关系数据库为例对模式匹配器进行说明。

已知关系数据库S和标准化数据库D，按照D的模式

构建一个模式匹配器，模式匹配器与关系数据库S建

立连接，从而获取s的模式信息集{C C、z，G，，

巳)，其中模式信息如数据库表名、字段名、字段类型，

数据文件的文件名，行、列定义等，基于该集合构建一

个埘× k的模式矩阵P：

集合R与之对应，即R一厂(C)。

(3)S中数据集合C的个数为m和D中数据集合

C的个数为九，则S集合和D集合可以表示为：

S一{G1，G2，G。，，C。)；

f(f1，f11)

(f1，厂1^)]

D一{(CDl，R1)，(CD2，R2)，，(C胁，R。))。

P—f

；

‘．

；

l。

(4)对于单一的数据集合C都可以表示为一个P×

q的二维矩阵A(P N，q N)，A一(n1，n2，n3，，

ai)，(i—p或i—q)。例如对于关系数据库中的表，A

可以表示为列向量的集合；对于XML数据文件则可以

表示为行向量的集合。

l(f。，fml) (￡。，厶)j

式中：m为S中所有表的个数；n为S中所有表中的最

大字段数；ti为C，所对应的表的表名称；^。～厶为C，

所对应的表的所有字段名称及字段类型；G一{^i，

C。，，C37，，G，)，并且定义若(ti，^，)不存在，则(￡。，

^)一0。随后构建操作矩阵Q：

Ci—A。一(口l，a2，a3，，a，)，r N；

C凸一Bn一(b1，62，63，，6，)， s N。

通过研究分析发现G和C功中的a、b，i E(1，m)，

万方数据

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

面向物联网的异构数据转换模型

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页