推荐星级：

关于异构型物联网重复数据有效清除仿真

更新时间：2019-12-22 17:30:45 大小：2M 上传用户：xiaohei1810 查看TA发布的资源 标签：物联网 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

对异构型物联网的重复数据的清除,可以有效提高物联网运行稳定性.对异构物联网的重复数据进行有效清除,需要对全部的特征向量进行量化处理,进而组建字符关系矩阵,完成重复数据的有效清除.传统方法利用批处理块级重复数据清除方法计算出数据间的相似度,给出相似度判断阈值,但忽略了字符关系矩阵的建立,导致数据去重精度偏低.提出基于多维数据聚类的重复数据清除方法.将全部感知数据属性中的连续值进行离散化,提取各个数据文本中的特征向量,对全部的特征向量进行量化处理,融合傅立叶转换方法组建字符关系矩阵,给出每个字符和数据间的映射关系,计算每个数据的傅立叶系数向量,得到数据相似度判断阈值,由此实现面向异构型物联网的重复数据清除.仿真证明,所提方法清除精度高,有效地提升了异构型物联网环境下重复数据的质量.

部分文件列表

文件名	大小
关于异构型物联网重复数据有效清除仿真.pdf	2M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

2018年5月

计算机仿真

第35卷第5期

文章编号：1006—9348(2018)05一0444—04

关于异构型物联网重复数据有效清除仿真

严圣华．王昌达

(江苏大学研究生学院，江苏镇江212016)

摘要：对异构型物联网的重复数据的清除。可以有效提高物联网运行稳定性。对异构物联网的重复数据进行有效清除，需要

对全部的特征向量进行量化处理，进而组建字符关系矩阵，完成重复数据的有效清除。传统方法利用批处理块级重复数据

清除方法计算出数据问的相似度，给m相似度判断阈值，但忽略了字符关系矩阵的建立，导致数据去重精度偏低。提出基于

多维数据聚类的重复数据清除方法。将全部感知数据属性中的连续值进行离散化，提取各个数据文本中的特征向量，对全

部的特征向量进行量化处理，融合傅立叶转换方法组建字符关系矩阵，给出每个字符和数据问的映射关系，计算每个数据的

傅立叶系数向量，得到数据相似度判断阈值，由此实现面向异构型物联网的重复数据清除。仿真证明，所提方法清除精度

高．有效地提升了异构型物联网环境下重复数据的质量。

关键词：异构型物联网；重复数据；有效清除

中图分类号：TP39l

文献标识码：B

Simulation of Effective Removal of

Data in

Duplicate

Things

Internet of

Heterogeneous

YAN

Sheng-hua，WANGChang-da

(Graduate School，Jiangsu University，Jiangsu Zhenjiang 212016，China)

aim of this research

for

data

ABSTRACT：The

overcome defect of traditional elimination method

duplicated

Internet of

elimination

on multi-dimensional data

new

cluster，a

heterogeneous

Things，such

poor

precision．Based

elimination method is

is carried out for continuous value in all

data attrib—

proposed．Firstly，discretization

perception

characteristic vector in earh

text

data

is carried out for all charac—

ute，and

extracted．Then，quantification

method，character relationship

process

matrix is built and

teristic vectors

with Fourier transform

relation

Integrated

mapping

between each character and data iS

threshold of data

vector

coemeient

duplicated

of each data iS calculated to obtain

iudgment

provided．Fourier

elimination of

data is

that the method

completed．Simulation proves

similarity．Thus，the

has

elimination

of the

data

duplicated

high

precision．It improves quality

internet of

effectively．

elimination

things；Duplicated data；Effective

KEYWORDS：Heterogeneous

引言

异构型物联网具有较为深远的发展意义．在各行业领域

复数据清除的实施陷入了瓶颈。在这种情况下．面向异构型

物联网的重复数据清除问题，成为了制约异构型物联网领域

中得到了广泛的应用。。。感知数据作为异构型物联网的

主要功能信息，为异构型物联网提供了信息来源．是异构型

物联网应用的基础，也是实现异构型物联网信息“全面感知”

应用目标的技术保证一“。但大量原始感知信息多表述为

显著的多源异构特性。并且原始数据中包含了大量的错误

和重复数据，而且数据的优劣直接影响上层应用分析结果的

可靠性以及应用目标的真正实现。此时，在异构型物联网环

境下，需要高效地进行重复数据清除，但是采用当前方法进

行重复数据清除时，无法给出数据的变量集合，致使其对重

发展的一个重要因素，引起了很多专家和学者的重视【7】。

在异构型物联网环境下，有关重复数据清除的研究有很

多，其相应的研究也出现一定的成果。文献[8]采用双指针

有向无环图给出数据的结构，利用批处理块级重复数据清除

方法计算出数据间的相似度，给出相似度判断阈值，由此实

现重复数据清除。该方法可以快速地提取不同类型数据的

特征属性，但是采用当前方法进行感知重复数据清除时．无

法给出数据的变量集合，存在重复数据清除误差大的问题。

文献[9]先确定数据的属性类型，基于变长分块(content de．

^finedchunking，CDC)方法给出重复数据清除最大先验概率．

获取异构感知数据属性间的距离，以此为依据进行重复数据

收稿日期：2017—11—09修回日期：2017—11—20

清除。该方法可以给出数据间的相似度阈值，但是无法降低

—444一

万方数据

特征空间的维数。文献[10]引入双线性对和纠删编码得到

重复数据清除阈值，给出数据间的属性变量．以此为依据进

式中，k代表数据之间的海明距离。

假设，由a 代表数据状态的主观概率估计，则利用式

行重复数据清除。该方法可以给出大数据变量集合。但是无

法检测出数据完整性。

(6)实现重复数据清除

(6)

po：鳖≠巡千‰ ± 乙。

针对上述问题，提出一种基于多维数据聚类的重复数据

清除方法。仿真证明，所提方法清除精度高．有效地提升了

异构型物联网环境下重复数据的质量。

，1日“】s幽

综上所述可以说明，重复数据的清除原理，利用该原理

进行异构型物联网下重复数据高效清除。

2异构型物联网下重复数据清除系统原理

在异构型物联网环境下，进行重复数据清除的过程中，

先划分数据属性类型，提取不同数据类型的属性特征，计算

出不同数据类型属性特征的最大分布概率．计算特征之间的

距离，给出特征间的相似度阈值，实现重复数据清除。具体

的步骤如下详述。

基于多维数据聚类的重复数据优化清除

3．1

特征向量的量化处理

在异构型物联网环境下，为了更好地提升重复数据清除

精度，先利用多维数据聚类分析方法将全部数据集中每个数

据项都映射到相应的类别上，融合贝叶斯方法对数据样本空

间进行划分，提取各个数据文本中的特征向量．对全部的特

征向量进行量化处理。具体步骤如下详述。

假设，由埘二代表每条数据的特征值矢量空间，‘代表

数据的Simhash值，90代表数据在分词后的集合类型，山代

表原数据集类型集合，则利用式(1)划分数据属性类型

假设，由D0代表给定数据集，c利代表D二的类别集

合，将数据集D：“中的每个数据项D：础都映射到c。中的一

个类别上，利用式(7)表述

。

Es‘,。dgh

(”1)7

一r

髓

0± 叫

0“

嚣

^二叫副

吼

‘

、’7

尸

bmd

坠乒生± 监掣(7)

式中，g二代表各个组内的数据数量，^二代表各个传输单元

之间的关系，p二代表数据包中的位置序号。

r咖

式中，肛厶代表父节点集合，埘厶代表节点之间的依赖关系，

乙代表有向边。

假设，由先．代表传输数据量，面之代表采样周期的可用

带宽预测值，^二代表查重处理时间预测，则利用式(2)提取

不同数据类型的属性特征

假设，由a：，代表有向边的集合，Jlf：。。代表似然率测试

规则，z0代表数据特征矢量类型，p 代表事件d_的发生概

率，则利用式(8)对数据样本空间进行划分

(2)

A乙：缮千ml× i

g‰ i+e鲫

式中，e：，代表第i个采样周期的查重处理时间预测值，m二代

表传输单元的查重处理时间。

ntile,：手粤干s■①孥干p0(8)-T

—z0-M：删～”母‘。，枷

式中，s■代表数据集映射值后的值，y：代表数据集映射值的

假设，由p0代表传输的总数据量大小，e■代表可用带

相似性，p0代表字符串匹配阈值。

宽的观测值，￡0。代表数据服务器端，r囊代表数据块k：的校

验码，则利用式(3)计算出不同数据类型属性特征的最大分

布概率

假设，由77乙代表数据之间的耦合度，s名代表各聚类集

合的相似性，利用式(9)提取各个数据文本中的特征向量

(9)

e五=鳖÷ 业± ^乙

(3)

k_{2箸鼍× 乏埘y‘eep。}

Kpol

式中，后二代表重要属性占全部属性的百分比，^0代表数据

集扫描次数。

式中，p0代表待验证的数据块号信息，)，0。代表数据块在

数据服务器中映像的校验码checksum码。

假设，由p厶代表不同数据集的维，d二。。代表数据的变量

集合，则利用式(10)对全部的特征向量进行量化处理

假设，由s厶代表数据特征码主码的长度，)，名代表不同

网页出现相同数据特征码主码的概率，则利用式(4)计算特

征之间的距离

1。，

A；，2；赞± ；j：亏j：耋}c

式中，厶、R赢代表学习数据结果集和测试训练集。

综上所述可以说明，在异构型物联网环境下，进行重复

u。=芒麓千鼍静

式中，d幺代表数据属性的类型数量，^0代表数据属性的类

型特征集合。

数据优化清除时，将全部数据集中每个数据项都映射到相应

的类别上，融合贝叶斯方法得到对数据样本空间进行划分，

提取各个数据文本中的特征向量，对全部的特征向量进行量

化处理．为实现重复数据清除奠定基础。

假设，由‰ 代表数据属性特征的最大权重厶代表数

据属性样本均值的特征分布，则利用式(5)给出特征间的相

似度阈值

3．2

基于数据相似度的重复数据清除

(5)

在对重复数据优化清除过程中，以3．1节获取的量化处

乙=苦造玑

一445—

万方数据

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

最新上传

打赏
30日榜单

cai0603 打赏3.00元 1天前

用户：CJQ_ENJOY
21ic小能手打赏5.00元 1天前

资料：基于STM32f103c8t6的can回环测试
21ic小能手打赏10.00元 1天前

资料：特斯拉 TESLA AC DC 充电接口标准
cai0603 打赏3.00元 1天前

用户：dongshao
21ic小能手打赏5.00元 2天前

资料：先楫工业以太网高性能MCU HPM6E00系列PWM输出控制
21ic小能手打赏10.00元 2天前

资料：毕业设计：基于Vue的校园点餐移动平台设计与实现
21ic下载打赏310.00元 2天前

用户：gsy幸运
21ic下载打赏310.00元 2天前

用户：zhengdai
21ic下载打赏310.00元 2天前

用户：小猫做电路
21ic下载打赏310.00元 2天前

用户：liqiang9090
21ic下载打赏270.00元 2天前

用户：kk1957135547
21ic下载打赏160.00元 2天前

用户：w178191520
21ic下载打赏160.00元 2天前

用户：w1966891335
21ic下载打赏50.00元 2天前

用户：w993263495
21ic下载打赏40.00元 2天前

用户：w993263495
21ic下载打赏90.00元 2天前

用户：cooldog123pp
21ic下载打赏30.00元 2天前

用户：sun2152
21ic下载打赏40.00元 2天前

用户：xzxbybd
21ic下载打赏40.00元 2天前

用户：铁蛋锅
21ic下载打赏30.00元 2天前

用户：happypcb
21ic下载打赏50.00元 2天前

用户：forgot

21ic下载打赏10.00元 2天前

用户：xuzhen1
21ic下载打赏20.00元 2天前

用户：wanglu6666
21ic下载打赏5.00元 2天前

用户：人间留客
21ic下载打赏5.00元 2天前

用户：jyxjiyixing
21ic下载打赏5.00元 2天前

用户：akae_du
21ic下载打赏5.00元 2天前

用户：ouyang_56
21ic小能手打赏5.00元 3天前

资料：基于zigbee和stm32的智能家居系统
21ic小能手打赏5.00元 3天前

资料：stm32小车开环控制参考例程
21ic小能手打赏5.00元 3天前

资料：基于STM32的滚球平板控制系统
21ic小能手打赏5.00元 3天前

资料：小米电机STM32H750控制
21ic小能手打赏5.00元 3天前

资料：基于stm32的空气净化器
xlhtracy 打赏10.00元 3天前

资料：STM32F4智能萌宠小屋原理图
xlhtracy 打赏10.00元 3天前

资料：STM32智能家居系统项目资料原理图V1.1
21ic小能手打赏5.00元 3天前

资料：三端稳压电路的原理图和PCB
21ic小能手打赏5.00元 3天前

资料：uCOS 全家桶软件包，组件开源源码包
xlhtracy 打赏5.00元 3天前

资料：用杰理芯片开发带录音混响蓝牙功能的多功能路演音箱-原创
czmhcy 打赏1.00元 3天前

资料：bitboy
21ic小能手打赏5.00元 3天前

资料：GPSDOYT全套开发资料，包含原理图源码
21ic小能手打赏20.00元 3天前

资料：STM32控制小米电机

关于异构型物联网重复数据有效清除仿真

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页