推荐星级：

关于异构型物联网重复数据有效清除仿真

更新时间：2019-12-22 17:30:45 大小：2M 上传用户：xiaohei1810 查看TA发布的资源 标签：物联网 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

对异构型物联网的重复数据的清除,可以有效提高物联网运行稳定性.对异构物联网的重复数据进行有效清除,需要对全部的特征向量进行量化处理,进而组建字符关系矩阵,完成重复数据的有效清除.传统方法利用批处理块级重复数据清除方法计算出数据间的相似度,给出相似度判断阈值,但忽略了字符关系矩阵的建立,导致数据去重精度偏低.提出基于多维数据聚类的重复数据清除方法.将全部感知数据属性中的连续值进行离散化,提取各个数据文本中的特征向量,对全部的特征向量进行量化处理,融合傅立叶转换方法组建字符关系矩阵,给出每个字符和数据间的映射关系,计算每个数据的傅立叶系数向量,得到数据相似度判断阈值,由此实现面向异构型物联网的重复数据清除.仿真证明,所提方法清除精度高,有效地提升了异构型物联网环境下重复数据的质量.

部分文件列表

文件名	大小
关于异构型物联网重复数据有效清除仿真.pdf	2M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

2018年5月

计算机仿真

第35卷第5期

文章编号：1006—9348(2018)05一0444—04

关于异构型物联网重复数据有效清除仿真

严圣华．王昌达

(江苏大学研究生学院，江苏镇江212016)

摘要：对异构型物联网的重复数据的清除。可以有效提高物联网运行稳定性。对异构物联网的重复数据进行有效清除，需要

对全部的特征向量进行量化处理，进而组建字符关系矩阵，完成重复数据的有效清除。传统方法利用批处理块级重复数据

清除方法计算出数据问的相似度，给m相似度判断阈值，但忽略了字符关系矩阵的建立，导致数据去重精度偏低。提出基于

多维数据聚类的重复数据清除方法。将全部感知数据属性中的连续值进行离散化，提取各个数据文本中的特征向量，对全

部的特征向量进行量化处理，融合傅立叶转换方法组建字符关系矩阵，给出每个字符和数据问的映射关系，计算每个数据的

傅立叶系数向量，得到数据相似度判断阈值，由此实现面向异构型物联网的重复数据清除。仿真证明，所提方法清除精度

高．有效地提升了异构型物联网环境下重复数据的质量。

关键词：异构型物联网；重复数据；有效清除

中图分类号：TP39l

文献标识码：B

Simulation of Effective Removal of

Data in

Duplicate

Things

Internet of

Heterogeneous

YAN

Sheng-hua，WANGChang-da

(Graduate School，Jiangsu University，Jiangsu Zhenjiang 212016，China)

aim of this research

for

data

ABSTRACT：The

overcome defect of traditional elimination method

duplicated

Internet of

elimination

on multi-dimensional data

new

cluster，a

heterogeneous

Things，such

poor

precision．Based

elimination method is

is carried out for continuous value in all

data attrib—

proposed．Firstly，discretization

perception

characteristic vector in earh

text

data

is carried out for all charac—

ute，and

extracted．Then，quantification

method，character relationship

process

matrix is built and

teristic vectors

with Fourier transform

relation

Integrated

mapping

between each character and data iS

threshold of data

vector

coemeient

duplicated

of each data iS calculated to obtain

iudgment

provided．Fourier

elimination of

data is

that the method

completed．Simulation proves

similarity．Thus，the

has

elimination

of the

data

duplicated

high

precision．It improves quality

internet of

effectively．

elimination

things；Duplicated data；Effective

KEYWORDS：Heterogeneous

引言

异构型物联网具有较为深远的发展意义．在各行业领域

复数据清除的实施陷入了瓶颈。在这种情况下．面向异构型

物联网的重复数据清除问题，成为了制约异构型物联网领域

中得到了广泛的应用。。。感知数据作为异构型物联网的

主要功能信息，为异构型物联网提供了信息来源．是异构型

物联网应用的基础，也是实现异构型物联网信息“全面感知”

应用目标的技术保证一“。但大量原始感知信息多表述为

显著的多源异构特性。并且原始数据中包含了大量的错误

和重复数据，而且数据的优劣直接影响上层应用分析结果的

可靠性以及应用目标的真正实现。此时，在异构型物联网环

境下，需要高效地进行重复数据清除，但是采用当前方法进

行重复数据清除时，无法给出数据的变量集合，致使其对重

发展的一个重要因素，引起了很多专家和学者的重视【7】。

在异构型物联网环境下，有关重复数据清除的研究有很

多，其相应的研究也出现一定的成果。文献[8]采用双指针

有向无环图给出数据的结构，利用批处理块级重复数据清除

方法计算出数据间的相似度，给出相似度判断阈值，由此实

现重复数据清除。该方法可以快速地提取不同类型数据的

特征属性，但是采用当前方法进行感知重复数据清除时．无

法给出数据的变量集合，存在重复数据清除误差大的问题。

文献[9]先确定数据的属性类型，基于变长分块(content de．

^finedchunking，CDC)方法给出重复数据清除最大先验概率．

获取异构感知数据属性间的距离，以此为依据进行重复数据

收稿日期：2017—11—09修回日期：2017—11—20

清除。该方法可以给出数据间的相似度阈值，但是无法降低

—444一

万方数据

特征空间的维数。文献[10]引入双线性对和纠删编码得到

重复数据清除阈值，给出数据间的属性变量．以此为依据进

式中，k代表数据之间的海明距离。

假设，由a 代表数据状态的主观概率估计，则利用式

行重复数据清除。该方法可以给出大数据变量集合。但是无

法检测出数据完整性。

(6)实现重复数据清除

(6)

po：鳖≠巡千‰ ± 乙。

针对上述问题，提出一种基于多维数据聚类的重复数据

清除方法。仿真证明，所提方法清除精度高．有效地提升了

异构型物联网环境下重复数据的质量。

，1日“】s幽

综上所述可以说明，重复数据的清除原理，利用该原理

进行异构型物联网下重复数据高效清除。

2异构型物联网下重复数据清除系统原理

在异构型物联网环境下，进行重复数据清除的过程中，

先划分数据属性类型，提取不同数据类型的属性特征，计算

出不同数据类型属性特征的最大分布概率．计算特征之间的

距离，给出特征间的相似度阈值，实现重复数据清除。具体

的步骤如下详述。

基于多维数据聚类的重复数据优化清除

3．1

特征向量的量化处理

在异构型物联网环境下，为了更好地提升重复数据清除

精度，先利用多维数据聚类分析方法将全部数据集中每个数

据项都映射到相应的类别上，融合贝叶斯方法对数据样本空

间进行划分，提取各个数据文本中的特征向量．对全部的特

征向量进行量化处理。具体步骤如下详述。

假设，由埘二代表每条数据的特征值矢量空间，‘代表

数据的Simhash值，90代表数据在分词后的集合类型，山代

表原数据集类型集合，则利用式(1)划分数据属性类型

假设，由D0代表给定数据集，c利代表D二的类别集

合，将数据集D：“中的每个数据项D：础都映射到c。中的一

个类别上，利用式(7)表述

。

Es‘,。dgh

(”1)7

一r

髓

0± 叫

0“

嚣

^二叫副

吼

‘

、’7

尸

bmd

坠乒生± 监掣(7)

式中，g二代表各个组内的数据数量，^二代表各个传输单元

之间的关系，p二代表数据包中的位置序号。

r咖

式中，肛厶代表父节点集合，埘厶代表节点之间的依赖关系，

乙代表有向边。

假设，由先．代表传输数据量，面之代表采样周期的可用

带宽预测值，^二代表查重处理时间预测，则利用式(2)提取

不同数据类型的属性特征

假设，由a：，代表有向边的集合，Jlf：。。代表似然率测试

规则，z0代表数据特征矢量类型，p 代表事件d_的发生概

率，则利用式(8)对数据样本空间进行划分

(2)

A乙：缮千ml× i

g‰ i+e鲫

式中，e：，代表第i个采样周期的查重处理时间预测值，m二代

表传输单元的查重处理时间。

ntile,：手粤干s■①孥干p0(8)-T

—z0-M：删～”母‘。，枷

式中，s■代表数据集映射值后的值，y：代表数据集映射值的

假设，由p0代表传输的总数据量大小，e■代表可用带

相似性，p0代表字符串匹配阈值。

宽的观测值，￡0。代表数据服务器端，r囊代表数据块k：的校

验码，则利用式(3)计算出不同数据类型属性特征的最大分

布概率

假设，由77乙代表数据之间的耦合度，s名代表各聚类集

合的相似性，利用式(9)提取各个数据文本中的特征向量

(9)

e五=鳖÷ 业± ^乙

(3)

k_{2箸鼍× 乏埘y‘eep。}

Kpol

式中，后二代表重要属性占全部属性的百分比，^0代表数据

集扫描次数。

式中，p0代表待验证的数据块号信息，)，0。代表数据块在

数据服务器中映像的校验码checksum码。

假设，由p厶代表不同数据集的维，d二。。代表数据的变量

集合，则利用式(10)对全部的特征向量进行量化处理

假设，由s厶代表数据特征码主码的长度，)，名代表不同

网页出现相同数据特征码主码的概率，则利用式(4)计算特

征之间的距离

1。，

A；，2；赞± ；j：亏j：耋}c

式中，厶、R赢代表学习数据结果集和测试训练集。

综上所述可以说明，在异构型物联网环境下，进行重复

u。=芒麓千鼍静

式中，d幺代表数据属性的类型数量，^0代表数据属性的类

型特征集合。

数据优化清除时，将全部数据集中每个数据项都映射到相应

的类别上，融合贝叶斯方法得到对数据样本空间进行划分，

提取各个数据文本中的特征向量，对全部的特征向量进行量

化处理．为实现重复数据清除奠定基础。

假设，由‰ 代表数据属性特征的最大权重厶代表数

据属性样本均值的特征分布，则利用式(5)给出特征间的相

似度阈值

3．2

基于数据相似度的重复数据清除

(5)

在对重复数据优化清除过程中，以3．1节获取的量化处

乙=苦造玑

一445—

万方数据

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

最新上传

打赏
30日榜单

21ic小能手打赏10.00元 1天前

资料：基于STM32的音乐播放器电路+PCB源文件+源码等
21ic小能手打赏10.00元 1天前

资料：USART文本数据包——TEXT数据包模式 keil平台原创教程
21ic小能手打赏10.00元 1天前

资料：USART收发数据包 HEX数据包模式 keil教程开发原创详细
21ic下载打赏310.00元 3天前

用户：小猫做电路
21ic下载打赏310.00元 3天前

用户：gsy幸运
21ic下载打赏310.00元 3天前

用户：liqiang9090
21ic下载打赏310.00元 3天前

用户：zhengdai
21ic下载打赏160.00元 3天前

用户：w1966891335
21ic下载打赏160.00元 3天前

用户：w178191520
21ic下载打赏160.00元 3天前

用户：kk1957135547
21ic下载打赏40.00元 3天前

用户：WK520077778
21ic下载打赏40.00元 3天前

用户：sun2152
21ic下载打赏30.00元 3天前

用户：xuzhen1
21ic下载打赏50.00元 3天前

用户：铁蛋锅
21ic下载打赏30.00元 3天前

用户：xzxbybd
21ic下载打赏40.00元 3天前

用户：z00
21ic下载打赏40.00元 3天前

用户：forgot
21ic下载打赏40.00元 3天前

用户：happypcb
21ic下载打赏20.00元 3天前

用户：zhaoqshan
21ic下载打赏5.00元 3天前

用户：17724187683
21ic下载打赏5.00元 3天前

用户：zmm1818

21ic小能手打赏15.00元 3天前

资料：16通道相控阵TR组件原理图与PCB(原创)
21ic小能手打赏5.00元 3天前

资料：基于FPGA的交通灯设计课程设计
21ic小能手打赏5.00元 3天前

资料：UC3843 12V 2.5A原理图和变压器制作方案设计
chenruiji 打赏1.00元 3天前

资料：血糖仪原理图
21ic小能手打赏5.00元 3天前

资料：基于51单片机的酒精检测设计方案源码
21ic小能手打赏5.00元 3天前

资料：基于STM32出租车计价器实验例程
21ic小能手打赏5.00元 3天前

资料：基于FreeRTOS的语音桌宠实验例程
21ic小能手打赏10.00元 3天前

资料：基于stm32和esp32的共享充电宝项目
21ic小能手打赏5.00元 3天前

资料：基于ROS2和STM32的摘桃机器人
21ic小能手打赏10.00元 3天前

资料：一辆控制系统稳定的无人驾驶汽车
21ic小能手打赏5.00元 3天前

资料：基于STM32F103与FreeRTOS系统开发的航模遥控辅助控制器
21ic小能手打赏5.00元 3天前

资料：基于STM32H745的网络天气数码相框
21ic小能手打赏5.00元 3天前

资料：测试智能语音控制模块
21ic小能手打赏5.00元 3天前

资料：STM32通过串口实现ESP8266模块连接
21ic小能手打赏5.00元 3天前

资料：单片机开发教程资料合集内容
21ic小能手打赏10.00元 3天前

资料：氮化镓65W快充最新方案资料包
21ic小能手打赏10.00元 3天前

资料：200W开关电源高P半桥全套方案资料
cai0603 打赏3.00元 3天前

用户：CJQ_ENJOY
21ic小能手打赏5.00元 3天前

资料：基于STM32f103c8t6的can回环测试

关于异构型物联网重复数据有效清除仿真

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页