推荐星级：

关于异构型物联网重复数据有效清除仿真

更新时间：2019-12-22 17:30:45 大小：2M 上传用户：xiaohei1810 查看TA发布的资源 标签：物联网 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

对异构型物联网的重复数据的清除,可以有效提高物联网运行稳定性.对异构物联网的重复数据进行有效清除,需要对全部的特征向量进行量化处理,进而组建字符关系矩阵,完成重复数据的有效清除.传统方法利用批处理块级重复数据清除方法计算出数据间的相似度,给出相似度判断阈值,但忽略了字符关系矩阵的建立,导致数据去重精度偏低.提出基于多维数据聚类的重复数据清除方法.将全部感知数据属性中的连续值进行离散化,提取各个数据文本中的特征向量,对全部的特征向量进行量化处理,融合傅立叶转换方法组建字符关系矩阵,给出每个字符和数据间的映射关系,计算每个数据的傅立叶系数向量,得到数据相似度判断阈值,由此实现面向异构型物联网的重复数据清除.仿真证明,所提方法清除精度高,有效地提升了异构型物联网环境下重复数据的质量.

部分文件列表

文件名	大小
关于异构型物联网重复数据有效清除仿真.pdf	2M

立即下载

【关注B站账户领20积分】

部分页面预览

（完整内容请下载后查看）

2018年5月

计算机仿真

第35卷第5期

文章编号：1006—9348(2018)05一0444—04

关于异构型物联网重复数据有效清除仿真

严圣华．王昌达

(江苏大学研究生学院，江苏镇江212016)

摘要：对异构型物联网的重复数据的清除。可以有效提高物联网运行稳定性。对异构物联网的重复数据进行有效清除，需要

对全部的特征向量进行量化处理，进而组建字符关系矩阵，完成重复数据的有效清除。传统方法利用批处理块级重复数据

清除方法计算出数据问的相似度，给m相似度判断阈值，但忽略了字符关系矩阵的建立，导致数据去重精度偏低。提出基于

多维数据聚类的重复数据清除方法。将全部感知数据属性中的连续值进行离散化，提取各个数据文本中的特征向量，对全

部的特征向量进行量化处理，融合傅立叶转换方法组建字符关系矩阵，给出每个字符和数据问的映射关系，计算每个数据的

傅立叶系数向量，得到数据相似度判断阈值，由此实现面向异构型物联网的重复数据清除。仿真证明，所提方法清除精度

高．有效地提升了异构型物联网环境下重复数据的质量。

关键词：异构型物联网；重复数据；有效清除

中图分类号：TP39l

文献标识码：B

Simulation of Effective Removal of

Data in

Duplicate

Things

Internet of

Heterogeneous

YAN

Sheng-hua，WANGChang-da

(Graduate School，Jiangsu University，Jiangsu Zhenjiang 212016，China)

aim of this research

for

data

ABSTRACT：The

overcome defect of traditional elimination method

duplicated

Internet of

elimination

on multi-dimensional data

new

cluster，a

heterogeneous

Things，such

poor

precision．Based

elimination method is

is carried out for continuous value in all

data attrib—

proposed．Firstly，discretization

perception

characteristic vector in earh

text

data

is carried out for all charac—

ute，and

extracted．Then，quantification

method，character relationship

process

matrix is built and

teristic vectors

with Fourier transform

relation

Integrated

mapping

between each character and data iS

threshold of data

vector

coemeient

duplicated

of each data iS calculated to obtain

iudgment

provided．Fourier

elimination of

data is

that the method

completed．Simulation proves

similarity．Thus，the

has

elimination

of the

data

duplicated

high

precision．It improves quality

internet of

effectively．

elimination

things；Duplicated data；Effective

KEYWORDS：Heterogeneous

引言

异构型物联网具有较为深远的发展意义．在各行业领域

复数据清除的实施陷入了瓶颈。在这种情况下．面向异构型

物联网的重复数据清除问题，成为了制约异构型物联网领域

中得到了广泛的应用。。。感知数据作为异构型物联网的

主要功能信息，为异构型物联网提供了信息来源．是异构型

物联网应用的基础，也是实现异构型物联网信息“全面感知”

应用目标的技术保证一“。但大量原始感知信息多表述为

显著的多源异构特性。并且原始数据中包含了大量的错误

和重复数据，而且数据的优劣直接影响上层应用分析结果的

可靠性以及应用目标的真正实现。此时，在异构型物联网环

境下，需要高效地进行重复数据清除，但是采用当前方法进

行重复数据清除时，无法给出数据的变量集合，致使其对重

发展的一个重要因素，引起了很多专家和学者的重视【7】。

在异构型物联网环境下，有关重复数据清除的研究有很

多，其相应的研究也出现一定的成果。文献[8]采用双指针

有向无环图给出数据的结构，利用批处理块级重复数据清除

方法计算出数据间的相似度，给出相似度判断阈值，由此实

现重复数据清除。该方法可以快速地提取不同类型数据的

特征属性，但是采用当前方法进行感知重复数据清除时．无

法给出数据的变量集合，存在重复数据清除误差大的问题。

文献[9]先确定数据的属性类型，基于变长分块(content de．

^finedchunking，CDC)方法给出重复数据清除最大先验概率．

获取异构感知数据属性间的距离，以此为依据进行重复数据

收稿日期：2017—11—09修回日期：2017—11—20

清除。该方法可以给出数据间的相似度阈值，但是无法降低

—444一

万方数据

特征空间的维数。文献[10]引入双线性对和纠删编码得到

重复数据清除阈值，给出数据间的属性变量．以此为依据进

式中，k代表数据之间的海明距离。

假设，由a 代表数据状态的主观概率估计，则利用式

行重复数据清除。该方法可以给出大数据变量集合。但是无

法检测出数据完整性。

(6)实现重复数据清除

(6)

po：鳖≠巡千‰ ± 乙。

针对上述问题，提出一种基于多维数据聚类的重复数据

清除方法。仿真证明，所提方法清除精度高．有效地提升了

异构型物联网环境下重复数据的质量。

，1日“】s幽

综上所述可以说明，重复数据的清除原理，利用该原理

进行异构型物联网下重复数据高效清除。

2异构型物联网下重复数据清除系统原理

在异构型物联网环境下，进行重复数据清除的过程中，

先划分数据属性类型，提取不同数据类型的属性特征，计算

出不同数据类型属性特征的最大分布概率．计算特征之间的

距离，给出特征间的相似度阈值，实现重复数据清除。具体

的步骤如下详述。

基于多维数据聚类的重复数据优化清除

3．1

特征向量的量化处理

在异构型物联网环境下，为了更好地提升重复数据清除

精度，先利用多维数据聚类分析方法将全部数据集中每个数

据项都映射到相应的类别上，融合贝叶斯方法对数据样本空

间进行划分，提取各个数据文本中的特征向量．对全部的特

征向量进行量化处理。具体步骤如下详述。

假设，由埘二代表每条数据的特征值矢量空间，‘代表

数据的Simhash值，90代表数据在分词后的集合类型，山代

表原数据集类型集合，则利用式(1)划分数据属性类型

假设，由D0代表给定数据集，c利代表D二的类别集

合，将数据集D：“中的每个数据项D：础都映射到c。中的一

个类别上，利用式(7)表述

。

Es‘,。dgh

(”1)7

一r

髓

0± 叫

0“

嚣

^二叫副

吼

‘

、’7

尸

bmd

坠乒生± 监掣(7)

式中，g二代表各个组内的数据数量，^二代表各个传输单元

之间的关系，p二代表数据包中的位置序号。

r咖

式中，肛厶代表父节点集合，埘厶代表节点之间的依赖关系，

乙代表有向边。

假设，由先．代表传输数据量，面之代表采样周期的可用

带宽预测值，^二代表查重处理时间预测，则利用式(2)提取

不同数据类型的属性特征

假设，由a：，代表有向边的集合，Jlf：。。代表似然率测试

规则，z0代表数据特征矢量类型，p 代表事件d_的发生概

率，则利用式(8)对数据样本空间进行划分

(2)

A乙：缮千ml× i

g‰ i+e鲫

式中，e：，代表第i个采样周期的查重处理时间预测值，m二代

表传输单元的查重处理时间。

ntile,：手粤干s■①孥干p0(8)-T

—z0-M：删～”母‘。，枷

式中，s■代表数据集映射值后的值，y：代表数据集映射值的

假设，由p0代表传输的总数据量大小，e■代表可用带

相似性，p0代表字符串匹配阈值。

宽的观测值，￡0。代表数据服务器端，r囊代表数据块k：的校

验码，则利用式(3)计算出不同数据类型属性特征的最大分

布概率

假设，由77乙代表数据之间的耦合度，s名代表各聚类集

合的相似性，利用式(9)提取各个数据文本中的特征向量

(9)

e五=鳖÷ 业± ^乙

(3)

k_{2箸鼍× 乏埘y‘eep。}

Kpol

式中，后二代表重要属性占全部属性的百分比，^0代表数据

集扫描次数。

式中，p0代表待验证的数据块号信息，)，0。代表数据块在

数据服务器中映像的校验码checksum码。

假设，由p厶代表不同数据集的维，d二。。代表数据的变量

集合，则利用式(10)对全部的特征向量进行量化处理

假设，由s厶代表数据特征码主码的长度，)，名代表不同

网页出现相同数据特征码主码的概率，则利用式(4)计算特

征之间的距离

1。，

A；，2；赞± ；j：亏j：耋}c

式中，厶、R赢代表学习数据结果集和测试训练集。

综上所述可以说明，在异构型物联网环境下，进行重复

u。=芒麓千鼍静

式中，d幺代表数据属性的类型数量，^0代表数据属性的类

型特征集合。

数据优化清除时，将全部数据集中每个数据项都映射到相应

的类别上，融合贝叶斯方法得到对数据样本空间进行划分，

提取各个数据文本中的特征向量，对全部的特征向量进行量

化处理．为实现重复数据清除奠定基础。

假设，由‰ 代表数据属性特征的最大权重厶代表数

据属性样本均值的特征分布，则利用式(5)给出特征间的相

似度阈值

3．2

基于数据相似度的重复数据清除

(5)

在对重复数据优化清除过程中，以3．1节获取的量化处

乙=苦造玑

一445—

万方数据

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

最新上传

打赏
30日榜单

21ic小能手打赏5.00元 3天前

资料：YuToo墨水屏时钟
21ic小能手打赏5.00元 3天前

资料：项目总结：触摸电源
21ic小能手打赏5.00元 3天前

资料：STM32四轴飞行器单片机开发（原创）
21ic小能手打赏10.00元 3天前

资料：51单片机的智能手环（全套完整）程序仿真 PCB 报告原创
21ic小能手打赏10.00元 3天前

资料：51单片机八路抢答器设计（全套完整）程序仿真原理图演示视频报告原创
21ic小能手打赏10.00元 3天前

资料：51单片机厨房电子秤（全套）程序仿真 PCB 报告答辩PPT 原理图原创
21ic小能手打赏10.00元 3天前

资料：51单片机人体电子秤（全套）程序仿真 PCB 报告答辩PPT 原理图原创
21ic小能手打赏5.00元 3天前

资料：51单片机的光控路灯系统程序仿真原理图原创
21ic小能手打赏5.00元 3天前

资料：51单片机的农作物自动灌溉程序仿真原创
21ic小能手打赏5.00元 3天前

资料：51单片机的大量程电压采集仿真程序
21ic小能手打赏5.00元 3天前

资料：STM32F103RCT6的离线升级和在线调试两种功能的CMSIS调试下载器
21ic小能手打赏5.00元 3天前

资料：51单片机的串口音乐和弹琴程序仿真原创
21ic小能手打赏5.00元 3天前

资料：51单片机的秒表计时汇编.程序仿真原创
21ic小能手打赏5.00元 3天前

资料：51单片机的两机远程控制程序仿真原创
21ic小能手打赏5.00元 3天前

资料：51单片机的打乒乓球系统.程序仿真原创
21ic小能手打赏5.00元 3天前

资料：51单片机的模拟停车场刷卡系统程序仿真原创
21ic小能手打赏5.00元 3天前

资料：51单片机的智能家居终端程序仿真原创
21ic小能手打赏5.00元 3天前

资料：红外接收管批量测试验证板
21ic小能手打赏5.00元 3天前

资料：STM32HAL库-freertos-SD卡-FATFS操作
21ic小能手打赏5.00元 3天前

资料：WS2815B功能验证+DMA+拖影功能+伽马校正
21ic小能手打赏5.00元 3天前

资料：GD32F103通过安卓屏升级固件源码

21ic小能手打赏10.00元 3天前

资料：51单片机的电梯系统仿真程序演示视频
21ic小能手打赏5.00元 3天前

资料：51单片机的简易计算器（程序+AD的PCB板子）
21ic小能手打赏5.00元 3天前

资料：51单片机的LED和点阵显示屏的实验程序仿真原创
21ic小能手打赏5.00元 3天前

资料：CMSIS和DAPlink调试器自制工具
21ic小能手打赏5.00元 3天前

资料：51单片机的光感传感器（可调阈值+LCD显示）程序仿真
21ic小能手打赏5.00元 3天前

资料：STM32的电子时钟设计程序仿真 PPT 报告讲解视频原创
21ic小能手打赏5.00元 3天前

资料：模电课设--多功能电子时钟 Mulitism实现报告
21ic小能手打赏5.00元 3天前

资料：51单片机的电子钟程序（清翔开发板实现）
21ic小能手打赏5.00元 3天前

资料：51单片机的交通灯程序仿真报告原理图原创
21ic小能手打赏5.00元 3天前

资料：51单片机多功能电子钟（带秒表显示湿度闹钟）-（仿真+代码
21ic小能手打赏5.00元 3天前

资料：51单片机的数字时钟（含AD原理图+程序）
21ic小能手打赏5.00元 3天前

资料：51单片机的电子密码锁程序仿真报告原创
21ic小能手打赏10.00元 3天前

资料：51单片机的洗衣机控制系统（全套）keil程序 proteus仿真报告原创
21ic小能手打赏5.00元 3天前

资料：51单片机的无线防丢报警器（全套）keil程序 proteus仿真答辩PPT 报告原创
21ic小能手打赏5.00元 3天前

资料：51单片机的自动灌溉系统（全套）keil程序 proteus仿真报告原创
21ic小能手打赏5.00元 3天前

资料：网线IAP方式更新STM32固件源码
21ic小能手打赏5.00元 3天前

资料：51单片机的智能窗帘(全套)[程序仿真答辩PPT 报告原创]
21ic小能手打赏5.00元 3天前

资料：51单片机的温控风扇(全套)[程序仿真答辩PPT 报告原创]
21ic小能手打赏5.00元 3天前

资料：STM32标准库-freertos-SD卡-FATFS操作

关于异构型物联网重复数据有效清除仿真

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

资料专题

推荐下载

专栏首页