您现在的位置是：首页 > 技术资料 > 物联网环境下移动高维异常数据自动挖掘仿真

推荐星级：

物联网环境下移动高维异常数据自动挖掘仿真

更新时间：2019-12-11 20:29:15 大小：1M 上传用户：xiaohei1810 查看TA发布的资源 标签：物联网异常数据自动挖掘 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

物联网中的数据具有数据类型复杂、异构性强等特点,为了提升物联网的服务质量,在物联网环境下,需要进行移动高维异常数据自动挖掘方法的研究.但是采用当前方法进行异常数据自动挖掘时,无法提取异常数据的主成分特征,存在数据自动挖掘误差大的问题.为此,在物联网络环境下,提出一种基于改进主成分分析的移动高维异常数据自动挖掘方法.该方法先融合于主成分分析方法输入数据样本并进行标准化处理,计算标准化数据矩阵的协方差矩阵,提取其矩阵的特征向量,对各个数据特征样本空间进行坐标变换,给出不同类型数据的投影数据,计算数据主成分的累积方差贡献率,获取异常数据聚焦的多层空间模糊聚类中心,结合所属异常数据类别关联训练集,获得信息增益,分类异常数据属性集,实现物联网移动高维异常数据的自动挖掘.实验结果表明,所提方法数据挖掘精度较高,有效地提升了物联网的服务质量.

部分文件列表

文件名	大小
物联网环境下移动高维异常数据自动挖掘仿真.pdf	1M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

第35卷第1期

计算机仿真

2018年1月

文章编号：1006—9348(2018)01—0441—04

物联网环境下移动高维异常数据自动挖掘仿真

杨敬民1’2．张文杰】．2

(1．闽南师范大学计算机学院，福建漳州363000；2．数据科学与智能应用福建省高等学校重点实验室，福建漳州363000)

摘要：物联网中的数据具有数据类型复杂、异构性强等特点，为了提升物联网的服务质量，在物联网环境下，需要进行移动高

维异常数据自动挖掘方法的研究。但是采用当前方法进行异常数据自动挖掘时，无法提取异常数据的主成分特征。存在数

据自动挖掘误差大的问题。为此，在物联网络环境下，提出一种基于改进主成分分析的移动高维异常数据自动挖掘方法。

该方法先融合于主成分分析方法输入数据样本并进行标准化处理，计算标准化数据矩阵的协方差矩阵．提取其矩阵的特征

向量，对各个数据特征样本空间进行坐标变换，给出不同类型数据的投影数据，计算数据主成分的累积方差贡献率，获取异

常数据聚焦的多层空间模糊聚类中心，结合所属异常数据类别关联训练集，获得信息增益，分类异常数据属性集．实现物联

网移动高维异常数据的自动挖掘。实验结果表明，所提方法数据挖掘精度较高，有效地提升了物联网的服务质量。

关键词：物联网环境；高维异常数据；挖掘

中围分类号：TP391

文献标识码：B

Internet

Mobile

Environment Abnormal

Dimensional

High

Data

Simulation

Automatically

Mining

YANG_{Jing—minl”，ZHANG}

Wen—jiel'2

Normal

(1．School

Science，Minnan

University，Zhangzhou Fujian 363000，China；

Province

Computer

of Data Science and

2．Key Laboratory

Intelligence Application，Fujian

University，

Zhangzhou Fujian 363000，China)

the

network

need to research 013 automatic method of

mining

order

ABSTRACT：In

improve

quality

service，We

rain—

mobile

abnormal data

Intemet of

method of automatic

things environment．Consequently，a

high-dimensional

of mobile

abnormal data based on

method

component

analysis

ing

high—dimensional

improved principal

proposed．

and is

sample

method

analysis

used

data

component

input

standardized．Secondly，the

coordi-

Firstly，the principal

VaI'lanCe matrix of standard data matrix is calculated and the

of matrix is

extracted．Thirdly，the

eigenvector

for each

of data

different

data are

given．Mo-

nate transformation is used

sample space

feature，and

types

projection

calculated，and fuzzy clustering

data

cumulative variance contribution rate of

reover，the

center of

principal component

abnormal data is

with

class

focused

set

abnormal data

automatic

muhilayer space

obtained．By combining

ofclassification of abnormal

the attribute set

training

information

association，the

of mobile

data，the

mining

gain

got．After

abnormal data in Internet of

data

environment is realized．Simulation results show that

things

high——dimensional

the service of Interoet of_things．

quality

the

method has

high

mining accuracy，It effectively improves

abnormal

data；Mining

proposed

KEYWORDS：Internet

things environment；High—dimensional

型更丰富，数据格式也更加复杂化。但物联网数据的动态

性、异构性、复杂时空性和不完整性【4-6)，常使物联网产生了

很多异常数据，此时，在物联网环境下，需要高效地进行移动

高维异常数据自动挖掘口】。但是在实际进行移动高维异常

数据自动挖掘中，相对于大多数的数据挖掘方法，均无法提

取异常数据主成分特征，致使其对异常数据挖掘的实施陷入

了瓶颈。

引言

为了监测现实世界的各种对象，物联网介入了大量应用

终端¨ ”。反之，物联网能够采集的数据量更庞大，数据类

基金项目：国家自然科学基金(61701213)；教育部产学合作协同育人

项目(201602012019，201602021032)；闽南师范大学科学研

究资助项目(MXl602)

文献[8]利用影响函数对数据进行投影分析，对混入脉

冲噪声的观测数据进行盲源，分离，以此为依据进行物联网

收稿日期：2017—09一11

～44l一

万方数据

环境下移动高维异常数据自动挖掘。该方法可以高效地描

述出数据集中每个对象的异常程度，但是无法对异常数据特

征间的相似度进行区分。文献[9]先用改进型OPTICS算法

进行数据聚类。利用ncLOF算法提取数据的属性特征，给出

两个数据列间的相似性。由此完成物联网环境下移动高维异

常数据自动挖掘。该方法可以快速地构造数据单属性递减

序列。但是采用当前方法进行异常数据自动挖掘时，无法提

取异常数据主成分特征，存在数据自动挖掘误差大的问题。

文献[10]先融合于混沌理论提取异常数据混沌性，重构异常

数据相空间，给出异常数据判断阂值，以此为依据进行物联

网环境下移动高维异常数据自动挖掘。该方法可以有效的

对数据类型进行划分．但是无法计算出异常数据多变量时间

序列。

假设，由s；，代表异常数据训练样本，＆0。代表d：时刻输

入的数据变量，s：。。代表异常数据的频域函数，则利用式(5)

得到移动高维异常数据自动挖掘约束条件

＼

a’。：掣千叠

2——■—一十——广

L{l

Kfkk

式中五代表频域谐振幅度，zj代表每类样本中所有样本属

于该类的隶属度。

假设，由3q’d，代表第，类异常数据样本的总数，用式(6)

进行移动高维异常数据自动挖掘

＼”，

以乙^

：g

『

—

■

swe

—

——

—

_一

拶

——

r④哗(6)

■

L'weh^3qdr

综上所述可以说明，移动高维异常数据自动挖掘原理，

利用该原理可以完成高维异常数据自动挖掘。

针对上述问题，在物联网络环境下，提出一种基于改进

主成分分析的移动高维异常数据自动挖掘方法。仿真证明．

所提方法挖掘精度较高，有效地提升了物联网的服务质量。

物联网环境下移动高维异常数据优化挖掘

数据主成分的累积方差贡献率的计算

3．1

在物联网环境下，对高维异常数据进行优化挖掘时，融

2物联网环境下移动高维异常数据挖掘原理

在物联网络环境下，进行移动高维异常数据时，先进行

数据采集和预处理。提取数据信息的关联度主特征量，对各

个数据特征进行分类．给出异常数据特征的相似度阈值，得

到对移动高维异常数据挖掘的约束条件，给出以下挖掘移动

高维异常数据的详细步骤。

合于主成分理论对输入的数据样本进行标准化处理．对各种

类型的数据进行分类，得到异常数据的候选数据集，获取标

准化数据的协方差矩阵。原理聚义步骤为：

假设，由xl。矿={Xlsu．ef z2。矿，z‰ 矿}代表采样的数据集合，

x蠢代表样本数据的个数，lo”g,h代表样本数据的类型，氐代表

样本数据的属性类型，则利用式(7)融合于主成分理论对输

入的数据样本进行标准化处理

假设，Se’。代表物联网中终端数据信息采集样本，K：。代

表任意初始数据集合，也代表数据有限属性集，则利用式

(1)对采集的数据进行预处理

(7)

砭盯2糍± 如

式中，Z。代表样本属性类型的数量。

(1)

R：。，。=譬o{＆：扣干j：扫)

假设，由＆二代表量纲的不合理影响因子，s：。代表数据艺

式中，．i}蠢代表数据属性P”的值域也代表数据属性子集的

的隶属度函数，壤代表数据聚类中心，用式(8)对各种类型

的数据进行分类

数量。

假设，由KL代表可融合的系数，肘I代表数据单属性递

减序列，丁0代表数据信息不确定的程度，妒二代表各个数据

(8)

D：。：蚴× f

Sqe

式中，z厶代表数据的分类阈值。

的状态矢量，K幺代表约束条件^幺下的聚类结果，利用式(2)

提取数据信息的关联度主特征量

假设，由茗代表准化数据矩阵E：。矿的协方差矩阵，《幻

代表协方差矩阵z 的特征值数量，女纛代表z 的特征值排列

顺序，则利用式(9)计算出z0

WI。，：缈④坞噪掣(2)

K缺p0

KJl甲’志j fl触

假设，由drh’，。；代表物联网应用层数据状态聚类变化率，

(＼

’j

)

^df一

?“、g l，

^‘谳p|

咒 =半⑧等× i知

％代表聚类的平均时间，s二代表聚类系数，O)k40，代表数据

的模糊聚类中心，则利用式(3)对各个数据特征进行分类

式中，g赢代表任意样本数据集s 的数据空间，‰ 代表数据

集s幺所在的空间位置，i知代表z 所对应的特征向量集合。

将i纛和数据集s_所在的空间位置^名进行坐标变换，

m—z，Y}代表数据变异的方向，则利用式(10)提取其协方

差矩阵在主成分方向的投影数据

(3)7

～曲

一

吆

琵

①

娑

‰ 母

舢

％倒

如

式中，||}k代表数据缓存区域的模糊聚类中心。

假设，由d纛代表数据集s：的数目，f0代表s：中每个数

据的维度，m’厶代表s：的类别数量，殇代表第i：，类数据的

聚类中心，则利用式(4)给出异常数据特征的相似度阈值

(10)

”叫

‰ 。衄一

母‘蝴

s二衄=鼍等s五 -．

七

二

- 。‰

式中，如代表新坐标系的原点与样本数据集s幺的重心

、1

(4)

一7

，

一‘妇W U“，II；

Jd’hk：旦孥z磊。矗i；

位置。

3目。)|t蝣

．．．——442．．．——

万方数据

表1实验设置参数

假设，由厶代表各类型数据主成分的数量，m 代表累

实验参数名称

参数设置

积方差贡献占总方差中的比例，肛0代表第d：个候选异常数

据对第h个主成分的贡献率，则利用式(11)计算数据特征的

数据采样时间／s

最大迭代次数／次

处理器数目／个

累积方差贡献率

120

(11)

135

一5dB．一lOdB．一15dB

0．2

2糍。《千^

噪声分布比例／dB

数据采样时间间隔／s

式中，ms’g代表候选异常数据对其数据主成分贡献率的矢量

空间。

3．2

基于关联度的移动高维异常数据优化挖掘

4．1评价指标的设定

为了提升移动高维异常数据挖掘精度．在进行移动高维

异常数据优化挖掘时，以3．1节获取的数据特征的累积方差

为了更好的验证所提方法的实用性以及提高实验结果

的精度，将实验分为两个部分，实验的第一个部分，比较不同

方法下异常数据的变化趋势，将其与实际趋势作对比，利用

比较的结果衡量本文方法进行移动高维异常数据自动挖掘

的可性能。第二部分，文献[9]作为对照实验，验证所提方

法的全面性和公正性。以数据挖掘漏报率为验证依据，测试

不同方法进行数据挖掘的质量。

贡献率s0为依据，将遗传算法和模糊理论相融合，构造异常

数据训练集，得到异常数据特征响应函数．给出异常数据的

属性集分类信息增益表达式，得到异常数据的判断阈值，以

此为依据进行物联网环境下移动高维异常数据优化挖掘。

具体的步骤如下详述。

假设，由厶代表数据的信道响应函数，c上代表异常数

据训练集矢量．则以3．1节获取的数据特征的累积方差贡献

假设，由妒二代表实验样本总数，sL代表异常数据的变

率s二为依据，利用式(12)提取异常数据特征响应函数

化趋势，驴名代表实际的异常数据变化趋势，d厶，代表正确挖

掘出的异常数据数量，则利用式(16)计算出数据挖掘漏报

室

(、

1‘

)

uFy一

岛：峰峦kT_．／n-'s‘go

s删

J’

士．’

式中，七二代表变异遗传散布控制量。

(16)

m0，=些掣。妒二，

妒jfH

假设，由s：代表异常数据流信息聚焦的多层空间模糊聚

类中心，．|}二代表异常数据的属性集分类准则，利用式(13)

组建异常数据的属性集分类信息增益表达式

从式(16)中可以计算得出，m0值越低则挖掘的质量

就越高。

4．2本文方法异常数据挖掘效果测试

(13))

．s：。．：坠辈生

．s。=2半

利用本文方法进行移动高维异常数据自动挖掘实验。将

本文方法得到的异常数据变化趋势和实际的异常数据变化

趋势进行比较，比较结果见图1。

口g

式中，d：代表数据染色体的交叉操作。

假设，由c二代表异常数据样本的最大隶属度函数，p二

代表种群规模，则利用式(14)给出异常数据的判断阈值

m蟠6

L(1H4，)

。：毕①||}二

5却2— 一％

-)j州

式中，＆二代表每类样本提取的比例参数。

假设，由p：。。代表异常数据的滤波器系统函数，则利用

j0婚冀睾制辗赫靶敢

3=2。o

式(15)进行物联网环境下移动高维异常数据优化挖掘

、

—

)

‘k研，一

：垃掣n’ 鱼× ．““

sⅢ-I

图l

本文方法异常数据挖掘效果

4仿真证明

从图l的仿真结果中可以说明．利用本文方法获取的异

常数据变化趋势和实际的异常数据变化趋势较为吻合．从而

验证了本文方法可以很好的实现对移动高维异常数据的自

动挖掘，提高数据关联度差异及数据分类识别精度。

4．3不同方法的数据挖掘漏报率对比

下面进行一次仿真实验，实验的操作系统为Windows 7；

语言编程系统为Matlab 7：其硬件设施为处理器

Duo CPU 2．94

Intel■CoreTM2

GHz，内存为8 GB，采用

Cloudsim平台搭建物联网环境下移动高维异常数据自动挖

掘的仿真平台。采样林肯实验室的DARPA大型数据库，选

用包括正常数据和多种异构数据的数据集。其中39个异常

数据记录。连接记录为5× 104条TCP，每条记录包括12个数

值型属性。实验参数设置如表1所述。

分别利用本文方法和文献『91方法进行物联网环境下移

动高维异常数据自动挖掘实验。

本文方法进行物联网环境下移动高维异常数据自动挖

掘可以得到异常数据聚焦的多层空间模糊聚类中心，给出异

一443一

万方数据

[2] 董本清，彭健钧．复杂网络数据流中的异常数据挖掘算法仿真

[J]．计算机仿真，2016，33(1)：434—437．

_一∞|l

一

一。

∞

一

[3]

张继福，等．基于MapRoduee与相关子空间的局部离群数据挖

掘算法[J]．软件学报，2015，26(5)：1079—1095．

加

如

[4] 李永红，张继福，苟亚玲．相关子空间中的局部离群数据挖掘

算法研究[J]．小型微型计算机系统，2015，36(3)：460—465．

[5] 王慧，张翠羽．基于改进遗传算法的网络差异数据挖掘算法

[J]．计算机仿真，2015，32(5)：311—314．

，I＼井钮嘿囊E

厂厂1L__一。

皿抛

图2不同方法数据挖掘漏报率

[6] 侯燕，李巍，文乔农．基于复杂网络数据流密度的增量子空间

数据挖掘算法[J]．计算机应用研究，2015，32(7)：2023—

2026．

常数据的属性集分类信息增益表达式．充分地满足物联网环

境下移动高维异常数据自动挖掘对其挖掘质量的需求。

仿真证明，所提方法数据挖掘精度较高，有效地提升了

物联网的服务质量。

卓广平．高效数据挖掘算法在大规模数据集中的应用研究

[J]．软件，2014，35(8)：72—74．

[7]

[8] 王莉君，何政伟，冯平兴．基于lEA的异常数据挖掘算法研究

[J]．电子科技大学学报，2015，44(2)：21l一214．

[9] 王传玉，刘震，王怀彬．一种基于OPTICS和IncLOF的异常数

据挖掘算法[J]．天津理工大学学报，2015，31(6)：14—18．

5结束语

采用改进的主成成分分析法，对物联网移动高维异常数

据进行自动挖掘。它降维能力强，具有复杂的非线性关系．

在移动高维异常数据识别方面非常出色。更重要的是能反

映异常数据产生的原因，对异常数据的进一步分析非常有

效。仿真证明，所提方法数据挖掘精度较高，有效地提升了

物联网的服务质量。

[10]

郑羽洁，李茜．基于大数据混沌特性的分区域异常数据挖掘

[J]．河池学院学报，2015，35(5)：68—73．

[作者简介]

杨敬民(1980一)，男(汉族)，福建漳州人，硕士，高

级工程师，硕士生导师，CCF会员，主要研究方向：认

知无线电、计算机网络体系结构与安全、数据挖掘；

张文杰(1984一)，男(汉族)，福建漳州人，博士，副

参考文献：

Q蕊

教授，硕士生导师，主要研究方向：认知无线电，计算

[1] 唐晓东．基于关联规则映射的生物信息网络多维数据挖掘算

法[J]．计算机应用研究，2015，32(06)：1614—1616．

机网络体系结构。

(上接第415页)

a1．An anomalous behavior

2]X Ye，et

detection model in cloud

based cloud service

Elizabeth，et a1．T—select：Trust

provider

[8]

Science and

computing[J]．Tsinghua

Joumal of

Re—

Applied Engineering

Technology，2016，21(3)：

selection[J]．International

322—332．

search，2015，lO(1)：979—996．

trust

[3]A Tajeddine，et a1．Fuzzy reputmion—based

model[J]．Ap．

[9]

李德毅，等．不确定性人工智能[J]．软件学报，2004，15

Soft

plied

Computing，2011，11(I)：345—355．

a1．A and Weak Ties Feedback—Based

(11)：1583—1594．

Pei，et

Trust MOd．

[4]Q

Strong

[10] 曹秀英，梁静国．基于粗集理论的属性权重确定方法[J]．中

国管理科学，2002，10(5)：99—101．

el in Multimedia Social

(4)：627—643．

Networks[J]．Computer Journal，2015，58

杨志倩，吴国文．在P2P网络中基于簇的全局信誉模型的仿真

[J]．计算机仿真，2013．30(8)：258—261．

[5]

[6]

[作者简介]

赵宇红(1974一)，女(汉族)，内蒙古包头人，副教

授，硕士研究生导师，主要研究方向为复杂网络建模

及智能控制：

trust model with

uncertainty

He，J Niu。G Zhang．CBTM：a

and

quantification

reasoning^forpervasive computing[C]．Intema-

tional Conference on Parallel

and Distributed

and

Appli-

Processing

刘馨桐(1989一)，女(汉族)，吉林省四平市人，硕士

研究生，主要研究方向为复杂网络建模及智能控制：

cations．Springer—Veflag，2005：541-552．

[7] 王守信，张莉，李鹤松．一种基于云模型的主观信任评价方法

[J]．软件学报，2010，21(6)：1341—1352．

张晓琳(1966一)，女(汉族)，内蒙古包头人，教授，硕士研究生导师，

主要研究方向为数据库理论与技术、大规模数据下社会网络隐私保

护。

一444一

万方数据

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

物联网环境下移动高维异常数据自动挖掘仿真

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页